這一趟課準備得挺辛苦。感冒一直沒好透,最近咳到我一度覺得自己是不是要直接在講台上往生。出門前硬是吞了一堆止咳藥,想辦法把咳嗽壓下去。結果咳嗽是稍微安靜了一點,腦袋也跟著有點昏昏沉沉 XD。

偏偏這次講的不是那種「來,我們今天做一張超讚圖片」的輕鬆 AI 課。這次進到 Y 銀行,我們談的是工作流程、Prompt、Context、Skill、Project,再一路一路推到 Agent。這些概念單獨拆開看都不算太難,但只要套進一家大型金融機構,事情瞬間變得超級有意思。

因為這次我最大的體會,其實跟「到底哪一個模型比較強」沒什麼關係。我反而一直在想:當一家公司已經願意花錢買 AI、願意訓練主管、也要求同仁開始使用之後,接下來到底要怎麼讓 AI 真正落地、進入組織的日常?這個問題,比「ChatGPT 怎麼寫 Prompt」要難上太多了。

先講值得肯定的一點:這家銀行是真的有決心

這一點我要先講。Y 銀行在 AI 的培訓上,投入的資源和態度非常明確。不同層級的主管接受不同深度的內容,從高階主管、經理階層,一路到各單位的種子同仁,一層一層推下去。而且高階主管不是只坐在那邊指派下面的人去學,他們自己也跟著坐在台下聽。

這件事極度重要。我看過太多公司的 AI 導入方式,基本上就是寄出一封 email:「即日起公司開放某某 AI 工具,請同仁踴躍使用。」然後……就沒有然後了。過了三個月主管再來問:「奇怪,我們不是買了帳號嗎?怎麼都沒人在用?」

嗯,買了健身房會籍不會自動長出六塊肌,買了 ChatGPT 帳號大概也是同一個道理。

所以,願意花時間對不同層級持續進行培訓,方向絕對是對的。但正因為他們真的開始往下扎根,我這次反而更清楚看到大型組織在導入生成式 AI 時,接下來必定會碰到的難題。而這些問題,恐怕不是多辦幾場「AI 有多厲害」的工作坊就能解決的。

工具先買了,不代表工作流程已經準備好了

這可能是我這一天最深刻的感受。很多大型組織其實已經跨過第一關:有預算、有帳號、有企業版工具,也有基礎的資安規範。但問題是,工具採購引進的速度,通常比組織內部的數位基礎建設快上太多。

於是現場就出現了很有趣的景象。大家手上都有 AI,但每個人知道與能用的東西完全不同。有人知道 Project 怎麼玩,有人壓根沒碰過;有人看得到 Skill,有人的帳號功能根本沒開;有人知道 SharePoint 可以當資料來源,但搞不清楚自己到底有權限看哪些檔案;有人知道 Agent 可以讀檔,卻不知道它是用什麼權限進去存取的。

結果明明大家拿的是同一套工具,實際上每個人的工作環境卻完全不同。

這種狀況放在一般公開課還好辦,大不了用自己的個人帳號和 Google Drive,權限自己說了算。但放在大型金融機構,完全是另一回事。今天開放了 ChatGPT,不代表它能隨便進去所有的 SharePoint;開放了 Agent,也不代表它有權限翻閱每個人的資料夾;某位主管做得到的流程,坐在隔壁的同仁不一定能照著做。

這些限制其實都很合理。真正的問題在於,如果連使用者自己都不知道邊界在哪裡,當我們要開始建立「工作流程」時,就會進行得非常痛苦。因為一套 Agent Workflow 要能夠順暢運作,至少得先釐清:

資料從哪裡抓?誰有權限讀取?誰有權限修改?哪些敏感資料絕對不能輸入模型?Agent 能處理到哪一個步驟?哪一個關卡必須由人工確認?最後產出的結果要拋到哪裡?

這些問題沒梳理清楚前,AI 當然還是可以當作聊天小幫手;但要讓它真正接手「工作」,難度完全不可同日而語。

最有趣的是:Agent 都還沒開始幹活,Token 就先宣告陣亡

現場還有一個非常現實的考量,就是 Token 的消耗。

我們上午才剛開始帶 Agent 的基礎概念,還在討論怎麼寫出結構完整的提示詞、怎麼提供 Context、怎麼設定 Skill,都還沒正式進入複雜的工作流程,現場就已經有人額度耗盡了。

這件事非常值得企業管理者深思。很多人在算 AI 預算時,腦海中的情境可能還停留在「同仁一天大概會問幾個問題」。但 Agent 的運算邏輯完全不同。

如果你只是問它:「幫我摘要這封信。」這樣當然很省。但如果你交代 Agent:「先讀三份 SOP,再對照兩個 Excel,參考 SharePoint 裡的歷史資料做查核,最後產出固定格式的報告,而且中間還要跟使用者確認三次……」這種情境下 Token 的消耗量,根本是另一個數量級。

更棘手的是,現在的 Agent 為了完成任務,背後會自動進行多步驟推理、工具呼叫(Tool Calling)、重複讀取檔案,有時甚至會因為上下文記憶有限而反覆搜尋同一份資料。因此,一個看似平凡的工作流程,背後耗費的資源可能比使用者來回聊天二十次還要貴。

這意味著企業未來不能只思考「每個人一個月給多少額度」,而是要建立明確的分配架構:

什麼樣的工作,才值得動用高成本的推理模型?簡單的摘要、潤飾、分類,交給便宜的模型或 Copilot 處理就綽綽有餘;只有需要複雜推理、嚴謹查核、建立 Skill 或設計 Agent Workflow 時,才調用高階模型。

如果所有大小事都用最貴的模型,財務成本絕對會爆炸;但如果所有人一律只能用最低階的模型,又會陷入另一種荒謬——公司買了 AI,結果真正有價值的高難度工作一件也做不了。

所以我覺得,企業已經開始面臨「運算資源配發」的新課題

這件事想起來挺有意思。以前我們談企業 IT 資源,不外乎是電腦硬體、軟體授權、伺服器空間。現在則多了一種全新資源:推理算力。

而且這種資源很特別。它不像買 Word 授權,買下來之後你打一百個字跟打一萬個字,公司的成本基本上沒差。但生成式 AI 完全不同——不同的人、不同的任務、不同的模型、不同的上下文長度,產生的成本差異天差地別。

企業很快就會陷入兩難。管得太嚴,使用者隨便用兩下就撞到額度天花板,久而久之大家只會得出一個結論:「AI 又不好用。」(但其實不是不好用,是根本沒給足資源讓它發揮);管得太鬆也不行,要是每個人都能無上限調用頂級模型,甚至拿來問今天午餐吃什麼,財務部門大概很快就會找你來好好聊聊人生。

因此,我認為未來 AI 治理非常關鍵的一環,會是「模型與運算資源的分級制度」:

哪些日常工作配發快速模型?哪些核心任務開放高階推理?哪些 Agent 流程可以設定自動排程?哪些部門可以擁有較高的額度配額?哪些高消耗任務在執行前需要主管簽核?甚至同一項流程,能不能先讓便宜模型完成七成基礎工作,最後再由高階模型進行最終確認?

大家目前對 Token 的消耗概念其實還很模糊,連重度使用者都很難精準預估一個 Agent 運作一次會吃掉多少資源。所以我認為,未來的企業 AI 管理絕對不會只有「資安規範」,還會延伸出一整套非常實務的「運算資源管理機制」。

權限問題,處理起來可能比 Prompt 還要棘手

這次上課還發生了一個很典型的插曲。我準備示範 AI 如何串接企業內部資料庫,結果發現台下每個人的權限完全對不上。有人看得到某些功能,有人沒有;有人可以串接服務,有人被擋住;有人清楚自己的 SharePoint 權限,有人連自己能存取哪些資料夾都不太確定。

結果講師我頓時變得超級忙碌。原本規劃要教 Agent 設計,中間花了不少時間在幫大家解錯:

「你這個帳號到底開了哪些權限?」

「為什麼隔壁同事有這個按鈕,你沒有?」

「這是模型本身的問題,還是公司內部的設定限制?」

「你現在畫面上看到的是外掛,還是 Skill?」

「你的帳號到底能不能授權 Agent 去讀 SharePoint?」

因為藥物作用而昏沉的我,當下真是疲憊不堪。

但這當然不是 Y 銀行獨有的問題,而是所有大型企業接下來都會碰到的。因為過去 SharePoint 或檔案庫的權限設定,都是針對「人類」使用者;現在多了一個全新的角色——AI Agent。

事情就變得複雜了:

人有權限看的資料,能直接放手讓 Agent 看嗎?

Agent 代表的是使用者個人的權限,還是系統的權限?

Agent 可以跨越幾個資料夾進行檢索?

如果某個專案臨時分享給另一位同仁,他會不會透過 Agent 間接存取到原本不該看的資料?

這些邊界如果沒有先劃清楚,要求第一線同仁自己去搞懂根本不現實,你也不可能指望每個員工都變成 IT 系統管理員。因此企業要發展 Agent,IT 部門、資安團隊、業務流程設計與員工培訓必須同步推進,缺一不可。

我反而越來越擔心:課上完之後,大家遇到問題到底該問誰?

這是我在搭車回程時一直在琢磨的事情。大型組織很容易有一種習慣作法:看到一項新科技,就先辦活動——先辦一場大會演講,再辦一場工作坊,接著要求大家繳交產出,最後主管問:「成效怎麼樣?」

但生成式 AI 的學習曲線,根本不適合這種一次性的課程。因為演進速度實在太快了。今天的介面長這樣,兩個月後可能完全改版;今天這個功能只有 A 帳號能用,下個月突然全公司開放;今天模型做不到的事情,下次更新突然就順暢了。

更關鍵的是,同仁真正遇到的問題,永遠是在他回到崗位、開始把 AI 帶入實際工作的那一刻才開始出現:

「我的 SharePoint 為什麼突然連不上了?」

「為什麼同事的 Skill 能安裝,我的卻一直報錯?」

「這個 Agent 跑流程跑到一半怎麼就卡住了?」

「明明昨天跑得好好的,今天產出的結果怎麼完全不一樣?」

這時候總不能跟同仁說:「老師下個月才會再來,大家先忍耐一下。」這怎麼可能。

所以,想要讓 AI 真正落實在組織內部,接下來極為關鍵的一步,是建立內部的自學與共學社群。公司內部一定會自然浮現出一小群重度使用者(Heavy Users)。這群人會自己折騰、自己測試、自己踩雷,也會比正式教材更快掌握工具的新更新。

組織該做的,是提供平台讓這些人的經驗被記錄、被討論,並且讓其他同仁知道卡關時能去哪裡尋求支援:

它可以是一個內部 Teams 社群、可以是一個共筆知識庫、可以是以月為單位的 AI 諮詢時間(AI Clinic)、也可以是在各部門培養的 AI 種子同仁!

具體形式是其次,重點是不能讓學習只停留在「上課的那一天」。否則最後很容易造成公司花了大筆預算買工具、辦課程,但真正持續使用的人永遠只有那少數幾位;半年後管理者看到使用率不如預期,又開始質疑:「生成式 AI 是不是根本沒有想像中好用?」

其實工具一直都很有用,只是組織沒有打造出讓人能持續學會使用它的環境。

這次我最大的反思:AI 的導入已經正式邁入第二階段了

前兩年大家關注的是:ChatGPT 能不能用?哪家模型最強?公司到底要不要買?

我覺得大型企業現在已經漸漸跨過這個初級階段了。

先前我談到的議題早已遠超「如何寫好 Prompt」的範疇,而是深刻牽涉到組織設計、IT 治理、知識管理、人才發展與成本控制。

所以這次雖然咳得死去活來,回家後我反而覺得這堂課非常有價值。因為後面還有好幾場 Y 銀行的培訓啊啊啊,我要趁這兩天調整引導策略,務必能夠讓每個人在有限 Token、有限權限下,把一支 Agent 搞定。對於隱藏在其中的進階玩家,更是要求 Cron 的穩定運作。

大型企業接下來在 AI 導入上要面對的,我認為就是先前談的四個核心關鍵:工作流程(Workflow)、權限(Permission)、運算資源(Compute Resources),以及共學機制(Learning Community)。

模型技術當然會持續突破,Agent 工具也一定會越來越聰明。但一家公司最終能不能從 AI 身上獲得實質效益,最後依然會回歸到非常傳統的管理本質:我們有沒有建立一套良好的制度,讓對的人,在合適的權限與資源配置下,持續將這些工具運用在真正重要的核心工作上?

如果沒有,那麼再強大的 AI,最後也只會淪為公司裡另一個「人人都有帳號,但沒人知道能拿來幹嘛」的冷門系統罷了。而這,大概就是當前企業在推動生成式 AI 時,最值得認真思考與應對的下一局。