使系統變得脆弱最快的方式是將效率極大化。在市場與公司中,消除冗餘的驅動看起來聰明,直到有一天它不再如此。付錢給員工去建立能取代自己職務的 AI 代理人聽起來大膽,同時也可能是以微妙方式出售公司韌性深度價外選擇權的做法。
提案令人著迷地簡單:獎勵員工自動化其工作,並將節省下來的資源重新投入成長。那只是出發點。更深的問題是,你是否把組織冗餘轉換為集中的模型風險。反脆弱系統從波動中獲益,因為它們擁有冗餘、鬆耦合與選擇性。一個系統性地把領域知識交給不透明代理人的勞動力會做相反的事。它把默會技能轉成程式碼,抹去冗餘,收緊供應商與 API 之間的耦合,並提高錯誤的成本。這是企業版的橋樑,只建得剛好能承受預期負載。橋樑會因工程師所謂的「未知的未知」而失效,而不是因為平均流量。
提供自動化賞金會觸發 Goodhart’s Law:當一個衡量指標變成目標時,它就不再是好的衡量標準。員工會為了獎勵而優化,而不是為了長期系統韌性。捷徑會滲入。邊緣案例被忽視。文件變得稀薄。用博弈論術語,企業創造了一次性的報酬,同時承擔重複博弈的負債。金融業在2008年前就寫下了這本劇本。交易員認列了複雜工具的上行收益,而資產負債表承受了尾部風險。如果你對相同動態會出現在內部 AI 代理人感到驚訝,那你還沒看過內部儀表板如何變成交易屏幕。治理必須假設代理人建造者是理性且利己的。僅以「節省小時」為補償而不為新增的操作風險打折,是一份定價錯誤的合約。
還有另一種較慢的流失。過度依賴自動化會使技能萎縮。航空業以慘痛代價學到,依賴自動駕駛的飛行員會喪失手動飛行能力,而在非典型情況下這種能力非常重要。公司也無異。當 AI 撰寫備忘、回覆工單、對帳時,判斷與故障排除的肌肉會變弱。已有數位主管警告這一趨勢可見。這反映了工業革命的權衡:機械化擴大產出但常常毀掉工藝。今天的風險不是懷舊,而是適應性。當模型偏移或資料來源變動,誰擁有診斷失敗路徑的默會知識?一個付錢去抹除自身制度記憶的公司,就是為了減重而切斷了安全網。
系統性脆弱性不會自我宣告。當許多行為者採用類似工具時,它會悄然累積。如果大多數企業將工作流程透過少數基礎模型與代理平台路由,資料集、失敗模式與對抗面的相關性就會上升。類比可見於1987年的投資組合保險,當時許多機構執行相同的動態避險策略,該策略運作良好直到每個人同時需要賣出。2007年,分層與評級模型使錯誤在資產負債表間同步。AI 的版本是操作性風險而非金融風險,但數學本質相似。共同的輸入會造成共同的衝擊。平靜時期的超額生產力往往是你在共同尾部事件發生前所收的保費。問問自己:你所激勵的自動化是針對你情境獨有的,還是與其他人一樣有相同盲點的商品化代理人?
企業記憶並非自動化方案中唯一被集中的東西。供應商風險會複利放大。當員工把程序換成提示,把內部工具換成外部 API,公司的連續性便依賴於服務條款、模型更新與其控制範圍之外的安全實務。大型模型行為的微妙變化可以在數百個內部代理人間產生連鎖效應。第三方服務的故障會成為全公司性的暫停。工程師稱之為單一故障點。管理者在問題出現前稱之為平靜的一天。善意團隊構建的影子 AI 代理人的擴散也擴大了攻擊面。資安團隊已經難以盤點試算表;現在他們必須目錄那些可能啟動交易的自動腳本。在沒有控制框架下付錢讓人創造更多這類腳本,等同獎勵員工在生產堆疊中安裝未被追蹤的中介軟體。
領導者知道外界觀感充滿風險。有些人公開警告員工 AI 可能會減少人手,主張緊迫感會推動再技能化。這個訊號可能會被不同解讀。恐懼促使人們囤積知識、慢慢推進轉型,或提早離職。調查顯示有斷層:許多 CEO 現在相信自己的職務可被自動化,但更少員工對自己的工作有相同感受。這種落差是協調問題。當高層發出可替代的訊號,中層就讀成可棄性。同時,被表述為「AI 驅動」的裁員創造了聲譽上的套利:公司聲稱前瞻性紀律,卻把社會成本外部化。投資人應該問,這些舉措是提高投入資本的回報,還是僅以犧牲長期人力資本與信任為代價重估短期利潤率。
自動化的流行 KPI 是節省工時。這看來整潔但錯誤。用概率語言,你是在用一系列小成本的分布去交換低頻但高衝擊的風險:穿過管控的模型幻覺、被軟體放大的邏輯錯誤、無聲的資料漂移,以及供應商故障。這類似於承保你沒有儲備去支付的保險。一個更好的視角是所創造的選擇權。AI 是否擴展了人在不確定下可做決策的範圍?它是否提高了在新市場迭代的速度與品質?它是否留下能在員工流動與模型更新後仍然存在的稽核痕跡?這些是韌性指標,而非人頭指標。它們通常需要人員介入、冗餘路徑、緊急終止開關,以及所有權輪替,避免知識集合並蒸發。
一些領導者現在承認自己工作的部分可以被自動化。一位來自大型創新實驗室的前主管更進一步,主張即便是 C-level 職位也非免疫。這種承認揭示了一個悖論。如果領導能力真能被自動化,那麼治理便成為商品化,複雜風險的管理亦然被商品化。如果不能,那麼你在高階重視的是不確定下的默會判斷。付錢給基層去抹除相同的默會層並無太大意義。市場獎勵能經受長期反饋回路的公司,而非那些優化單季成本曲線的公司。科技的重點是槓桿,而非放棄。自動化應該擴大管理者的管控幅度,同時不切斷使判斷成為可能的回饋。
反向思考有幫助。與其付錢給員工去取代自己,不如付錢給他們讓自己更具錯誤容忍性、為鄰近同事進行跨訓練,並記錄代理人失效的接縫。獎勵那些建造可稽核、可壓力測試,並能由多個團隊輪替擁有的代理人。對於降低關鍵人物風險以及在上游中斷時證明能優雅退化的人予以補償。資助紅隊在客戶或稽核者之前試圖破解代理人。建立複雜度預算,限制每單位的自動化流程數量。把獎金綁定於隨時間通過的韌性指標,而非一次性的節省工時示範。這不是對懷舊的呼籲,而是對能為尾部風險定價並將制度知識視為資產的治理的呼籲。
AI 會壓縮某些職務並創造其他職務。危險不是改變本身,而是未受控的改變。如果你激勵通往可見效率的最快路徑,你會得到它,同時也會得到伴隨的隱藏負債。替代方案在書面上較慢,但在實務上更強:先擴充、永遠記錄、分散供應商,並讓人對關鍵路徑負責。市場偏好能承受打擊的公司。如果你付錢讓人移除你吸收一記重擊的能力,你不是在購買成長,而是在做空韌性。