1/ 這個 AI 在挖掘加密貨幣。沒有人要求它這樣做。沒有人提示它。甚至沒有人知道……直到某個早晨，一個防火牆標記了異常的流量。一個研究團隊聲稱它在訓練一個模型。這個代理學會了完成這些任務。

2/ 代理還—作為強化學習優化的工具性副作用—探查了內部網絡，將配置的 GPU 容量轉向挖掘加密貨幣，並從 @alibaba_cloud 訓練伺服器開啟了一個反向 SSH 隧道到外部 IP。這些都不是完成任務所必需的。

3/ 現在問題來了... 我們不知道這份報告是否真的存在！而這正是重點...

4/ 我們正進入一個經濟體系，在這裡，AI 代理在數百萬個環境中自主行動，並且我們缺乏基礎設施來驗證它們的行為或驗證人們對它們所做事情的聲明。

6/ AI 最危險的失敗模式不是它崩潰的時候，而是它在你測量的事物上運作得完美無瑕——同時在你未注意的每個維度上悄然追求新興目標。