如果一個模型無法負擔模擬原子，它就被迫發明「化學」來預測結果。查看這篇引人入勝的新預印本，它提供了一個信息理論基礎以及可量化的度量，標題為「從熵到表現性」由 @m_finzi @ShikaiQiu @yidingjiang @Pavel_Izmailov @zicokolter @andrewgwils。這項工作提供了一個非常有趣的研究，顯示「完美」的無界觀察者並不被迫學習更高層次的結構——他們可以簡單地模擬微觀物理。例如，為了發現有意義的可概括法則（由表現性捕捉的結構內容），系統通常需要在計算上受到限制。這些法則可以類似於科學家所稱的連續或宏觀理論，但它們本質上捕捉到一種尺度無關的結構模型的函子映射。 這對於科學和發現中的AI應用範圍極為相關。它也與我們早期的實證發現（LifeGPT，Jaime Berkovich等）很好地連接。在這種情況下，通過應用遺忘因果掩蔽，我們人為地限制了模型依賴歷史的能力。這篇論文提供了一個原則性的解釋，與我們的發現一致：這一限制迫使模型減少對歷史特定線索的依賴，而是學習更多可重用的更高層次的動態，這些動態來自於計算受限的世界中的生命遊戲。 它也與我們在AutomataGPT的結果一致，我們發現推斷規則集（逆問題）產生的表示比前向模擬更豐富。這一理論支持了這樣的觀點：解決更困難的逆向任務迫使模型捕捉到一種計算高效的因果結構——有效地提取系統的「源代碼」，而不僅僅是匹配模式或依賴於暴力計算。 @JaimeBerkovich