もしモデルが原子をシミュレートできないなら、結果を予測するために「化学」を発明せざるを得ません。この興味深い新しいプレプリントをご覧ください。情報理論の基盤と定量的な指標を提供し、@m_finzi @ShikaiQiu @yidingjiang @Pavel_Izmailov @zicokolter @andrewgwilsの「エントロピーからエピプレクシティへ」を紹介しています。この研究は、「完璧な」無限観測者が高次構造を強制されるのではなく、単にミクロ物理をシミュレートできるという非常に興味深い研究を示しています。例えば、エピプレクシティによって捉えられる意味のある一般化法則(構造的内容)を発見するためには、通常、システムは計算的に有界である必要があります。これらの法則は科学者が連続体理論やマクロスケール理論と呼ぶものに似ているかもしれませんが、本質的にスケールに依存しない構造モデルへの関手的マッピングを捉えています。 これは、科学や発見のためのAIのさまざまな応用に非常に役立ちます。また、LifeGPT(Jaime Berkovichら)での以前の実証的発見とも良好に結びついています。この場合、忘却因果マスキングを適用することで、モデルが歴史に依存する能力を人工的に制限してしまいました。論文は、私たちが発見したことと一致する原則的な説明を提示しています。この制約により、モデルは歴史特有の手がかりに頼るのを減らし、代わりに計算制約の世界で生命のゲームの再利用可能な高レベルのダイナミクスをより多く学習することを強いられたのです。 また、AutomataGPTの結果とも一致しており、逆問題(逆問題)を推論することで、前方シミュレーションよりも豊かな表現が得られることが分かりました。この理論は、より難しい逆課題を解くことでモデルが計算効率の高い因果構造を捉えることを強いるという考えを支持しています。つまり、単にパターンを合わせたりブルートフォース計算に頼るのではなく、システムの「ソースコード」を効果的に抽出することです。 @JaimeBerkovich