Se un modello non può permettersi di simulare gli atomi, è costretto a inventare la 'chimica' per prevedere il risultato. Dai un'occhiata a questo affascinante nuovo preprint che fornisce una base teorica informativa insieme a misure quantificabili "Da Entropia a Epiplessia" di @m_finzi @ShikaiQiu @yidingjiang @Pavel_Izmailov @zicokolter @andrewgwils. Il lavoro offre uno studio molto interessante che mostra che gli osservatori 'perfetti' illimitati non sono costretti ad apprendere strutture di livello superiore - possono semplicemente simulare la micro-fisica. Ad esempio, per scoprire leggi significative e generalizzabili (contenuto strutturale catturato dall'Epiplessia), un sistema deve tipicamente essere computazionalmente limitato. Queste leggi possono assomigliare a ciò che gli scienziati si riferiscono come teoria del continuo o macroscale, ma catturano innatamente la mappatura functoriale in un modello strutturale indipendente dalla scala. Questo è estremamente rilevante per una serie di applicazioni in AI per la scienza e la scoperta. Si collega anche bene con i nostri precedenti risultati empirici con LifeGPT (Jaime Berkovich et al.). In questo caso, applicando il Forgetful Causal Masking, abbiamo artificialmente vincolato la capacità del modello di fare affidamento sulla storia. Il documento offre una spiegazione principled coerente con ciò che abbiamo trovato: questo vincolo ha costretto il modello a fare meno affidamento su indizi specifici della storia e invece ad apprendere dinamiche di livello superiore più riutilizzabili del Gioco della Vita in un mondo con vincoli computazionali. Si allinea anche con i nostri risultati con AutomataGPT, dove abbiamo scoperto che inferire l'insieme di regole (il problema inverso) produce rappresentazioni più ricche rispetto alla simulazione diretta. La teoria supporta l'idea che risolvere il compito inverso più difficile costringe il modello a catturare una struttura causale efficiente dal punto di vista computazionale - estraendo efficacemente il 'codice sorgente' del sistema piuttosto che semplicemente abbinare schemi o fare affidamento su calcoli brute-force. @JaimeBerkovich