Als een model zich de atomen niet kan veroorloven om te simuleren, is het gedwongen om de 'chemie' uit te vinden om de uitkomst te voorspellen. Bekijk deze fascinerende nieuwe preprint die een informatie-theoretische basis biedt, samen met kwantificeerbare maatregelen "Van Entropie naar Epiplexiteit" door @m_finzi @ShikaiQiu @yidingjiang @Pavel_Izmailov @zicokolter @andrewgwils. Het werk biedt een zeer interessante studie die laat zien dat 'perfecte' onbeperkte waarnemers niet gedwongen zijn om hogere-orde structuren te leren - ze kunnen eenvoudigweg de micro-fysica simuleren. Bijvoorbeeld, om betekenisvolle generaliseerbare wetten (structurele inhoud vastgelegd door Epiplexiteit) te ontdekken, moet een systeem doorgaans computationeel beperkt zijn. Deze wetten kunnen lijken op wat wetenschappers verwijzen als continuüm- of macroschaaltheorie, maar ze vangen van nature de functoriële mapping in een schaal-onafhankelijk structureel model. Dit is extreem relevant voor een reeks toepassingen in AI voor wetenschap en ontdekking. Het sluit ook mooi aan bij onze eerdere empirische bevindingen met LifeGPT (Jaime Berkovich et al.). In dit geval, door Vergeten Causale Maskering toe te passen, beperkten we kunstmatig het vermogen van het model om op geschiedenis te vertrouwen. Het artikel biedt een principiële uitleg die consistent is met wat we hebben gevonden: deze beperking dwong het model om minder op geschiedenis-specifieke aanwijzingen te vertrouwen en in plaats daarvan meer herbruikbare hogere-orde dynamiek van het Leven van de Spel in een computationeel-beperkte wereld te leren. Het sluit ook aan bij onze resultaten met AutomataGPT, waar we ontdekten dat het afleiden van de regels (het inverse probleem) rijkere representaties oplevert dan vooruit simulatie. De theorie ondersteunt het idee dat het oplossen van de moeilijkere inverse taak het model dwingt om een computationeel efficiënte causale structuur vast te leggen - effectief de 'broncode' van het systeem te extraheren in plaats van alleen patronen te matchen of te vertrouwen op brute-force berekeningen. @JaimeBerkovich