Jika sebuah model tidak mampu mensimulasikan atom, ia dipaksa untuk menemukan 'kimia' untuk memprediksi hasilnya. Lihat pracetak baru yang menarik ini yang memberikan landasan teoretis informasi bersama dengan ukuran yang dapat diukur "Dari Entropi ke Epiplexity" oleh @m_finzi @ShikaiQiu @yidingjiang @Pavel_Izmailov @zicokolter @andrewgwils. Karya ini menawarkan studi yang sangat menarik yang menunjukkan bahwa pengamat tak terbatas yang 'sempurna' tidak dipaksa untuk mempelajari struktur tingkat yang lebih tinggi - mereka dapat dengan mudah mensimulasikan mikro-fisika. Misalnya, untuk menemukan hukum yang dapat digeneralisasi yang bermakna (konten struktural yang ditangkap oleh Epiplexity), sebuah sistem biasanya perlu dibatasi secara komputasi. Hukum-hukum ini dapat menyerupai apa yang disebut para ilmuwan sebagai teori kontinum atau skala makro, tetapi secara bawaan menangkap pemetaan functorial ke dalam model struktural skala-agnostik. Ini sangat relevan untuk berbagai aplikasi dalam AI untuk sains dan penemuan. Ini juga terhubung dengan baik dengan temuan empiris kami sebelumnya dengan LifeGPT (Jaime Berkovich et al.). Dalam hal ini, dengan menerapkan Forgetful Causal Masking, kami secara artifisial membatasi kemampuan model untuk mengandalkan sejarah. Makalah ini menawarkan penjelasan berprinsip yang konsisten dengan apa yang kami temukan: kendala ini memaksa model untuk tidak terlalu bergantung pada isyarat spesifik sejarah dan sebaliknya mempelajari dinamika tingkat tinggi yang lebih dapat digunakan kembali dari Game of Life di dunia yang dibatasi komputasi. Ini juga sejalan dengan hasil kami dengan AutomataGPT, di mana kami menemukan bahwa menyimpulkan kumpulan aturan (masalah terbalik) menghasilkan representasi yang lebih kaya daripada simulasi maju. Teori ini mendukung gagasan bahwa memecahkan tugas terbalik yang lebih sulit memaksa model untuk menangkap struktur kausal yang efisien komputasi - secara efektif mengekstraksi 'kode sumber' sistem daripada hanya mencocokkan pola atau mengandalkan komputasi brute-force. @JaimeBerkovich