Se um modelo não consegue simular os átomos, é forçado a inventar a 'química' para prever o resultado. Confira este fascinante novo preprint que fornece uma base teórica da informação juntamente com medidas quantificáveis "De Entropia a Epiplexidade" por @m_finzi @ShikaiQiu @yidingjiang @Pavel_Izmailov @zicokolter @andrewgwils. O trabalho oferece um estudo muito interessante que mostra que 'observadores' 'perfeitos' e não limitados não são forçados a aprender estruturas de nível superior - eles podem simplesmente simular a microfísica. Por exemplo, para descobrir leis generalizáveis significativas (conteúdo estrutural capturado pela Epiplexidade), um sistema normalmente precisa ser computacionalmente limitado. Essas leis podem se assemelhar ao que os cientistas se referem como teoria de continuum ou de macroscale, mas capturam intrinsecamente o mapeamento functorial em um modelo estrutural agnóstico em relação à escala. Isso é extremamente relevante para uma gama de aplicações em IA para ciência e descoberta. Também se conecta bem com nossas descobertas empíricas anteriores com o LifeGPT (Jaime Berkovich et al.). Neste caso, ao aplicar a Máscara Causal Esquecida, restringimos artificialmente a capacidade do modelo de depender da história. O artigo oferece uma explicação fundamentada consistente com o que encontramos: essa restrição forçou o modelo a depender menos de pistas específicas da história e, em vez disso, aprender mais dinâmicas reutilizáveis de nível superior do Jogo da Vida em um mundo com restrições computacionais. Isso também se alinha com nossos resultados com o AutomataGPT, onde descobrimos que inferir o conjunto de regras (o problema inverso) gera representações mais ricas do que a simulação direta. A teoria apoia a ideia de que resolver a tarefa inversa mais difícil força o modelo a capturar uma estrutura causal eficiente em termos de computação - extraindo efetivamente o 'código-fonte' do sistema em vez de apenas corresponder a padrões ou depender de computação de força bruta.