Если модель не может позволить себе симулировать атомы, ей приходится изобретать "химию", чтобы предсказать результат. Ознакомьтесь с этой увлекательной новой препринтом, который предоставляет информационную теоретическую основу вместе с количественными мерами "От энтропии к эпиплексии" от @m_finzi @ShikaiQiu @yidingjiang @Pavel_Izmailov @zicokolter @andrewgwils. Работа предлагает очень интересное исследование, показывающее, что "совершенные" неограниченные наблюдатели не обязаны изучать структуры более высокого уровня - они могут просто симулировать микрофизику. Например, чтобы открыть значимые обобщаемые законы (структурное содержание, захваченное эпиплексией), системе обычно необходимо быть вычислительно ограниченной. Эти законы могут напоминать то, что ученые называют континуумом или макроскопической теорией, но они по своей сути захватывают функторное отображение в масштабно-агностическую структурную модель. Это крайне актуально для ряда приложений в AI для науки и открытий. Это также хорошо связано с нашими предыдущими эмпирическими находками с LifeGPT (Хайме Беркович и др.). В этом случае, применяя Забывающее Причинное Маскирование, мы искусственно ограничили способность модели полагаться на историю. Статья предлагает принципиальное объяснение, согласующееся с тем, что мы обнаружили: это ограничение заставило модель меньше полагаться на специфические подсказки из истории и вместо этого изучать более многоразовые динамики более высокого уровня Игры Жизни в вычислительно ограниченном мире. Это также согласуется с нашими результатами с AutomataGPT, где мы обнаружили, что вывод набора правил (обратная задача) дает более богатые представления, чем прямая симуляция. Теория поддерживает идею о том, что решение более сложной обратной задачи заставляет модель захватывать вычислительно эффективную причинную структуру - эффективно извлекая "исходный код" системы, а не просто сопоставляя шаблоны или полагаясь на грубую вычислительную мощность. @JaimeBerkovich