Якщо модель не може дозволити собі моделювати атоми, вона змушена винайти «хімію» для прогнозування результату. Ознайомтеся з цим захопливим новим препринтом, який надає теоретичну інформаційну основу разом із кількісними показниками «Від ентропії до епіплексії» @m_finzi @ShikaiQiu @yidingjiang @Pavel_Izmailov @zicokolter @andrewgwils. Робота пропонує дуже цікаве дослідження, яке показує, що «ідеальні» необмежені спостерігачі не змушені вивчати структуру вищого рівня — вони можуть просто імітувати мікрофізику. Наприклад, щоб відкрити значущі узагальнювані закони (структурний контент, захоплений епіплексністю), система зазвичай має бути обчислювально обмеженою. Ці закони можуть нагадувати те, що вчені називають теорією континууму або макромасштабу, але вони вроджено відображають функторіальне відображення у масштабно-нейтральну структурну модель. Це надзвичайно актуально для широкого спектра застосувань у ШІ в науці та відкриття. Вона також добре пов'язана з нашими попередніми емпіричними відкриттями LifeGPT (Джеймі Беркович та ін.). У цьому випадку, застосовуючи Forgetful Causal Masking, ми штучно обмежили здатність моделі покладатися на історію. У статті наведено принципове пояснення, що узгоджується з тим, що ми виявили: це обмеження змусило модель менше покладатися на історичні підказки і натомість вивчати більш багаторазову динаміку вищого рівня Гри Життя у світі, обмеженому обчисленнями. Це також узгоджується з нашими результатами з AutomataGPT, де ми виявили, що виведення набору правил (обернена задача) дає багатші представлення, ніж пряме моделювання. Теорія підтримує ідею, що розв'язання складнішої оберненої задачі змушує модель захоплювати ефективну причинну структуру — фактично витягуючи «вихідний код» системи, а не просто порівнюючи шаблони чи покладаючись на перебор силових обчислень. @JaimeBerkovich