Voi helvetti... Microsoft avasi lähdekoodin päättelykehyksen, joka ajaa 100B-parametria LLM:ää yhdellä suorittimella. Sitä kutsutaan BitNetiksi. Ja se tekee sen, minkä piti olla mahdotonta. Ei näytönohjainta. Ei pilveä. Ei 10 000 dollarin laitteistoa. Vain kannettavasi, joka ajaa 100 miljardin parametrin mallia ihmisen lukunopeudella. Näin se toimii: Kaikki muut LLM:t tallentavat painot 32- tai 16-bittisiin kellukkeisiin. BitNet käyttää 1,58 bittiä. Painot ovat ternäärisiä vain -1, 0 tai +1. Siinä se. Ei kellukkeita. Ei kallista matriisimatematiikkaa. Puhtaat kokonaislukuoperaatiot, joihin prosessorisi oli jo rakennettu. Tuloksena: - 100B-malli toimii yhdellä prosessorilla 5–7 tokenia sekunnissa - 2,37x–6,17x nopeampi kuin llama.cpp x86:lla - 82 % pienempi energiankulutus x86-suorittimilla - 1,37x–5,07x nopeutus ARM:lla (MacBookillasi) - Muistin pudotus 16–32-kertaiseksi verrattuna täystarkkuusmalleihin verrattuna Villein osa: Tarkkuus liikkuu tuskin lainkaan. BitNet b1.58 2B4T, heidän lippulaivamallinsa, koulutettiin 4 biljoonalla tokenilla ja kilpailee saman kokoisia täystarkkuusmalleja vastaan. Kvantisointi ei tuhoa laatua. Se vain poistaa turvotusta. Mitä tämä oikeastaan tarkoittaa: ...