Åpne vekter er ikke åpen trening. @AddieF38654 på teamet vårt skrev om sin erfaring med å ettertrene en 1T-parameter MoE-modell ved å bruke eksisterende åpen kildekode-infrastruktur. La oss finne ut hvor mange ape-som trengs for å ettertrene en modell med åpne vekter. En tråd🧵