Öppna vikter är inte öppen träning. @AddieF38654 i vårt team skrev om sin erfarenhet av att försöka efterträna en 1T-parameter MoE-modell med den befintliga open source-infrastrukturen. Låt oss ta reda på hur många aplappar som krävs för att efterträna en modell med öppna vikter. En tråd🧵