オープンウェイトはオープントレーニングではありません。 チームの@AddieF38654が、既存のオープンソースインフラを使って1TパラメータのMoEモデルを後処理しようとした経験をまとめました。 オープンウェイトモデルのポストトレーニングにどれだけのモンキーパッチが必要か見てみましょう。糸🧵