CIFAR-10のトレーニング速度の新記録:1台のA100で1.99秒で94% 前回の記録:2.59秒(2024年11月10日) 新記録保持者:@hivergeaiが開発したアルゴリズムディスカバリーエンジン 変更ログ: - ミューオン:NSイターをベクトル化し、「重みを正規化」ステップの頻度を減らす 1/3

- データオーガ:カラージッターを追加し、ランダムクロップをベクトル化します - コンパイル: xent fwd/bwd をコンパイルする - アーキテクチャ: GELU を SiLU に置き換え、最初のレイヤーの初期化に SVD を使用し、すべての変換に fp16 でchannels_last形式を使用します。 - Hparams: bsz 2000 -> 1536 & epochs 8 -> 7.6 を含む微調整 2/3

- TTA: 簡単な例はスキップしてください - サーマルスロットリング: 実行の間に 8 秒間スリープします (記録時間ではなく平均にのみ影響します) 注:著者らは2.02秒の時間を報告した。私の複製 (トーチ 2.7.0、ハードウェアは以下を参照) の最小時間は 1.99 秒でした。 コード： 3/3