Metaがいかにして大規模言語モデルをトレーニングしているか、その取組みを大公開
6月13日、Engineering at Metaで「Metaが大規模言語モデルをトレーニングする方法(How Meta trains large language models at scale)」と題した記事が公開された。この記事では、AIの研究開発において直面している計算規模の大幅な拡大にどのように対処しているかについて詳しく紹介されている。 以下に、その内容を簡潔にまとめて紹介する。 大規模モデルのトレーニングの課題 大規模な言語モデル（LLM）のトレーニングでは、GPUの数が増えるにつれて、ハードウェアの故障による中断の可能性が高まる。これを最適に行うためには、次の4つの要素が重要である。 ハードウェアの信頼性：ハードウェア故障を最小限に抑えるため、厳格なテストと品質管理を行う。 故障時の迅速な復旧：ハードウェア故障が発生した場合、迅速に復旧する必要がある。これには、再スケジュー
Nvidia、新しいAIベンチマークでも圧倒的な性能 ー 9つのベンチマークすべてでトップ
6月13日、IEEE Spectrumが報じたところによると、Nvidiaは最新のAIテストでの圧倒的な成果を発表した。長年にわたり、Nvidiaは多くの機械学習ベンチマークで支配的な地位を築いている。 MLPerfは、しばしば「機械学習のオリンピック」と呼ばれるAIベンチマークスイートであり、競合するコンピュータシステム間の比較をより明確にするための新しいトレーニングテストを発表した。この新しいテストには、大規模言語モデルの微調整とグラフニューラルネットワーク（GNN）が含まれる。 今回のテストには、GoogleやIntelのAIアクセラレータを使用したシステムも参加したが、NvidiaのHopperアーキテクチャを搭載したシステムが再び圧倒的な結果を示した。特に、11,616個のNvidia H100 GPUを搭載したシステムは、9つのベンチマークすべてでトップを飾り、そのうち5つ（新
Spring Framework 6.2.0-M4リリース ー 新機能をチェックしよう
Spring Framework 6.2.0-M4リリース 6月14日、SpringプロジェクトチームはSpring Framework 6.2.0-M4をリリースした。本リリースは、前回のM3リリースから多くの新機能と改良が含まれている。詳細は以下の通りである。 今回のリリースに含まれる主な機能は以下の通りである。 TaskとScheduledTaskタイプのメタデータ公開 @TestBeanと@MockitoBeanのサポート強化 @ExceptionHandlerメソッドによるコンテンツネゴシエーションのサポート コアとテスト機能 新たに追加されたTaskとScheduledTaskのタイプは、最後の実行時間、結果、次の予定実行時間などのメタデータを公開するようになった。 さらに、@TestBeanと@MockitoBeanのサポートも改良され、より直感的なテストが可能となっている。
Rust 1.79.0リリース ー インラインconst式、型バウンダリ構文の安定化など
6月14日、RustチームはRust 1.79.0をリリースした。 既にrustupを使用してRustの以前のバージョンをインストールしている場合、次のコマンドで1.79.0をインストールできる。 $ rustup update stable Rust、Cargo、Clippyに関する全て変更点は以下のリンクから確認できる。 Rust Cargo Clippy 以下に、Rustに関する変更点をまとめて紹介する。 Rust 1.79.0の新機能 インラインconst式 const { ... }ブロックが式位置で安定化され、追加の宣言を必要とせずにconstコンテキストに明示的に入ることができるようになった。これにより、以下のようなパターンが可能になる。 const EMPTY: Option<Vec<u8>> = None; let foo = [EMPTY; 100]; このようなコード
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
