107. LLMをゼロから作るということ w/ Takahiro Omi | fukabori.fm
MP3ファイルをダウンロード 内容紹介 ストックマークの近江さんをゲストに、大規模言語モデルをゼロから作る方法、学習のデータセット、モデルアーキテクチャ、学習環境への取り組みなどについて語っていただきました。 出演者 話したネタ どのような大規模言語モデルと作ったのか？特徴は何か？ データセットに何を使ったのか？ 日本語と英語とのバランスは？ 最終的なToken数は？ 事前学習モデルを作りたいとして、何から考えるのか？ ノイズのクリーニングと、その方法 今回活用したモデルアーキテクチャ(Llama) 前回のアーキテクチャは GPT-NeoX 今回の学習環境は？ AWS Trainum 32コア x 16ノード 学習にかかった時間は？ 学習時に大変だったこと・上手くいかなかったことは？ 学習中のチェックポイントとは何か？ なぜ、Token生成が速いのか？ 手元でLLMを動かすときの一番のネッ
48. GoFデザインパターンとDI (前編) w/ twada | fukabori.fm
話したネタ デザインパターンとは？ ソフトウェアパターン 書籍: オブジェクト指向における再利用のためのデザインパターン Gang of Four 進研ゼミみたいなもの Composite パターン デザインパターン以外のソフトウェアパターンとは？ アーキテクチャパターン、アンチパターン、コンカレンシーパターン AWSクラウドデザインパターン パターンにはフォーマットがある GoFのデザインパターンはいつ頃生まれたもの？ GoFのデザインパターン登場時に、ソフトウェア業界では何が起きていたのか？ Ruby 20 周年記念パーティーレポート ―― プログラミング初心者の運営スタッフが見た Ruby コミュニティ C、C++、Perl、Smalltalk、Visual Basic の時代 デザインパターンには、どういうカテゴリがある？ 生成・構造・振る舞い Javaのクラスライブラリにおけるデ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
