New trends in AI, LLMs and application development The rise of AI and large language models (LLMs) has transformed various industries, enabling the development of innovative applications with human-like text understanding and generation capabilities. This revolution has opened up new possibilities across fields such as customer service, content creation, and data analysis. As LLMs rapidly evolve,
はじめに Turing 株式会社のリサーチチームでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 大規模言語モデル(Large Language Model: LLM)への注目がGPT-4のリリース以降高まっていますが、LLMを作るための知見は十分に共有されているとは言い難いと個人的に感じています。 Turingでは、Vision and Language, Video and Languageなどのマルチモーダルなモデルの研究開発を行っている一環として、Megatron-DeepSpeed, GPT-NeoXなどを用いて数十Bのモデルの学習を行う知見を蓄積しています。今回はLLMの事前学習を行う際に候補となるMegatron-DeepSpeedを用いてGPT-2-7B(6.6B)の学習をどのように行うのかについて解説します。 分散並列学習がどのよう
AI事業本部MLOps研修とは はじめまして、AI Labでリサーチエンジニアをしている岩崎(@chck)と、AI事業本部 Dynalystでデータサイエンティストをしている長江(@nsakki55)と干飯(@hosimesi)です。 今回は、AI事業本部研修で行われた講義のMLOps回の資料を公開します。 🔳 AI事業本部の事業を担う一員として、「AI事業本部で必要なドメイン知識を身につける・関係を構築する(縦・横・ななめまで)」が研修の目標 サイバーエージェントでは、入社後3週間ほどのエンジニア全体研修を行った後、各事業部に配属されます。AI事業本部では、事業部配属直後に2週間ほどエンジニア研修を行います。この研修では、全社研修とは異なり、AI事業本部に特化したアドテクや機械学習に関連する内容が取り扱われています。 ▼事業部研修全体スケジュール AI事業本部の研修は、以下の3つのパー
サイバーエージェントではこれまでも、新卒エンジニア向けに「チーム開発の進め方」や「良いコードとは何か」といった資料や、Unityエンジニア向けのゲームシステムの高速化に関するノウハウなどを無償公開している。 関連記事 ミクシィ、新卒向け研修資料を無償公開 「Git」と「テスト・設計」 今後も随時公開 MIXI(旧社名ミクシィ)は、同社の新入社員向け技術研修で使用した資料を無償公開した。 日経新聞、新卒エンジニア向けセキュリティ研修資料を無償公開 日本経済新聞社は、新卒エンジニア向けセキュリティ研修資料を無償公開した。同社が4月の新人研修で使用したもので、ページ数は30ページ以上。 ゲームシステムを高速化する社内ノウハウを無償公開 Unityエンジニア向けに サイバーエージェント サイバーエージェントは社内研修用の書籍「Unity パフォーマンスチューニングバイブル」のPDFを公開した。 3
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く