大規模言語モデルを作ります(10-50b, 2024年3-8月頃)｜Kan Hatakeyama

要点大規模言語モデル(10-50b)の開発に関わることになりました｡ オープンソースの短期集中プロジェクト(24年3-8月)です｡ データセットやコードなどを随時オープンに開発し､共有する予定です｡ こちらのプロジェクトのチームリーダの一人をつとめます｡下記URLに記載のSlackから､誰でも参加できます(オープンな部分の開発､助言､コメント､情報収集など)｡ プロジェクトのslackにも誰でも参加できます。見るだけの参加もOKです｡ (参加方法はページの末尾を参照) 24/3/4追記 オープンな日本語の指示データセットを作っています｡ 誰でも投稿・利用できるフォームと､作り方のコツなどが記されています｡ 経緯: どうしてそうなったのか? (読み飛ばしOK)(細かな話なので､読み飛ばしても支障のないセクションです) 筆者の本業は一応､化学者(大学教員 in 2024)なのですが､ITや機械

[pecan_fudge]

避けること1: 他の開発プロジェクトの単なる後追い／避けること2: 超最先端なアルゴリズムの追求／避けること3: 公開出来ないデータセットやスクリプトの構築／やること: オープンなデータセットの整備