はてなブックマーク

はじめに Kotoba Technologiesでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 Kotoba TechnologiesはNLPと分散並列学習に関する技術を用いて、日本及び非英語圏におけるLLMやマルチモーダルモデルの実運用に向けた研究開発を行っています。 本日(2024/2/19) 2つのmambaモデルをリリースさせて頂きました。 1つは、from scratchから日本語と英語のコーパスにて学習を行ったkotomamba-2.8B-v1.0、もう１つはstate-spaces/mamba-2.8b-slimpjから日本語と英語で継続事前学習を行ったkotomamba-2.8b-CL-v1.0です。 両方のモデルとも、同規模のTransformerモデルと並ぶ性能を示しました。 本記事では、kotomambaモデルの性能と、モデル

はじめに Kotoba Technologiesでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 Kotoba TechnologiesはNLPと分散並列学習に関する技術を用いて、日本及び非英語圏におけるLLMやマルチモーダルモデルの実運用に向けた研究開発を行っています。 今回は、Transformerに代わるアーキテクチャとして注目を集めているMamba(State Space Model: 状態空間モデル)を分散学習するためのライブラリであるkotomambaを開発、公開しました。 本記事は、このライブラリの使用方法と、Mambaについて簡単に説明を行います。 状態空間モデル(State Space Models) 状態空間モデルに関する詳細な説明は、2024年1月に行った弊社インターンの栗田さんのTech Talkスライドを参照ください。 端的

はじめに Kotoba Technologies, Inc. Co-Founder/CTO、Toyota Technological Institute at Chicago, Research Assistant Professorの笠井淳吾です。これまで自然言語処理（NLP）、機械学習の国際学会（ACL、ICLR、NeurIPS、EMNLP、ICCVなど）にて、投稿や発表を積み重ねてきましたが、一度自分なりに論文を書く際に考えていること、留意点、コツのようなものを言語化して共有したいと思います。個人の好みによるところも多々あるかと思いますので、取捨選択していただいて、皆さんの論文執筆の一助になることを願っています。 全体のストラクチャー まずは全体の流れから考えていきます。基本的に、論文を書く際には（多くの場合そもそもプロジェクトを始める前に）、タイトルをイメージしていきます。タイトル

はじめに Kotoba Technologiesでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 Kotoba Technologiesは2023年7月に米国の博士号・教授職を持った創業者2人によって日米クロスボーダー体制で創業され、最先端NLP技術を用いて、日本及び非英語圏における実運用に向けた研究開発を行っています。今回は、社内で利用されているライブラリの一部を公開したため、使用方法等について解説を行います。 Llama 2を筆頭に数多くのモデルがリリースされていますが、推論(inference)してモデルの挙動を確かめることはできても、自前のデータで学習する方法についてはtransformers Trainerクラスを利用した手法を除き、コミュニティに知見として十分に共有されているとは言い難いと個人的には感じています。そこで今回、Kotoba