Kotomamba: mamba-2.8B 学習知見

テクノロジーカテゴリーの変更を依頼記事元:

zenn.dev/kotoba_tech

6 usersがブックマークコメント

コメント

0

記事へのコメント0件

注目コメント
新着コメント

新着コメントはまだありません。
このエントリーにコメントしてみましょう。

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

Kotomamba: mamba-2.8B 学習知見

はじめに Kotoba Techno logiesでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)で... はじめに Kotoba Techno logiesでインターンをしている東京工業大学 B4 横田研究室の藤井(@okoge_kaz)です。 Kotoba Techno logiesはNLPと分散並列学習に関する技術を用いて、日本及び非英語圏におけるLLMやマルチモーダルモデルの実運用に向けた研究開発を行っています。本日(2024/2/19) 2つのmambaモデルをリリースさせて頂きました。 1つは、from scratchから日本語と英語のコーパスにて学習を行ったkotomamba-2.8B-v1.0、もう１つはstate-spaces/mamba-2.8b-slimpjから日本語と英語で継続事前学習を行ったkotomamba-2.8b-CL-v1.0です。両方のモデルとも、同規模のTransf ormerモデルと並ぶ性能を示しました。本記事では、kotomambaモデルの性能と、モデル

ブックマークしたユーザー

yuiseki2024/04/03
triceratoppo2024/02/21
dann2024/02/21
tasukuchan2024/02/19
kybernetes2024/02/19

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx