サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
大谷翔平
note.com/retrieva
はじめにこんにちは。横浜国立大学大学院 理工学府 修士2年の藤井巧朗と申します。8月24日から9月29日の5週間、株式会社レトリバにインターンとして参加させていただきました。インターンでは日本語LLMの推論速度に関する検証を行いました。本記事では、インターンでの成果の一部を紹介します。 想定する読者: 自然言語処理に興味がある方 自然言語処理を扱う会社のインターンに興味のある方 LLMの推論速度に関心のある方 時間がない方向けまとめ: 推論速度に関して、特に大規模なモデルではCPUよりもGPUの方が圧倒的に速い GPUで高速化したい場合vLLMかFasterTransformerを使うべき(モデルの大きさによる) 特にバッチ処理をする場合はvLLMを使うべき 本検証では量子化によるスループット向上は見られなかった 0. インターン参加の経緯私はもともと研究スキルやエンジニアリング力を高めた
こんにちは。レトリバの飯田(@HIROKIIIDA7)です。新技術研究開発室で チームのリーダーをしています。このブログでは、SimCSE[1]、DiffCSE[2]など、教師なし文表現の紹介を行ってきました。近年、ついに多言語で使用可能な埋め込み表現 ME5が現れ、話題となっているため、今回はそのベンチマークを日本語で行いました ME5についてME5はE5(EmbEddings from bidirEctional Encoder rEpresentations)の多言語版です。E5[3]はテキストをベクトルに変換するエンコーダで、 こちらのブログでも紹介されているとおり、 CCPairsという埋め込み表現訓練用のコーパスを作成し、それを用いて対照学習を用いて埋め込み表現の事前学習を行います。 その後、NLIやMS MARCOといった既存の人手でつけた教師データを複数用いて、対照学習で埋
Chief Research Officerの西鳥羽(https://twitter.com/jnishi)です。日本語データによる学習を行ったT5モデルを公開いたしました。Huggingface hubから取得できます。今回はsmall, base, largeについてそれぞれ学習step数を変えて3種類ずつ、および XLのモデルを公開いたしました。 t5-small-short: https://huggingface.co/retrieva-jp/t5-small-short t5-small-medium: https://huggingface.co/retrieva-jp/t5-small-medium t5-small-long: https://huggingface.co/retrieva-jp/t5-small-long t5-base-short: https://h
このページを最初にブックマークしてみませんか?
『株式会社レトリバ|note』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く