タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
はじめにこんにちは、Lightblueの樋口です。 大規模言語モデル(LLM)は大変注目を集めていますが、日本語で事前学習された公開モデルは限定的です。LLMの事前学習は大きなコストがかかるとされており、公開されているモデルは海外のビッグテックが中心で、国内では2件しか例がありません。 ■サイバーエージェント OpenCALM GPT (small, medium, large, 1.4b, 2.7b, 6.8b) 日本語 Wikipedia + Jpanese mC4+ Japanese CC-100 ■rinna rinna GPT GPT (xsmall, small, medium, 1b, neox-small, neox-3.6b) 日本語 Wikipedia + Japanese CC-100 (1b 以降のモデルではさらに Japanese mC4 を追加) その他、日本語
生成AIの研究開発「LLab」を運営し、日本語LLMの開発・提供を手掛ける株式会社Lightblue（代表取締役：園田亜斗夢、本社：東京都千代田区、以下「Lightblue」）は商用利用可能な日本語LLM「Karasu」「Qarasu」を公開したことをお知らせします。 ■ Karasu/Qarasuシリーズについて Karasuシリーズは70億パラメータのShisa（ https://huggingface.co/augmxnt/shisa-7b-v1 ）に対して、日本語と英語の学習データを用いて70億トークンで継続事前学習とファインチューニングを実施したモデルです。 またQarasuシリーズは、140億パラメータのQwen-14B（ https://huggingface.co/Qwen/Qwen-14B ）に対して、Karasuシリーズで培ったノウハウを活かしファインチューニングしたモ
Dataset Japanese subset of the mC4 dataset Training Trained for 3000 steps on top of the MPT 7b checkpoint mosaicml/mpt-7b How to load Before running this model, please install the following pip package: pip install einops To load the model, run the following command. from transformers import AutoModelForCausalLM model_name = "lightblue/japanese-mpt-7b" model = AutoModelForCausalLM.from_pretrained
東京大学発、最先端アルゴリズムの現場実装に取り組むAIスタートアップ 株式会社Lightblue（代表取締役：園田亜斗夢、本社：東京都千代田区、以下「Lightblue」）は720億パラメーターの日本語LLMモデル「ao-Karasu」を公開したことをお知らせします。「ao-Karasu」はStability AI社が提供する日本語性能のベンチマーク、Japanese MT-Benchの自動評価で国内最高水準の評価となっています。 LightblueではAI活用を目指す現場においてオンプレミスで個社に合わせた独自モデルを提供することはもちろん、DXコンサルティングおよび受託開発で培ったノウハウをフル活用し、各社・各部署・現場ごとの業務理解を基盤としたカスタマイズを実施し、真に実用的なLLM実装をサポートしてまいります。 東京大学発AIスタートアップLightblue、国内最高水準の日本語L
はじめにこんにちは、Lightblue の富岡です。 Meta から先月 （日本時間2023年7月19日）発表された 「Llama 2」 ですが、その日本語性能については賛否両論で、評価がまだ定まっていません。 本記事では、Llama 2 （7B ・13B） の日本語による質問応答性能についてまとめます。結論から言うと、Llama 2 の出力は公開モデルの中では優秀な方と言えそうです。 既存のモデルとの比較はもちろん、Llama 2 を日本語でファインチューニングした独自モデルの評価も合わせて紹介します。 Llama 2 の意義「Llama 2」は、Metaが開発した7B・13B・70BパラメータのLLMです。 2023年2月に公開された「初代Llama」では商用利用は認められていませんでした。 一方で Llama 2 は、商用利用が無料で可能なライセンス形態と、ソースコードだけでなくニュ
lightblue/DeepSeek-R1-Distill-Qwen-7B-Japanese · Hugging Face
","chat_template":"{% if not add_generation_prompt is defined %}{% set add_generation_prompt = false %}{% endif %}{% set ns = namespace(is_first=false, is_tool=false, is_output_first=true, system_prompt='') %}{%- for message in messages %}{%- if message['role'] == 'system' %}{% set ns.system_prompt = message['content'] %}{%- endif %}{%- endfor %}{{bos_token}}{{ns.system_prompt}}{%- for message in
【インタビュー】ヒトにフォーカスした「Human Sensing AI」で現場しごとの未来を変える 東大発スタートアップ Lightblue Technology | DXを推進するAIポータルメディア「AIsmiley」
AI・人工知能のAIsmiley TOP ニュース 【インタビュー】ヒトにフォーカスした「Human Sensing AI」で現場しごとの未来を変える 東大発スタートアップ Lightblue Technology 【インタビュー】ヒトにフォーカスした「Human Sensing AI」で現場しごとの未来を変える 東大発スタートアップ Lightblue Technology AIsmileyは、NTTPCのAIパートナープログラム「Innovation LAB」のメディアパートナーとして、最新の活動やパートナー企業様へのインタビューを特設サイトにてお届けしております。今回は、人にフォーカスしたAI「Human Sensing AI」を提供し、デジタルの力で現場仕事を支えている東大発スタートアップ、株式会社Lightblue Technology 代表取締役 園田 亜斗夢氏に、起業のきっか
Lightblue Technologyは7月19日、研究開発チーム「LLab（エルラボ）」を設立するともに公開モデルとしては国内最大規模という67億パラメーターの日本語LLMを開発し、オープンソースで公開したと発表した。 同社は東大発AIスタートアップ。公開した日本語LLMは透明性とセキュリティーを最大の特長とする。 ChatGPTなどのLLMは英語モデルが主となっている一方で、日本語に特化したLLMは国内大手ベンダーを中心に開発が進めらている。しかし具体的な学習方法が不透明であったり、クラウド運用前提など、セキュリティー面での懸念も多く、特に企業における実運用には課題がある状況が続いている。 同社では主に法人向けに独自LLMを提供。業界用語や部署特有の専門用語、あるいは慣習などに合わせてLLMの調整・訓練することで、各社の専門用語や特殊ケースに対応可能。また、オンプレミス環境で利用可能
あなたのとなりに かしこくて、やさしいAIがいる。 聞けばすぐに答えてくれて、 迷ったときに、そっと背中を押してくれる。 Lightblueは、 社員ひとりひとりと一緒にはたらくAI。 “わからない”を止めずに、 仕事を一歩前へ。
GitHub - shisa-ai/shaberi: Lightblue LLM Eval Framework: tengu, elyza100, ja-mtbench, rakuda
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
株式会社Lightblueインターンの堀川です。 HuggingFaceで公開している「lightblue/suzume-llama-3-8B-multilingual」という弊社のモデルをファインチューニングすることによってWebで検索した情報をもとにRAGを行うことができるようにしたモデル「lightblue/duck_search_calling_multilingual_AWQ」のデモを作成いたしましたのでデモ環境のGoogle Colabのノートブックを公開いたします。 ▶︎今回作成したデモのノートブック （T4における動作を確認しています。） 作成のモチベーション Google社が公開しているGeminiなどのWebに接続することができるLLMが存在している一方で、ChatGPTに代表される多くのLLMでは回答に含まれる時間的な情報が最後に学習したデータに依存するため最新の情報
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
四畳半のオフィスで70億パラメータのLLMを事前学習した話｜Lightblue
Lightblue、商用利用可能な日本語LLM「Karasu」「Qarasu」を公開
lightblue/japanese-mpt-7b · Hugging Face
Lightblue、国内最高水準の日本語LLMモデル「ao-Karasu」を公開
Llama 2 の日本語出力性能を評価してみた｜Lightblue
東大発スタートアップLightblue、67億パラメーターの日本語LLMをオープンソースで公開
Lightblue | 法人向けAIアシスタント
「Google Colab」でローカルLLMを用いたWeb検索RAGデモ｜Lightblue
getnews.jp
full-count.jp
junna.nm.bex.jp
www.nicovideo.jp
news.yahoo.co.jp
dailyportalz.jp