最近ローカルLLMがアツいらしい
最近、ローカルLLMがアツくなっているという話をtwitterでチラホラ見かける。 ローカルLLMって何じゃ？というと、オープンに公開されているモデルのウエイトをDLしてきて手元のPC上で推論させる事である。 オープンなAIモデルとは逆の存在として、モデルがDLできないクローズなAIモデルもある。 OpenAIやAnthropicのような最先端AI企業のクローズなAIモデルに比べて、オープンに公開されているオープンなAIモデルの性能は今でもかなり後れを取っている。 だから去年の間はあくまでAIの本命はChatGPTのようなクローズモデルであって、オープンなAIモデルなんて眼中にありませんみたいな風潮が無くはなかった。だが最近は風向きが少々変わってきている。 GPTのAPI高い問題 ＆ OpenAIがAIベンチャー皆殺しにしてしまう問題 まず「結局GPTのAPIを叩いてサービス運営して成功し
東京大学・松尾豊研究室発のAIベンチャーELYZA（イライザ／東京都文京区）は8月26日、文章の要約文を生成するAI「ELYZA DIGEST」を試せるデモサイトを公開した。人間より短時間で要約でき、要約の正確性は「人間に匹敵する」という。今後も精度を高め、議事録作りやコールセンターでの対話メモ作成などでの活用を目指す。 同社は自然言語処理技術（NLP）の研究を進めており、日本語テキストデータの学習量・モデルの大きさともに日本最大級というAIエンジン「ELYZA Brain」を開発している。 ELYZA DIGESTは、大規模言語モデルを基に、要約というタスクに特化したAIとして開発。読み込んだテキストを基に、AIが一から要約文を生成する「生成型」モデルで、文の一部を抜き出す「抽出型」モデルなどと異なり、文の構造が崩れていたり、話者が多数いる会話文だったりしても、精度の高い要約文を生成でき
ELYZA DIGEST
ELYZA DIGEST
TOP > Article Theme > AI（人工知能）ニュース > 東大松尾研究室、無料でディープラーニングや自然言語処理を学べる講座開講 松尾豊氏が講師を務める講座も 東京大学 松尾研究室は1月29日から、無料でディープラーニング（深層学習）や自然言語処理について学べる、短期間のオンライン講座の受講者を募集している。対象は学生（大学院、大学、高専、専門学校生、高校、中学など）。募集は2月8日（月）の10時00分まで。選考結果は2月15日（月）までに受講決定者にメールで連絡する。 今回、募集しているオンライン講座は「スプリングセミナー2021：深層強化学習」「プリングセミナー2021：深層生成モデル」「プリングセミナー2021：Deep Learning for NLP講座」の3つ。なお、人工知能（AI）研究の第一人者で、東京大学 松尾研究室を率いる松尾豊氏は企画・監修だけではなく、
「吉幾三を入れたら壊れた」「おおきなかぶは抜けなかった」東京大学発の企業が開発した「何でも3行で要約してくれるAI」がさっそくツイッタラーのおもちゃに成り果てる
にゃんこそば🌤データ可視化 @ShinagawaJP オープンデータを使って都市の姿を可視化したり、防災/天気/住まいなどの関心分野を呟いています。 💻QGIS/Mapbox/Vis.gl/Tableau/Python/R にゃんこそば🌤データ可視化 @ShinagawaJP いくつか試してみたけど、ちょっと数字が苦手かな？という感はある。 例えば『ジャイアントパンダの名前募集」の記事、2頭の子パンダの体重が両方とも違う（謎の数字に置き換わってる）。 DeepLみたいにいろんな文章を食べながら成長していくのかな？今後が楽しみ。 digest.elyza.ai/summaries/1393… pic.twitter.com/ln72pXifIC 2021-08-26 20:58:52
AIの安全性について研究する非営利の研究組織Future of Life Institute（FLI）は3月28日、GPT-4よりも強力なAIシステムの開発と運用を少なくとも6カ月間停止するように呼びかける書簡を公開し、本稿執筆現在1000人以上が署名している。イーロン・マスク氏や、米Appleの共同創業者、スティーブ・ウォズニアック氏の名前もある。 人類にとって深刻なリスクをもたらす可能性のある一般的なタスクにおいて、人間と競合するようになったAIシステムに対する懸念から提示された。現在のAI技術が安全性や倫理性の問題を引き起こす可能性があるため、研究者や開発者に対して、これらのリスクを十分に評価し、必要な対策を講じるよう呼びかけている。 また、AIがもたらす利益とリスクの均衡を保つために、国際的な協力と競争の制限が重要だと主張する。信頼性、アライメント、忠誠心などを確保するために必要な
LLaMAは米Metaが独自開発した大規模言語モデル。LLM分野の研究推進を支援するため、研究者向けに2月にリリースした。大規模インフラを利用できない研究者のために小規模ながら性能の高いことが特徴で、7B（＝70億）、13B、33B、65Bの4種類のパラメーターを用意している。13Bモデルはベンチマークで米OpenAIのLLM「GPT-3」を上回るという。 米スタンフォード大学は、LLaMAの7Bモデルを派生させ独自のLLM「Stanford Alpaca」を開発。このモデルは研究や学術目的でのみ利用でき、娯楽や商用での利用は禁止している。Alpaca LoRAでは、Stanford Alpacaが生成するトークン（単語列）を再現できるという。 関連記事 Meta、独自大規模言語モデル（LLM）の「LLaMA」を限定リリース Metaは独自の大規模言語モデル「LLaMA」（Large La
講義資料は特設ページからダウンロード可能で、全7講義分のパワーポイントを無料で取得できる。内容はLLMの概要から、日本でのLLMの開発状況、Transformerと事前学習の仕組み、ファインチューニングなど。 関連記事 東大松尾研、大規模言語モデルの研究者＆開発エンジニアを募集 「LLM研究をさらに加速させる」 東京大学松尾研究室は、大規模言語モデル（LLM）の研究者や開発エンジニアを募集するとX（旧Twitter）で発表した。2024年、LLMの研究をさらに加速させるためチームを拡大するという。 ChatGPTでの業務効率化を“断念”──正答率94％でも「ごみ出し案内」をAIに託せなかったワケ 三豊市と松尾研の半年間 「ごみ出し案内」業務にはChatGPTを“活用しない”と決断──生成AIを使った業務効率化を検証してきた、香川県三豊市がそんな発表をした。実証実験には松尾研も協力したが、思
LLMs The History of Chatbots ELIZA (1966) 初期の人工知能プログラムのひとつ。 ルールベースの簡単なパターンマッチングで返答していた。 心理療法士の会話を模したELIZA(DOCTOR)が有名。 PARRY (1972) PARRYは偏執病的統合失調症患者をシミュレートしようとしたもの。 ELIZA(DOCTOR)と通信し話題となった。 Jabberwacky (1982, 1988, 1997) ユーモラスな人間同士の自然な会話をシミュレートすることを目的としていた。 ユーザーとの会話の大規模なデータベースを構築し、言語と文脈を学習することができた。 プロジェクト自体は1982年から開始されていたが、当初は学習機能は有していなかった。 ローブナー賞を2005年(George)、2006年(Joan)に受賞している。 ローブナー賞(Loebner P
Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました｜ELYZA, Inc.
Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました 本記事のサマリーELYZAが「Llama 2」ベースの商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を一般公開 性能は「GPT-3.5 (text-davinci-003)」に匹敵、日本語の公開モデルのなかでは最高水準 Chat形式のデモや評価用データセットも合わせて公開 既に社内では、130億、700億パラメータのモデルの開発も進行中 はじめにこんにちは。ELYZAの研究開発チームの佐々木、中村、平川、堀江です。 この度ELYZAは、Metaの「Llama 2」をベースに、日本語による追加事前学習を行なった日本語言語モデル「ELYZA-japanese-Llama-2-7b」と、そこにELYZA独自の事後学習を施した「
IT業界において大規模言語AIサービス「ChatGPT」が大盛り上がりだ。2023年に入ってからはあらゆる業界の企業がChatGPTを使ったサービスをこぞって発表している。IT超大手GAFAMも続々大規模言語AIの活用方針を打ち出している。 そんなChatGPTはどうやってここまでの人気を得るに至ったのか。日本語特化の大規模言語AIを開発してきた東大発ベンチャー・ELYZA（東京都文京区）は3月16日の発表会で、今この業界で何が起きているのかを、歴史とともに解説した。 GAFAMが続々アプローチ IT業界が一瞬でAIカラーに染まる ChatGPTは2022年11月の公開以降、飛ぶ鳥を落とす勢いでユーザーを獲得してきた。ユーザー数はリリースから5日で100万人、2カ月で1億人を突破した。米Microsoftは開発元の米OpenAIにもともと10億ドルを出資していたが、ChatGPT登場後さら
今年の書初めコーディングはAITuberを創る！
はじめに あけましておめでとうございます。去年は何といってもAIの年でした。ChatGPTやStableDiffusionが2022年末に登場してから、想像を超えてAI周りが進化しましたね。今回は年の初めという事もあり、前から興味のあったAITuberを作ってみる事にしました。 「AITuberを作ってみたら生成AIプログラミングがよくわかった件」 って本も買ったし。LLM部分だけでは無く、OBSやYouTubeのコメント取得などAITuberに必要な内容が一式揃っていて非常に参考になりました。 また、私はプログラミングは多少できますが、イラストや音楽に関しては全くスキルの無い人間です。そのためそのあたりに関してはStable DiffusionやSunoAIの力を借りて作っているので、結果的にオール生成AIという感じですね。そのあたりも含めて記事にまとめたいと思います。 TL;DR 素の
SIerのクラスメソッド（東京都港区）は3月15日、大規模言語モデル「GPT-4」といったAI活用に関する社内ガイドラインを策定した。開発者向けブログ「DevelopersIO」で全文を公開している。「社内でもAIサービスの利用について方針がほしい、という声が上がってきており、それに応えた」（同社） ガイドラインは文章生成AI、コード生成AI、画像生成AIなどの利用を想定したもの。業務に直接関係しない情報を使った検証は認めているが、業務利用には上長の許可が必要としている。ただし業務利用する場合も、入力情報がAIの学習に活用されるサービスについては、業務データの入力を避けることなどを定めている。 AIを活用したサービスを提供する場合の注意点なども明記。「AIが生成したものであることを明記し、内容については参考程度にする断りを入れること」や、文章コンテンツの粗製乱造をしないことなどを定めている
AI開発の新たなパラダイム「基盤モデル」とは
さて、視覚・言語を扱う基盤モデルとしては、2021年の CLIP がブレイクスルーでした。CLIPはテキストと画像を同じ特徴空間に写像する2つのエンコーダからなります。CLIPを使うと、次のようにして任意の画像分類問題を追加の学習なしで解くことができます。まず、各候補クラスを文章の形式（例：「犬の写真」）にした後、テキストエンコーダに入力します。次に、分類したい画像を画像エンコーダに入力します。最後に、画像から得られたベクトルと候補クラスたちから得られた複数のベクトルとのコサイン類似度を計算し、最も類似度が高いクラスを出力結果とします。 CLIPによるゼロショット画像分類の方法。OpenAI Blogより引用 CLIPは画像とテキストというモードの異なる情報を意味的な近さによって結びつけることを可能にしました。CLIPを教師のようにして使うことで、テキストから画像を生成するモデルを訓練する
文章執筆AI「ELYZA Pencil」
国内におけるAIの権威である東京大学の松尾豊教授は、ChatGPTをどう見ているのか？ 4月4日に開催されたAIチャットボットなどを手掛けるPKSHA Technologyのイベントで、同社の上野山勝也社長と対談し、ChatGPTをどう捉えるかについて話した。 PKSHA Technology上野山勝也社長（左）と東京大学の松尾豊教授（右）。松尾教授はPKSHA Technologyの技術顧問も務める ChatGPTは、一時的なトレンドか技術的転換点か 松尾氏 一時的なトレンドではない。使うと分かるが相当学習している。やっている事自体は、次の単語を予測して表示しているだけだが、その過程で、相当複雑な概念も学習してしまっている。これがいろいろな形で世の中に広がっていくのは間違いない。 ChatGPTは、プロンプトエンジニアリングによって、新しいものを生み出している。確かに学習しているのはネッ
130億パラメータの「Llama 2」をベースとした日本語LLM「ELYZA-japanese-Llama-2-13b」を公開しました（商用利用可）｜ELYZA, Inc.
130億パラメータの「Llama 2」をベースとした日本語LLM「ELYZA-japanese-Llama-2-13b」を公開しました（商用利用可） 本記事のサマリーELYZA は「Llama 2 13B」をベースとした商用利用可能な日本語LLMである「ELYZA-japanese-Llama-2-13b」シリーズを一般公開しました。前回公開の 7B シリーズからベースモデルおよび学習データの大規模化を図ることで、既存のオープンな日本語LLMの中で最高性能、GPT-3.5 （text-davinci-003） も上回る性能となりました。また、推論の高速化を実現したチャット型デモを併せて公開しています。 はじめにこんにちは。ELYZAの研究開発チームの平川、佐々木、中村、堀江、サム、大葉です。 この度 ELYZA は、130億（13B）パラメータの「ELYZA-japanese-Llama-
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 米ライス大学と米スタンフォード大学に所属する研究者らが発表した論文「Self-Consuming Generative Models Go MAD」は、AIが生成した画像（合成データ）を用いて別の生成モデルが学習し続けると、その精度にどのような影響がでるのかを検証した研究報告である。 結果は、AIモデルを合成データでトレーニングすると、画像が乱れるアーティファクトが徐々に増幅され、品質や視覚的多様性のいずれにおいても悪化する結果を示した。研究チームは、この状態を狂牛病になぞらえて「Model Autophagy Disorder」（モデル自
基盤モデルの開発をしている中で苦労することは？ 南野充則氏（以下、南野）：では、ここからパネルディスカッションに移っていきたいと思います。最初は、こちら側でお題を用意しています。大きなトピックとしては、基盤モデルの開発とコスト、基盤モデルにおけるアカデミアとビジネスの観点でどのような考え方をされているのかというところ。 あとは、日本語特化LLMの意義と展望といったところですね。大きなトピックとして揃えていますが、今「Slido」でのご質問もいただいていますので、適宜Slidoも拾いながらやっていければと思います。Slidoは、このQRコードからみなさんに質問していただければと思います。 さっそくですが、トピック1に移っていきたいと思います。「基盤モデルの開発をしている中で苦労されることは？」というところで、これはまず垣内さんからお願いしたいです。この基盤モデルを作っている中でどんな苦労があ
「オープンレター 女性差別的な文化を脱するために」の問題点｜apj
オープンレターそのものの問題点「オープンレター 女性差別的な文化を脱するために」が公開されているが、これは問題のある文書である。理由は次の通り。 広く女性差別的な文化をなくしていこうという運動のための文書なのに、なぜか呉座氏という特定の個人の言動を非難する内容が最初に書かれている。 きっかけが呉座氏であったとしても、一般性のある文書に特定の個人の情報を載せる意味はない。この文書は、呉座氏にことさら悪い印象を与える内容になっており、社会運動のために広く用いるには不適切である。これで署名者の数を頼んで何かをしようというのなら、魔女狩りか陶片追放もどきのシロモノにしかならない。 そもそも賛同した覚えのない人の名前が賛同者リストに出ていることがわかってきた。署名を集める時のチェックがザルで、なりすましのイタズラが混じった可能性もある。あるいは、発起人が勝手に名前を入れた可能性も否定はできない。 賛
BERT以降の事前学習済みモデルのトレンドと主要モデルを紹介！ Part 1 学習方法編 - ELYZA Tech Blog
はじめまして，インターン生の三澤遼です。本記事では，BERT以降の事前学習済みモデルを体系化し，主要なモデルについて解説します。TransformerやBERTについて事前知識があると理解しやすいと思います。 BERT以降のNLP分野の発展 学習方法の改良について 事前学習 Masked Language Modeling 改良版Masked Language Modeling RoBERTa (2019-07) Translation Language Modeling XLM (2019-01) Sequence-to-Sequence Masked Language Modeling T5 (2020-07) Permuted Language Modeling XLNet (2020-01) Denoising Auto Encoder BART (2019-10) Contras
米Metaは4月18日（現地時間）、オープンソースのLLMの最新版「Llama 3」を発表した。80億パラメータと700億パラメータの2モデルで、いずれもほぼすべての主要クラウドサービス（AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake）で間もなく利用可能になる。 昨年リリースの先代「Llama 2」にも700億パラメータモデルはあったが、Llama 3は4000億パラメータの高密度モデル（こちらはまだ公開されていない）のトレーニングも継続中だとマーク・ザッカーバーグCEOは語った。 トレーニングデータセットは、Llama 2よりも7倍大きく、4倍のコードが含まれている。英語以外での利用に備えるため、データセットの5％以上が非英語データで構成されて
要約をAIが自動生成してくれるサービス『QuillBot』と『ELYZA DIGEST』｜これ買ってよかった | ライフハッカー・ジャパン
デスク配線がスッキリ。Ankerの全部入り12 in 1モニタースタンドが突然8,250円OFFされてた #Amazonセール
15歳で現役高校生の開発者「Holy-fox/子狐」氏は5月9日、パラメーター数7Bクラスとしては日本語能力が最強となる大規模言語モデル（LLM）「ArrowPro-7B-KUJIRA」を公開した。 「AITuberの魂」になることを想定 7Bにおいて日本語能力最強のモデル、ArrowPro-7B-KUJIRAができました。Elyza-task100においては約3.8をマークしています！AItuber用途を主眼において設計されています（それ以外もできるよ！） https://t.co/kiywdI5YCs — Holy-fox/子狐 (@Holy_fox_LLM) May 9, 2024 同モデルはMistral系のオープンソースLLM「NTQAI/chatntq-ja-7b-v1.0」をベースに、AITuber（生成AIを使ったバーチャルYouTuber）やAIアシスタントでの利用を想定
岡崎教授率いる岡崎研究室と、東京工業大学学術国際情報センターの横田理央教授が率いる横田研究室、産業技術総合研究所による合同研究チームは23年12月、LLM「Swallow」を発表。この開発を通して得たノウハウなども紹介している。 関連記事 生成AIを巡る日本の現状は？ 東大・松尾教授の考察資料が無料公開 「1年間、日本は最善手を指し続けている」 内閣府は5月23日、22日に開催した「第9回 AI戦略会議」で取り扱った資料を公開した。公開したのは、AI研究の権威として知られる東京大学の松尾豊教授が作成した「生成AIの産業における可能性」と題した全33ページの資料など。 “大は小を兼ねない”生成AI 注目集める「小規模言語モデル」（SLM） そのメリットとは？ 先日行われた、米Microsoftの開発者向けイベント「Microsoft Build 2024」の目玉の一つだった「SLM」（Sma
三珠さくまる🤹動画勢Vtuber @MitamaSakumaru これ。東大松尾研のベンチャーが作ったやつ。 基本的には精度はいいと思うのだけど、ニュースとかの要約も想定してるっぽいので誰が何をしたっていうことがらで殺害が重要ワードだと判断されたとかではないかなとか推測すると面白いかもしれない。 digest.elyza.ai/summaries/1698… pic.twitter.com/NaoEVqSYAr 2021-08-26 20:06:58
「ELYZA LLM for JP」はELYZAが開発する日本語の大規模言語モデル（LLM）シリーズの総称です。今回のデモは2024年3月時点で最高性能のモデル「ELYZA-japanese-Llama-2-70b」を基盤としたもので、日本語による対話・タスクの実行においてグローバルプレイヤーが提供する海外製LLMに匹敵する性能を実現しています。ELYZAでは本モデルシリーズを、グローバルモデル以外の新たな選択肢として、主にセキュリティやカスタマイズ性を重視する企業、自社サービスや事業にLLMを組み込みたい企業に向けて、安全なAPIサービスや共同開発プロジェクトなど様々な形態で提供してまいります。
ELYZAが公開した日本語LLM「ELYZA-japanese-Llama-2-7b」についての解説 : (1) 事前学習編
はじめに こんにちは。ELYZAの研究開発チームの佐々木 (@hikomimo)、中村 (@tyo_yo_)、堀江 (@eemon18)、平川 (@h__must__) です。 先日弊社株式会社ELYZAでは以下のようなリリースをさせていただきました。 Metaの「Llama 2」をベースとした商用利用可能な日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました 上記のリリースには、Metaの「Llama 2」をベースとした以下のモデルが含まれます。 日本語追加事前学習済みモデル ELYZA-japanese-Llama-2-7b ELYZA-japanese-Llama-2-7b-fast 上記の事前学習済みモデルに事後学習 (instruction tuning) を実施したモデル ELYZA-japanese-Llama-2-7b-instruct (デモ)
米OpenAIの「ChatGPT」やGoogleの「Gemini」など、主要生成AIの弱点や脆弱性が次々に発覚している。企業や個人の日常生活に浸透している生成AIが悪用されれば、社外秘情報や個人情報の流出を招いたり、悪用防止対策がかわされて偽情報の作成に利用されたりする恐れもある。 イスラエルのベングリオン大学の研究チームは、生成AIとユーザーの間に割り込んでデータパケットを傍受し、AIの回答内容を高い精度で復元する攻撃に成功したと発表した。この攻撃は、生成AIがユーザーの質問に回答する際のデータ処理に存在する脆弱性を突いている。 （関連記事：他人がGPT-4とやりとりしたテキストを盗む攻撃 成功率50％以上 イスラエルの研究者らが発表） ChatGPTなどの生成AIがユーザーの指示や質問に対して答えを返す際は、文章を単語や文字ごとにトークン化し、個々のトークンを連続的にユーザーに送信して
東京大学・松尾豊研究室発のAIベンチャーELYZA（イライザ／東京都文京区）は3月28日、キーワードから約6秒で日本語の文章を生成できるAI「ELYZA Pencil」を試せるデモサイトを公開した。キーワードから文章生成できる日本語の大規模言語AIとして、国内初の一般公開になるという。
【Youri 7B】日本最高峰の精度を叩き出す！学習量2兆トークン超えの最強日本語LLM 2023 11/09 Youri 7Bは、2023年10月31日に日本のrinna社が公開した最新の日本語LLMです。 このモデルは、Llama2 7Bをベースに開発され、目的や環境に合わせて複数のモデルが用意されており、より多くのAI研究に活用されることを目的としています。 また、量子化された軽量モデルもあるので、一般の方でも気軽に試すことができます！ 今回は、Youri 7Bの概要や使ってみた感想をお伝えします。 是非最後までご覧ください！ なお弊社では、生成AIの開発について1時間無料相談を承っています。こちらからお気軽にご相談ください。 →無料相談で話を聞いてみる Youri 7Bの概要 Youri 7Bは、2023年10月31日に日本のrinna社が公開した最新の日本語LLMで、Meta社の
こんにちは。電通総研コーポレート本部システム推進部の山下です。 最近はChatGPTなどのLarge Language Model(LLM)を利用したAIが話題ですね。 そのLLMを応用したRetrieval-Augmented Generation(RAG)という技術があります。 これは、LLMに文書検索などを用いて関連する情報を与えて回答させることで、 LLMが知識として持っていない内容を回答させたり誤った情報を答えてしまうハルシネーションを抑止する技術です。 今回はこのRAGをLlamaIndexというライブラリを使ってローカル環境で実装する方法について紹介します。 なぜローカル環境でLLMを利用したいのか 大変便利なツールのLLMですが、利用が難しいこともあります。 例えば、機密情報を取扱いたい、外部インターネットへの接続に制限が掛かっているといった場合です。 最終的にOpenAI
700億パラメータの日本語LLM「ELYZA-japanese-Llama-2-70b」を開発し、デモを公開しました｜ELYZA, Inc.
700億パラメータの日本語LLM「ELYZA-japanese-Llama-2-70b」を開発し、デモを公開しました はじめにこの度 ELYZA は、新たに開発した700億パラメータの大規模言語モデル (LLM) である「ELYZA-japanese-Llama-2-70b」のデモを公開しました。「ELYZA-japanese-Llama-2-70b」は、前回までに引き続き、英語の言語能力に優れた Meta 社の「Llama 2」シリーズに日本語能力を拡張するプロジェクトの一環で得られた成果物です。 ELYZA が公開している日本語ベンチマーク ELYZA Tasks 100 を用いたブラインド性能評価では、公開されている日本語の大規模言語モデル (以下、LLM) を大きく上回っていることに加え、OpenAI 社の「GPT-3.5 Turboシリーズ」や Anthoropic 社の「Cla
「AIチャットbotを作りたいけど、どんなリスクがあるの？」 デジタル庁、テキスト生成AIのガイドブック（α版）を公開
デジタル庁などの関係省庁では2023年12月から、生成AIの業務利用に関する技術検証を進めており、今回のガイドブックもその検証結果を踏まえたものになる。なお今回公開したものはα版。デジタル庁は「現時点では、α版のため内容に不十分な点があるが、生成AI利活用時のリスクや対策に関する議論の参考にしてほしい」と案内している。 今後も定期的に内容の拡充・改善を行い、正式版の公開を目指す。 関連記事 生成AIを巡る日本の現状は？ 東大・松尾教授の考察資料が無料公開 「1年間、日本は最善手を指し続けている」 内閣府は5月23日、22日に開催した「第9回 AI戦略会議」で取り扱った資料を公開した。公開したのは、AI研究の権威として知られる東京大学の松尾豊教授が作成した「生成AIの産業における可能性」と題した全33ページの資料など。 「RAGはそんなに簡単じゃない」──AIエンジニア主導でLLMを導入する
文章生成AIの研究開発が急速に進んでおり、無料で使える大規模言語モデル(LLM)も数多く公開されています。しかし、LLMの動作を実際に試すには高性能なハードウェアや複雑な環境構築が必要なことが多いため、最初から諦めている人も多いはず。無料で公開されている「LM Studio」を使えば、一般的な性能のPCでもコマンド不要で気軽にLLMの動作させられるとのことなので、実際にLM Studioを使ってLLMを使う手順を確かめてみました。 LM Studio - Discover, download, and run local LLMs https://lmstudio.ai/ ◆LM Studioのインストール LM StudioはWindows版とmacOS版が存在するほか、Linux向けのベータ版も存在します。Windowsで使う場合の必要条件は「AVX2に対応したCPU」のみ。近年販売さ
TL;DR 量子化しても成績が下がりにくいモデルと、大きく下がるモデルがある 一部のモデルは量子化すると回答が極端に短くなる 量子化によって回答が短くなる度合いは、量子化前モデルの回答の長さと相関がある可能性がある はじめに 皆さんは量子化したLLMを使っていますか？ 深層学習における量子化（quantization） とは、モデルのパラメータを少ないビット数で表現することです。 通常のモデルは float32 などの高精度なデータ型を使ってパラメータを表現しますが、この精度を float16 や int8 に下げることを量子化といいます。 量子化による最大のメリットは、モデルのメモリ使用量を削減できることです。メモリの大きなモデルを動かすためには、大容量のメモリを搭載したGPUが必要ですが、量子化によってモデルのメモリ使用量を削減することで、より多くのGPUでモデルを動かすことができます
最近LLMコミュニティから生まれた小型MoEモデル「LightChatAssistant-2x7B」の日本語チャット性能がとても良いため、モデル作者さんが用いた手法（Chat Vector+MoEマージ）を後追いで勝手に検証しています。 その過程で複数のモデルを試作したところ、7Bクラスとしてはベンチマークスコアがやたら高いモデルが出てきたので「Japanese-Starling-ChatV-7B」として公開してみました。 以下はこのモデルの簡単な説明です。 簡易評価日本語によるinstruction-tuningを行ったモデルの評価用データセットとして知られる「ELYZA-tasks-100」を用いて、ほかの有力な7Bクラスの日本語モデルとスコアを比較しました。 その結果、GPT-4による評価において既存の日本語7Bモデルより大幅に高いスコア（3.42）を示すことが確認できました。単純に
はじめに 最近Command R+が界隈を賑わせています。 その賑わいの中でも「Command R+の日本語の応答速度が速い。」という声を良く聞きます。(半分以上X経由なので、よく聞くというよりも良く見るが近いですが、) そこで今回はCommand R+の日本語の応答速度が本当に速いのか、なぜ速いのかについてトークナイザー観点で述べたいと思います。 応答速度とトークナイザーの関係及びCommand R+のトークンナイザー まず前提として、入力あたりのトークン数が少なければ少ないほど応答時間が短くなります。よってトークナイザーは応答速度に大いに関係します。 詳しくは以下の記事で解説しています。少しだけ述べるとトークン数縮小に伴う語彙数増加によるEmbedding層肥大化による速度遅延<<トークン数増加による速度遅延となっています。ELYZAのfastのモデルが速い理由の一つもこの理由です。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「どんな文章も3行に要約するAI」デモサイト、東大松尾研発ベンチャーが公開 「正確性は人間に匹敵」
東大松尾研究室、無料でディープラーニングや自然言語処理を学べる講座開講 松尾豊氏が講師を務める講座も | Ledge.ai
「GPT-4より強力なAIの開発を直ちに停止せよ」──公開書簡にマスク氏やウォズニアック氏が署名
ラズパイで動く大規模言語モデルがGitHubで公開 性能は“GPT-3相当”、Metaの「LLaMA」派生
国産の日本語生成AIの無料デモ版が公開 ～「GPT-3.5 Turbo」に匹敵する性能を達成／東大初のELYZA社が700億パラメーターのLLM「ELYZA-japanese-Llama-2-70b」を開発
年末年始にLLMの勉強はいかが？ 東大松尾研、大規模言語モデルの講座資料を無料公開
歴代チャットボットと最近のLLMのまとめ - Qiita
AIプロ集団から見た「ChatGPTの歴史」 たった5年で何が起こったのか
AIは業務でどこまで使っていいの？ クラスメソッドが社内ガイドラインを全文公開 「参考になれば」
東大松尾教授が答える、ChatGPTとは何なのか？ 一問一答
画像生成AIに“AIが作った画像”を学習させ続けると？ “品質や多様性が悪化” 「モデル自食症」に
「数千万円かかるコスト」と「山のような技術的課題」 開発者たちが語る、日本語LLMの現在地
Meta、無料で商用可の新LLM「Llama 3」、ほぼすべてのクラウドでアクセス可能に
15歳の高校生、「日本語能力最強」のAIモデル開発 AITuber向けに設計
「大規模言語モデルの開発」に関するまとめ資料 東工大・岡崎教授が公開 全85ページ
「AIご乱心」どんな文章も3行に要約するAIに”走れメロス”で試した結果→理不尽な激怒の応酬が生まれた
賢いと噂の日本語LLM「ELYZA」をウェブAPIで使う！ Power Automateなどからも呼び出せる完全ローカル環境の構築【イニシャルB】
ELYZA LLM for JP (デモ版)
生成AIの弱点が相次ぎ発覚 ChatGPTやGeminiがサイバー攻撃の標的に 情報流出や不正操作の恐れも
キーワードからAIが文章生成 ニュース、メール、職務経歴書に対応 東大松尾研発ベンチャーがデモサイト公開
【Youri 7B】日本最高峰の精度を叩き出す！学習量2兆トークン超えの最強日本語LLM | WEEL
LlamaIndexを使ってローカル環境でRAGを実行する方法 - 電通総研 テックブログ
GPU非搭載ノートPCでもコマンド不要で各種言語モデルの性能を試せる実行環境「LM Studio」レビュー
日本語LLM 9種を量子化して回答内容を比較調査してみた - Qiita
饒舌な日本語ローカルLLM【Japanese-Starling-ChatV-7B】を公開しました｜Baku
Command R+はトークナイザーもすごかった - Qiita