発表のポイント 経産省及びNEDOが進める日本国内の生成AI基盤モデル開発を推進する「GENIAC」プロジェクトにおいて、松尾・岩澤研究室が「Tanuki-8×8B」を開発・公開。 本モデルは、フルスクラッチで開発されており、対話、作文能力を評価する指標「Japanese MT-Bench」において「GPT-3.5 Turbo」と同等以上の性能を達成。 Apache License 2.0のライセンスに基づき、研究および商業目的での自由な利用が可能。「Tanuki-8×8B」の軽量版である、「Tanuki-8B」をチャット形式で利用できるデモも公開。 本モデルのNejumi LLMリーダーボード3における評価 発表内容 東京大学大学院工学系研究科技術経営戦略学専攻 松尾・岩澤研究室（以下「松尾研」）は、経済産業省及び国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）が推進する、

言語モデルの「記憶」を管理する方法としては、１）追加学習や知識編集によってLLM自体の知識更新を試みる方法と、２）外部の記憶データから必要情報を適時検索してモデルに渡す方法、の2つの方向性があります。 この論文は後者の系統に属する研究で、人間のエピソード記憶のあり方を参照し、外部データを効果的に整理・検索することを目指した研究のようです。 タイトルは"Human-like Episodic Memory for Infinite Context LLMs"で、Huaweiの研究所とUCLの研究者らによって2024年7月に投稿されています。 arxiv.org 要旨 大規模言語モデル（LLM）は目覚ましい能力を示しているが、広範なコンテキストの処理にはまだ苦戦しており、長いシーケンスにわたって一貫性と正確さを維持する能力には限界がある。これとは対照的に、人間の脳は、生涯にわたる膨大な時間スケ

また、New York Timesに載っているような複雑なパズルを解くことができると言われております。 ここに対する対抗モデルとしては、Google DeepMindの「AlphaProof」や「AlphaGemometry」などの数理問題解決型のAIが挙げられます。 その他にも、具体的に以下のタスクも得意としています。 高度な数理問題の解読 戦略策定におけるデータ分析 高品質な合成データの生成 さらに、最後の高品質な「合成データ（Synthetic Data）」の生成も強みの一つになります。 合成データは、生成AIの分野でこれからより一層脚光を浴びるのではないかと考えています。 理由としては、データプライバシーの観点を気にせずに、データを大量生成して、学習に扱うことができるからです。 また、ポイズニングされているリスクも限りなく低いです。 Strawberryの危険性（リスク） もしも自

米Metaは8月29日（現地時間）、“オープンソース”を謳うLLM「Llama」のHugging Faceでの累計ダウンロード数が3億5000万回に迫っていると発表した。前年同時期の10倍以上であり、Llama 3.1をリリースした7月だけでも2000万回ダウンロードされたとしている。 今年の1月から7月にかけて、大手クラウドサービスプロバイダー（AWS、Microsoft Azure、Databricks、Dell、Google Cloud、NVIDIA、IBM、Groq、Snowflakeなど）の一部では、Llamaの月間使用量が10倍に増加し、5月から7月にかけては、ホストされているLlamaの使用トークン量が2倍以上に増加した。 Metaは、「Llamaの成功は、オープンソースの力によって実現された」と語る。同社はLlamaに独自のライセンスを付しており、例えば月間アクティブユーザ

ITエンジニアがLLMベースの生成AIを使いこなせるようになることを目指した本です。 まずはLLMの仕組みの理解してメンタルモデルを構築し、次に代表的なプロンプトエンジニアリング手法を学ぶことで基礎を固めます。 最後に、ITエンジニアならではのプロンプトテクニックを紹介しますので、応用力を身につけましょう。

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

この連載について AIやデータ分析の分野では、毎日のように新しい技術やサービスが登場している。その中にはビジネスに役立つものも、根底をひっくり返すほどのものも存在する。本連載では、ITサービス企業・日本TCSの「AIラボ」で所長を務める三澤瑠花氏が、データ分析や生成AIの分野で注目されている最新論文や企業発表をビジネス視点から紹介する。 大規模言語モデル（LLM）の進化が加速する中、その文化的な理解力と適応能力が新たな課題として浮上しています。最新の研究結果が、多言語LLMの文化的バイアスと、ローカルな知識・文化の理解における限界を明らかにしました。日本企業のグローバル展開とAI活用戦略に大きな影響を与える可能性のある、注目すべき知見をお伝えします。 ペンシルベニア大学の研究では、感情表現に焦点を当て、LLMが異なる文化間での感情の経験や表現の違いを適切に反映できているかを検証しました。そ

OpenAI Whisper - llamafile Whisperfile is a high-performance implementation of OpenAI's Whisper created by Mozilla Ocho as part of the llamafile project, based on the whisper.cpp software written by Georgi Gerganov, et al. Model creator: OpenAI Original models: openai/whisper-release Origin of quantized weights: ggerganov/whisper.cpp The model is packaged into executable weights, which we call whi

MLflow LLM Evaluate で Claude 3.5 Sonnet、GPT-4o、Gemini 1.5 Pro との QA を評価するAWSAzureDatabricksMLflowLLM はじめに 株式会社NTTデータ デジタルサクセスソリューション事業部 で AWS や Databricks を推進している nttd-saitouyun です。 以下の記事で、Databricks から Amazon Bedrock の Claude 3.5 Sonnet、Azure OpenAI の GPT-4o、Google Cloud Vertex AI の Gemini 1.5 Pro を利用できるように設定してきました。 Databricks の Mosaic AI Model Serving Endpoint から Amazon Bedrock の LLM を利用する Datab

Metaが405BのLLMをリリースし、オープンLLMにも巨大なモデルが増えてきました。 スケーリング則に従い、巨大になるほど精細になり、能力も増えます。 すべて巨大なモデルで推論処理を続けたいのですが、 巨大になった時、メモリに載らないことと、推論速度の面で現実的に動かすことが困難となっています。 コンシューマークラスのGPUのVRAMは最大24GB、 405Bモデルは、16bitでは、800GB以上、4bitでも200GBを軽く超えます。 システムのメモリを256GB 積めば、CPUで推論可能ですが、1秒で1token以下となり、文章出力に時間がかかりすぎて実用性がありません。 今回、マルチGPUでの推論速度に影響する因子を実際に調べてみました。 測定マシンは、以前作成したRTX4090 x 2の自作ワークステーションです コンシューマー構成で最強を目指した パーソナルLLM推論機の稼

GMO NIKKOのT.Nです。 最近弊社のプロダクトで使用しているOpenAIのモデルを、 gpt-4oやgpt-4o-miniに切り替えました。 gpt-3.5-turboを使用していた時と比較して、 トークン数に変化があったので、 tiktokenの処理時間も含めて確認してみました。 確認方法 以下のようなプログラムで、 トークン数と処理時間の平均を確認しました。 import tiktoken import timeit import statistics with open('sv_jp.txt', encoding="utf-8") as f: sv_text = f.read() model_name = "gpt-4o" tokenizer = tiktoken.encoding_for_model(model_name) # トークン数 token_count = len

LLMアプリケーション開発の課題 南野：じゃあ、本題に移っていきたいと思いますけれども、現場とアプリケーションとLLMというところで、まずちょっとストックマークさんからお話しいただければと思います。 現場の要望であったりとか、アプリケーションをこう作っていこうという中で、「LLMを、じゃあ、こうする」で作っていけばいいんじゃないかとか。そういった部分の、LLMの作り方の要件であったりとか思考回路であったりとか、そういうところをぜひ教えていただければと思います。 近江：そうですね。やはりLLMでアプリケーションを作るのはけっこう難しいと思っています。例えば、ちょっとChatGPTとかを使った例で、我々のサービスの中でLLMを使ってRAGをやっているようなシステムがあるんですけども。 だいたい最初にチューニングして、プロダクト側とどういう出力をしたらいいかみたいなところで話し合って、「じゃあ、

生成AIサービス「NovelAI」を手掛ける米Anlatanは8月23日、NovelAIで過去に提供していたイラスト生成AIモデル3種を無料公開した。ライセンスは「CC BY-NC-SA 4.0」と「CreativeML Open RAIL-M」の双方に基づく。商用利用は不可だが、研究や個人利用は可としている。 2022年10～11月に、NovelAIで画像生成サービスを提供し始めた当初のモデル「NovelAI Diffusion Anime V1」のフル版と、キュレート版（フル版で利用した画像の一部だけでトレーニングしたバージョン）を公開。擬人化した動物のイラスト生成に長けた「NovelAI Diffusion Furry V1.3」のβ版も公開した。いずれも現在NovelAIで提供されているものに比べて古いモデルという。 NovelAIは二次元イラストの生成に長けたサービス。22年10

こんにちは、松尾研究所シニアデータサイエンティストの浮田です。 松尾研究所では、多種多様な機械学習プロジェクトを進めています。これらのプロジェクトの中には、本番環境に近い開発が必要なものもあり、開発した機械学習アルゴリズムを推論用にどのように提供するかについて検討することがしばしばあります。この記事では、私たちがプロジェクトで実際に採用した、機械学習の推論APIの実装例を紹介します。 機械学習アルゴリズムの推論パターン 機械学習モデルの学習やLLMのプロンプトエンジニアリングなどの開発が完了すると、次に考えるのはそのアルゴリズムをどのように提供するかです。提供方法にはいくつかのパターンがありますが、以下の「AIエンジニアのための機械学習システムデザインパターン」の書籍に網羅的にまとまっています。 実際には、特にディープラーニングモデルやLLMを使ったアルゴリズムでは、非同期で推論することが

はじめに 夏本番のこの時期、皆様のご様子はいかがでしょうか。新人エンジニアの木介です。暑さにも負けず、毎日一歩一歩成長しています。 今回は先日紹介したPrompt Flows for Amazon Bedrockを使ったAdvanced RAGの実装方法についての紹介を行っていきます。 Prompt flowsを用いることでDifyと同じようにLLMとプロンプトを組み合わせたフローをGUIで作成でき、また、AWS上の各種サービスへ簡単に組み込むことが出来ます。 aws.amazon.com acro-engineer.hatenablog.com はじめに 構築したアーキテクチャ 概要 Prompt Flows for Amazon Bedrockとは Advanced RAGとは Advanced RAGの構築方法 構築するワークフロー 1. クエリ拡張 2. Knowledge Bas

LangGraphとは？ LLMで「AIエージェント」を開発するための便利なライブラリがLangGraphです。 LLMアプリ開発のフレームワークで有名なLangChain社が開発しています。 LangChainだけを使ってAIエージェントを作ることももちろんできますが、LLMの推論に基づいて行動を計画させる場合、なかなか思いどおりに動いてくれない場合は多々あります。 これを解決するのがLangGraphで、エージェントの動作をグラフ（点と線の組み合わせ）で定義することができます。 グラフって何？ 「グラフ理論」のグラフです。クラスメソッドさんの以下記事が概要を掴みやすいです。 公式ハンズオンをAWSでやってみよう LangGraphの公式ページにサンプルコードやチュートリアルがいくつも掲載されているのですが、OpenAIやAnthropicのAPIをそのまま使う例となっています。 日本の

LLM開発の意義と課題 南野充則氏（以下、南野）：では、パネルディスカッションを始めていきたいと思います。本日1発目のパネルディスカッションなので、ちょっと盛り上げていきたいなと思っています。 私は、先ほど開会の挨拶もさせていただきましたが、南野と申します。モデレーターをさせていただきます。よろしくお願いします。 このセッションでは、ここでしか聞けない話をしっかり話していただこうということで、大規模言語モデルを作っている方々にいろんな質問を問い掛けていきたいと思っています。よろしくお願いします。 まず最初に登壇者のご紹介をさせていただきまして、その後、パネルに移っていきたいと思います。では、岡崎先生、よろしくお願いします。 岡崎直観氏（以下、岡崎）：ご紹介ありがとうございます。東京工業大学の岡崎です。スライドをめくっていただいてよろしいでしょうか。 私は東工大という大学にいますので、研究と

突然ですが、みなさんLLMのファインチューニングしていますか？ 個人的な感想かもしれませんが、ファインチューニングは、幻滅期に入っているように感じています。 GPT-3.5 Turboのファインチューニングが発表されて以降、ファインチューニングしても思ったような出力をしてくれないので、ファインチューニングに期待しないという意見がちらほら聞こえてきました。 ファインチューニングするぐらいなら、Few-shotなどのプロンプトエンジニアリング技法を駆使した方が、結果的には求めている出力をしてくれると考えている方も多かったのではないでしょうか。 正直、私自身もそうでした。 ファインチューニングは、データセットを準備するのも大変ですし、正直コスパがよくないなと感じていました。 実際、プロンプトのチューニングは高速でPDCAを回せるので、ファインチューニングを反復するよりも遥かに高速なフェードバック

初めまして。経営企画本部AI推進室の鏡味、窪田、小林と申します。当社は本年度、AI推進室という新組織を発足させ、主に生成AIについての社内の利用促進、およびユーザーへ生成AIを活用したソリューションの提供を進めるべく、新技術の展開や検証を行っています。 今回は、最近話題となっている、Microsoftが発表したRAG（Retrieval Augmented Generation）技術であるGraphRAG ⧉について、元となる論文やブログ記事、GitHubのコードを元に内部の構造を解析し、さらに現時点でどの程度実用的かを考察していきます。 GraphRAGとは GraphRAGは、ナレッジグラフと生成AIの技術を組み合わせることで、従来のRAGでは対応が難しかった問い合わせに回答できるようになったRAGです。2024年2月にMicrosoftによって発表 ⧉され、その後、2024年7月にリ

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「Golden-Retriever」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGシステムを専門用語に強くするための手法「Golden-Retriever」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー Golden-Retrieverは、RAG（Retrieval Augmented Generation）を、業界特有の用語・社内用語を含むような質問に強くするための手法です。カリフォルニア大学の研究者らによって2024年8月に提案されました。 従来のRAGシステム