G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure

RAG (Retrieval-Augmented Generation)とは ● 外部データをRetrieval（検索）して ● プロンプトをAugument（拡張）し ● クエリに対する回答をGeneration（生成） ○ クエリ := ユーザからの問合せ ・・・する技術 ※本講義では「インプット＝クエリ＋プロンプト」と定義 4 RAG (Retrieval-Augmented Generation)とは 登場人物＿＿＿＿＿＿＿＿＿＿＿＿＿＿ ビジネスでの応用先はLLMが大多数＿ ❶検索アルゴリズム ● ・ベクトル検索、全文検索、及びその組合せ （Hybrid検索）がよく使用される ・…が、それに限るものではない ● ビジネスでは”言語”の基盤モデル （LLM）への応用が多い ○ 本講義も LLMに注力 一方、言語以外のモーダル （画像・音声等）も研究開発中 ❷拡張処理アルゴリズム ・

デジタルスキル標準 ビジネスパーソンがDXに関するリテラシーを身につけ変革により行動できるようになるための「DXリテラシー標準（DSS-L）」と、DXを推進する人材の役割や習得すべきスキルなどを定義した「DX推進スキル標準（DSS-P）」を紹介しています。

2024年度 人工知能学会全国大会（第38回）チュートリアル講演１ 本講演では、大規模言語モデルの開発に必要な基礎および最新動向を概観する。その後、東京工業大学情報理工学院の岡崎…

2024/04/24に開催したセミナーで登壇した際に、使用した資料です https://dev.classmethod.jp/news/240424-ai-rag-webinar/

これはなに？ 自著 「つくりながら学ぶ！生成AIアプリ＆エージェント開発入門」 に掲載するために作ったOpenAI・Anthropic・GoogleのLLMの一覧表です。 各社が新しいモデルを出すたびに本の内容が陳腐化するため、この記事に最新の情報を更新していきます。 各社のモデルの主要諸元・費用に加えて、自分の印象を書いてあります。 性能の目安としてChatbot Arenaのスコアを参考までに添付しています これはあくまで参考用かつ英語での評価なので、スコアが一番高いものがいい、もしくは低いからダメというわけではありません。 少なくともこの記事に掲載されているモデルは、スコアが低いものでも単純な翻訳などでは十分な性能を持っています。そして何より高性能モデルとは比較にならないほど高速です。 用途や使用言語によって試してみて最適なものを選ぶのが良いでしょう [PR] 宣伝 本の紹介は↓に書

こんにちは。株式会社ブレインパッド アナリティクスコンサルティングユニットの小澤、久津見、小牧です。 前回までの記事では、 ・「生成AIをビジネス活用するための鍵」となるドメイン特化 ・「LLMの信頼性評価で押さえておくべき8つの評価観点」 ・「生成AIの評価指標とベンチマーク」 ついて、それぞれ課題とともに詳しくご紹介しました。 LLMをビジネス活用する上では、多様な評価観点、KPIに基づく評価基準設定、専門家によるフィードバック、そしてそれらを繰り返し行う環境整備といった複雑かつコストがかかる評価アプローチが負担となっていました。また、ベンチマークは数多く提案されているものの、過学習や日本語に対する性能の低さなども問題となっています。 そこで本記事では、生成AI（特にLLM）の評価方法として最近非常に注目を集めている、LLMによる自動評価技術 (LLM-as-a-Judge) について

日清食品ホールディングス（HD）は2019年に経営トップが全社スローガン「DIGITIZE YOUR ARMS（デジタルを武装せよ）」を掲げて以降、従業員が自らデジタル技術を学び、業務で使いこなすことに力を注いできた。 実際、RPA（ロボティック・プロセス・オートメーション）やノーコード／ローコード開発ツール、生成AI（人工知能）など多様なツールを現場が使いこなし、業務の効率化を進めている。そんな日清食品HDは2024年4月、新たな歩みを始めた。従業員向けデジタル教育プログラム「NISSIN DIGITAL ACADEMY」の始動だ。 新たな教育プログラム「NISSIN DIGITAL ACADEMY」のポスター。2019年の全社スローガン「DIGITIZE YOUR ARMS」をベースにしたデザインになっている 7つの領域、38講座を用意 同社はこれまでも従業員向けにデジタル教育プログラ

- {place_name}の主要な観光スポットを網羅できているか - 各観光スポットの特徴や見どころを具体的に説明できているか - アクセス方法や所要時間など、実用的な情報を提供できているか - 主観的な意見を述べていないか - 明るく丁寧な口調を維持できているか [ { "input": { "place_name": "鎌倉" }, "output": "鎌倉は神奈川県にある人気の観光地です。以下のような見どころがあります。\n\n1. 鶴岡八幡宮: 源頼朝ゆかりの神社。本殿や舞殿が国宝に指定されています。\n2. 高徳院: 有名な「鎌倉大仏」があります。高さ11.3mの銅造阿弥陀如来座像は圧巻。\n3. 長谷寺: 本尊の十一面観音菩薩は高さ9.18mの木造で、日本最大級です。\n4. 鎌倉文学館: 鎌倉ゆかりの文学者を紹介。歴史的建造物の中で作品を楽しめます。\n5. 江ノ島: 弁

オープンソースのLLM（大規模言語モデル）がこれまでにないほど大きな注目を集めている。OpenAIのGPTモデルなどクローズドな大規模言語モデルが圧倒的なシェアを有する状況だが、それらに匹敵するオープンソースのLLMの開発が進んでいる。メタの「Llama 2（ラマツー）」を筆頭に、日本でもそれをベースにした日本語LLM「ELYZA-japanese-Llama-2-13b」が公開された。直近ではメタに対抗して、Databricksも「DBRX」をリリース。オープンソースLLMとは何か、クローズドモデルに比べてどのような利点があるのか。オープンソースLLMが注目される理由を探ってみたい。 オープンソースのLLMが注目される理由 2023年はChatGPTを筆頭にコンシューマー向けの生成アプリケーションが広く普及した年となった。 一方、企業における生成AI利用は大きく2つのアプローチにより進展

無料版Geminiは「テンプレそのまま」 まずは、無料の「Gemini」と有料の「Gemini Advanced」でさまざまなプロンプトを入力し、結果を比較した。両者の精度の違いについて、見ていこう。 最初に、ゼロから新たな文章を生成する用途として、「入社式を想定した2分程度のスピーチ原稿」を作成してみた。無料版Geminiで出力されたものは、よくあるテンプレートをそのまま使ったという印象である。悪くはないが、この程度であれば生成AIを使うまでもなく自力で作れそうだ。 一方のGemini Advancedは、冒頭で自社の特徴を紹介したり、「大切なこと」に具体的な説明が盛り込まれたりと、より肉付けされた内容となった。ただし、全体的な完成度はもう一歩という印象もある。 たとえば、この原稿では「はなむけの言葉として、3つの大切なことを～」と出力されているが、「はなむけの言葉として」はあくまでもプ

今のLLMを取り巻く状況について紹介します。

パーソルホールディングス株式会社 、 株式会社SmartHR 、 ピー・シー・エー株式会社 、 GO株式会社 、 株式会社マネーフォワード 、 株式会社kickflow 、 株式会社メンバーズ 、 株式会社Sun Asterisk 、 株式会社LegalOn Technologies 提供コンテンツ スペシャル 会員限定 2024/04/10 掲載 東大教授が教える“わかったつもり”の生成AI、「仕組みと問題点」「得意・不得意」 生成AIの登場によって、さまざまなコンテンツの作成が容易になり、業務の効率化や生産性の向上などの効果をもたらしている。不要となる業務が出てくる一方、新たな業務のニーズが生じるなど、雇用形態も大きく変化しつつある。進化し続けているAIが、社会構造をどのように変えていくのか。人間とAIとの理想の関係とはどのようなものなのか。東京大学次世代知能科学研究センター教授の松原

生成AI・LLM評価指標 評価指標は人間の介入有無で大別され、Li et al. (2024) によると人間を介さない評価方法は、さらにマッチングベースと生成ベースに分類しています。 マッチングベース (matching-based) マッチングベースの評価には、語順や文法を無視してGround Truthと生成テキストの一致度を測定するF1スコア、ROUGE、BLEUなどの古典的アプローチや、Word2Vecなど単語埋め込みとニューラルネットワークを利用してベクトルの類似性で評価するBERTScoreなどが含まれます。これらの手法は、低コストながら評価の再現性が高いという利点があります。一方で、”I go go go go to the hospital.” のような文法的に不適切な繰り返しでスコアが高くなったり、微妙なニュアンスや複雑な文脈の意図をくみ取ることが難しかったりする問題があ

事例をもとに生成 AI をプロダクトの売上増加、コスト削減につなげる 3 つのステップを理解し実践を始めるための資料です。 AWS Startup Community で発表をしました https://aws-startup-community.connpass.com/event/309291…

最終更新日： 2024年5月15日 2024年は、生成AIの技術革新と実装の1年になるでしょう。2023年は各社が生成AIの活用に試行錯誤しながら、OpenAIだけでなくGoogleなどを含めた技術革新が起き、目まぐるしく業界が変動を続けた1年でした。 この記事では、2024年の生成AI動向をテーマに、技術革新とビジネストレンドの観点から解説します。 生成AIの技術動向 生成AIの技術は、日々進化しており、その応用範囲は広がっています。2023年には、多くの企業がAIを事業戦略に組み込み、競争力を高めるための新たな手段として活用し始めました。 技術的な側面として、生成AIはエージェント化が進み、AIがより複雑なタスクをこなせるようになってきています。 また、生成AIのドメイン特化やパーソナライズ化により、ユーザーのニーズに合わせた体験を提供可能になり、具体的な課題解決に貢献し始めています。

本特集ではこれまで5回にわたってデータマネジメントを進めるためのデータ統合の考え方や、データを活用するための分析軸の策定方法などを解説してきた。最終回となる今回はデータマネジメントを進めるための組織づくりを説明する。データマネジメント全体のアプローチと同様に、ビジネスの目的を明確にしたうえで、少数精鋭のメンバーでスタートすることを著者は推奨している。（編集部） データマネジメントやDX（デジタルトランスフォーメーション）といった単語が近年、ビジネスにおけるデジタル化の追い風となっている。「DX化」の掛け声の下で、DX推進に関するプロジェクトを容易に立ち上げられる環境が整ってきた。トップの号令の下DXへの取り組みが始まると、次に課題として上がってくるのが「DX組織をつくろう」という掛け声だ。 専門組織をつくることは会社にとって公式の人事施策であり、社内外に対してDXの取り組みを進めていること

JOURNALについて データアナリティクスラボ株式会社では、ITやデータサイエンスに関する技術の研究活動を行っています。このブログでは、研究活動で得られた知見や検証結果についての情報を発信します。 本ブログで提供される情報は、可能な限り正確かつ最新の情報であるように努めますが、必ずしもその正確性を保証することはできません。場合によっては誤情報が含まれたり、最新の情報ではない可能性もあります。予めご了承いただけますようお願い申し上げます。 はじめに データソリューション事業部の宮澤です。 本記事は「LLMのファインチューニングを他手法との違いから理解する」のPart 2です。Part 1をまだお読みでない方はぜひPart 1からご覧いただければ幸いです。 LLMのファインチューニングを他手法との違いから理解する（Part 1） Part 1では初期の事前学習を終えたLLMのベースモデルに対

JOURNALについて データアナリティクスラボ株式会社では、ITやデータサイエンスに関する技術の研究活動を行っています。このブログでは、研究活動で得られた知見や検証結果についての情報を発信します。 本ブログで提供される情報は、可能な限り正確かつ最新の情報であるように努めますが、必ずしもその正確性を保証することはできません。場合によっては誤情報が含まれたり、最新の情報ではない可能性もあります。予めご了承いただけますようお願い申し上げます。 はじめに データソリューション事業部の宮澤です。 2024年に入って2ヶ月が経ちましたが生成AIの勢いは止まらず、日本国内でもGENIAC1をはじめとして、生成AIの開発と活用が加速しているように感じます。最近では、ビジネスでの実用を視野に入れ、既存のLLMを自社ドメインや特定の目的にカスタマイズする動きが活発になってきました。LLMのカスタマイズ手法と

ベクトルデータベース（Vector Database）／ベクトルストア（Vector Store）とは？：AI・機械学習の用語辞典 ベクトルデータベースとは、テキストなどのデータを数値ベクトル（埋め込み）として保存するデータベースを指す。「ベクトルストア」とも呼ばれる。ベクトル検索により、意味的に類似する情報を探せるのが特徴で、チャットAIのRAG構築に役立つ。本稿ではベクトル検索の機能を持つ代表的な製品の概要もそれぞれ簡単に紹介する。 連載目次 用語解説 生成系AI／自然言語処理におけるベクトルデータベース（Vector Database、ベクターデータベース、ベクトルDB）とは、主に単語や文章（テキスト）、画像、音声などの複雑なデータを、AI／機械学習／言語モデルが処理しやすい数値ベクトル表現として保存するデータベースのことである。この数値ベクトル表現は「埋め込み表現（Embeddin