IBM、生成AIの頂上対決を横目に「オープンソースAI」に舵を切る その戦略の勝ち筋とは？
オープンソースAIに舵を切ったIBM 米ボストンで開催されたTHINK 2024 出典：日本IBM OpenAI、Microsoft、Google、Amazonを筆頭に、生成AIの頂上対決が活発に繰り広げられている。言語モデル（LLM）の進化や、NVIDIAに代表されるGPU半導体の発展、さらにデータセンターなどのインフラ分野への注目度も高まっている。一方、かつては「Watson」でAIの世界を牽引していたIBMは、こうした生成AIのブームの中で存在感が薄れがちだった。しかし、2023年の「IBM watsonx」の発表以来、次々と新たな取り組みを発表し、企業向けAIの分野で再び存在感を示しつつある。特筆すべきは、今年開催された「THINK 2024」で、IBMがAI分野において「オープンソース」戦略へと舵を切ったことである。 オープンソースは、ソフトウェア開発の世界では広く認知されている
LLMに専門的なドメイン知識を学ばせるのに有効な「読解タスクテキストに変換する」テクニック | AIDB
本記事では、LLMをドメインに適応させるためのアプローチを紹介します。生コーパスを「読解タスク」に応じた内容のテキストに変換してLLMの学習に利用する手法です。 生物医学、金融、法律の3分野で検証が行われ、一般的なタスクでの性能も評価されました。 参照論文情報 タイトル：Adapting Large Language Models to Domains via Reading Comprehension 著者：Daixuan Cheng, Shaohan Huang, Furu Wei 所属：Microsoft Research, Beijing Institute for General Artificial Intelligence (BIGAI) その他の情報：ICLR2024に採択 背景 LLMを実用するにあたっては、専門的な分野に対する知識を持つように調整することが必要だと考えら
Microsoft、RAGの機能を拡張、強化させたGraphRAGを一般利用可能に | gihyo.jp
Microsoft、RAGの機能を拡張、強化させたGraphRAGを一般利用可能に Microsoftは2024年7月2日、LLMが生成する出力の精度を向上させるために利用するRAG（検索拡張生成）の機能を拡張/強化した「GraphRAG」をGitHub上で公開した。 GraphRAG: New tool for complex data discovery now on GitHub -Microsoft Research Blog Welcome to GraphRAG RAG（Retrieval-Augmented Generation：検索拡張生成）は、ユーザーのクエリに基づいて特定の分野や組織の内部ナレッジベースの情報を検索し、その結果を参照してAIの回答に組み合わせる技術。モデルを再トレーニングすることなく、これらの情報を生成結果に即座に反映できる。 一方、通常のRAG
最近話題のVector Searchを実現するFaissって何？ #1｜masuidrive
Faissを使ったFAQ検索システムの構築Facebookが開発した効率的な近似最近傍検索ライブラリFaissを使用することで、FAQ検索システムを構築することができます。 まずは、SQLiteデータベースを準備し、FAQの本文とそのIDを保存します。次に、sentence-transformersを使用して各FAQの本文の埋め込みベクトルを計算し、そのベクトルをFaissインデックスに追加します。新しいクエリが入力されたときは、sentence-transformersを使用してクエリの埋め込みベクトルを計算し、Faissインデックスを使用して、クエリの埋め込みベクトルに最も類似したFAQの埋め込みベクトルを検索します。 検索結果は、FAQのIDのリストとして返され、最後に返されたIDを使用して、SQLiteデータベースから関連するFAQの本文を取得し、検索結果としてユーザーに表示されま
GitHub - facebookresearch/faiss: A library for efficient similarity search and clustering of dense vectors.
Faiss contains several methods for similarity search. It assumes that the instances are represented as vectors and are identified by an integer, and that the vectors can be compared with L2 (Euclidean) distances or dot products. Vectors that are similar to a query vector are those that have the lowest L2 distance or the highest dot product with the query vector. It also supports cosine similarity,
グーグルAI「Gemini」ついにOpenAI超えてトップに躍進（アスキー） - Yahoo!ニュース
グーグルが開発中の次世代大規模言語モデル（LLM）「Gemini-1.5-Pro-Exp-0801」が、モデルの性能を評価するベンチマークサイト「Chatbot Arena」2024年7月31日付けランキングで1位になっていたことがわかった。 【もっと写真を見る】 グーグルが開発中の次世代大規模言語モデル（LLM）「Gemini-1.5-Pro-Exp-0801」が、モデルの性能を評価するベンチマークサイト「Chatbot Arena」2024年7月31日付けランキングで1位になっていたことがわかった。 Chatbot Arenaのランキングは、1000万人以上の人間によるLLMのペアワイズ比較データ（LLMの性能を評価するためのデータセット）を収集し、各LLMを順位付けしたもの。同日のランキングでは新モデルの「Gemini-1.5-Pro-Exp-0801」が、OpenAIの「GPT-4
DiagramGPT – AI diagram generator
Try one of our presets. Select an option under "Load a preset" and click "Generate Diagram". You can also browse our use case video library for more inspiration. Yes, the diagrams can be edited in Eraser, a docs and diagram tools built for engineering teams. Click on "Save and Edit Diagram". In Eraser, the diagrams can be edited using Eraser's diagram-as-code syntax.
RAG評価ツール ragas を試す｜npaka
RAG評価ツール「ragas」を試したので、まとめました。 1. ragas「ragas」は、「RAG」 (Retrieval Augmented Generation) パイプラインを評価するためのフレームワークです。「RAG」は外部データを使用してLLMのコンテキストを拡張するLLMアプリケーションです。「ragas」はこのパイプラインを評価して、パフォーマンスを定量化します。 2. Colabでの実行Colabでの実行手順は、次のとおりです。 (1) RAGパイプラインの準備。 今回は、以下の記事で作成した、ELYZAのRAGパイプラインを使います。 (2) パッケージのインストール。 # パッケージのインストール !pip install ragas datasets(3) 環境変数の準備。 「ragas」は「OpenAI API」で評価します。 import os import
実用化への道：LLMアプリ強化のためのRAG技術17選｜0xpanda alpha lab
企業での生成AIの活用がますます進んでいますが、LLM（大規模言語モデル）アプリを実用レベルに引き上げるには、RAG（Retrieve-Augment-Generate）技術が欠かせません。この記事では、Dominik Polzer氏による「17 (Advanced) RAG Techniques to Turn Your LLM App Prototype into a Production-Ready Solution」の内容を基に、企業がLLMアプリを製品化するための17のRAG技術を紹介します。 1. データ準備RAGシステムの第一歩は、データの準備です。以下のステップでデータを適切に処理しましょう。 データのクリーニング：原始データを洗浄し、欠損値やノイズを除去。 データの変換：データを必要なフォーマットに変換。 データのフォーマット：直接的に訓練やLLMの駆動に適した形式に整え
本番対応のRAGアプリケーション構築: AIソリューションアーキテクトのガイド｜生成AI活用研究部
本記事については生成AIを活用して生成された記事となります。 解説内容の正確性については読者ご自身でご確認いただきますようお願いいたします。 本記事はBuilding Production-Ready RAG Applications: An AI Solution Architect’s Guideの解説記事となります。 Retrieval Augmented Generation（RAG）は、情報検索とテキスト生成を組み合わせた高度なAI技術で、知識源から関連情報を検索し、それを生成されたテキストに組み込むことができます。RAGは、内容生成の分野で画期的な進展をもたらし、私たちがテキストを生成し、やり取りする方法を変革しています。本ガイドでは、RAGの世界に踏み込み、本番対応のRAGアプリケーションを構築する方法について詳しく説明します。 RAGの理解RAGのパラダイムRAGには、情報
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
セッション一覧 - AWS Summit Japan | AWS
PgVector vs FAISS: Efficiency Showdown for Vector Similarity Search
Comparing RAG Part 2: Vector Stores; FAISS vs Chroma
Unlocking Faiss Limitations: Cutting-Edge Solutions and Tangible Illustrations
PLAID uses Vertex AI embeddings to improve customer support | Google Cloud Blog
Enhancing Semantic Search with LangChain, Vector Databases, and Llama2–70B-Chat
OpenAI Embedding & Semantic Search using Vector data
Introduction | Ragas
Building Production-Ready RAG Applications: An AI Solution Architect’s Guide
Hybrid Search — Search Labs