Last month we looked at how cosine similarity works and how we can use it to calculate the "similarity" of two vectors. But why choose cosine similarity over any other distance function? Why not use Euclidean distance, or Manhattan, or Chebyshev? In this article we'll dig in to some alternative methods for comparing vectors, and see how they compare to cosine similarity. Are any of them faster? Ar

米AppleのAI研究者らは10月7日（現地時間）、「GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models」（LLMにおける数学的推論の限界を理解する）という論文を発表した。 この論文は、LLM（大規模言語モデル）が、本当に人間のように論理的に考えて問題を解けるのか、という疑問を検証している。結論としては、LLMは今のところ、表面的なパターンを真似て答えを出しているだけで、真の推論能力は持っていないと主張している。 研究者らは、これらの問題点を検証するために、「GSM-Symbolic」という新しいテスト方法を開発した。これは、LLMの数学的推論能力を評価するためのベンチマークデータセット「GSM8K」を改良し、問題の表現や数字を柔軟に変えられるようにした

AIにフルスタックアプリの生成を指示、Webブラウザ上のNode.js環境でそのまま実行できる「bolt.new」、StackBlitzが公開 WebAssemblyを用いてWebブラウザ上でNode.js環境を実現する「WebContainer」などを提供するStackBlitzは、Webブラウザ上でAIにフルスタックアプリの生成を指示し、そのままWebブラウザ上のNode.js環境で実行やデバッグなどを行える新サービス「bolt.new」を公開しました。 bolt.newはGitHubでサインオンすることにより誰でも無料で試すことができます。 bolt.newの大きな特徴は3つあります。 1つ目は、AIがフルスタックアプリケーションの生成を、必要なパッケージやライブラリの導入からコードの生成、ビルドまで含めて最初から最後まで実行してくれる点。 2つ目は、AIが生成したフルスタックアプリ

こんにちは！ AWS 事業本部コンサルティング部のたかくに（@takakuni_）です。 今回は Amazon Bedrock Agents を HashiCorp Terraform で作ってみようと思います。 作成した Terraform コードはこちらに保管されています。 今回の構成 今回は、Terraform で構築してみたにフォーカスしたいため、非常にベーシックな構成にしました。 Lambda などの元ネタは Agents for Amazon Bedrock Workshop にありますので、ぜひエージェント勉強したい！という方はハンズオンしていただけると良いかと思います。 ラボ 1 の「Create an Agent with Function Definition」を今回は Terraform に書き起こしてみたいと思います。 IAM まず初めに IAM です。エージェント

「GitHub Copilot Extensions」パブリックβ版、提供開始　拡張機能を作れるツールキットも利用可能に：GitHub Copilotのチャットで外部のツールやサービスを操作できる GitHubは、「GitHub Copilot」の機能を拡張する「GitHub Copilot Extensions」のパブリックβ版を、全てのGitHub Copilotユーザー向けに提供開始した。 GitHubは2024年9月17日（米国時間）、AI（人工知能）コーディングアシスタント「GitHub Copilot」の機能を拡張する「GitHub Copilot Extensions」のパブリックβ版を、全てのGitHub Copilotユーザー向けに提供開始した。GitHub Copilot Extensionsは2024年5月に発表され、限定β版が提供されていた。 GitHub Copi

今日はこちらのビッグニュースが飛び込んできました！ AWS ChatbotがBedrock agentsに対応したので、SlackやTeamsとBedrockが連携できるようになりました🎉🎉🎉 早速やってみました。なんと ノーコード です！！ 最速を狙いましたがすでに検証された方がいました！早い！ 手順 Bedrock agentsを作成する マネジメントコンソールでBedrockの管理画面を開きます 左メニューの「エージェント」をクリックします 「エージェントを作成」をクリックします 「Name」を入力して「作成」をクリックします エージェントビルダーの画面に遷移します モデルを選択で好きなモデルを選択します。（私はClaude 3 Haikuを選択しました） 「エージェント向けの指示」にプロンプトを入力します。（私はこちらのClaude 3 Haikuのシステムプロンプトを入力し

RIG is 何？RAG の妹？DataGemma の論文を翻訳しながら RIG を読み解く〜①まずは翻訳〜RigragDataGemma DataGemma がリリースされました。外部情報を使ってハルシネーションを抑止する手法として RAG が有名ですが、Datagemma では RAG だけではなく RIG という手法も提案・利用していました。 RIG というのがよくわからなかったので論文を読みました。そしてそのときの翻訳を残します。 RIG が一体なんなのかはそのうち… 論文の原本はこちら 注) RIG の Retrieval Interleaved Generation は勝手に検索交互生成としました。 以下原文を LLM の助けを借りながら翻訳したもの 要旨 大規模言語モデル（LLM）は、数値や統計データ、あるいは時事的な事実に関連するクエリに応答する際、事実に反する情報を生成し

Amazon Web Services ブログ RAG の精度を向上させる Advanced RAG on AWS の道標 生成 AI の進化と共に、大規模言語モデル (LLM) を活用したアプリケーション開発が急速に広がっています。その中で、検索拡張生成 (Retrieval-Augmented Generation; RAG) は、LLM に対して最新の情報や特定のドメイン知識を組み込むための重要な技術として注目を集めています。 RAG は、その名の通り、外部知識ベースから関連情報を検索し、それを LLM の入力に組み込むことで、より正確で最新の情報に基づいた回答を生成する手法です。この手法には以下のような重要な利点があります。 最新情報の反映: LLM の学習データの制限を超えて、最新の情報を回答に反映させることができる。 ドメイン特化: 特定の分野や組織固有の情報を容易に組み込むこ

はじめに こんにちは。ついにジム通いを始めて四六時中筋肉痛を感じながら過ごしているイワツカです。 最近はLLM（大規模言語モデル）とRAG（検索拡張生成）を用いて企業内ドキュメントを活用する取り組みが多く見受けられます。 ドキュメントは基本PDFで保存されているため、PDFからテキストを抽出して、検索対象にすることが必要です。 そこで今回は、PythonでPDFからテキストを抽出するためのライブラリを比較して、どれが良いのか検証しました。 はじめに 概要 実装 PyMuPDF pdfplumber unstructured 比較結果 テキスト抽出 サンプル1のテキスト抽出結果 サンプル2のテキスト抽出結果 表の抽出 サンプル3の表抽出結果 サンプル4の表抽出結果 検証結果 まとめ 概要 今回はPDF読み取りライブラリとして、PyMuPDF、pdfplumber、unstructuredの3

What is a Transformer? Transformer is a neural network architecture that has fundamentally changed the approach to Artificial Intelligence. Transformer was first introduced in the seminal paper "Attention is All You Need" in 2017 and has since become the go-to architecture for deep learning models, powering text-generative models like OpenAI's GPT, Meta's Llama, and Google's Gemini. Beyond text, T

それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質

Top > 学術＆研究 > 「RAG」と「ロングコンテキストLLM」の徹底比較：LLMの長文理解における新たなハイブリッドアプローチ　Google DeepMindとミシガン大学の研究

プロダクトを制作するにあたり、UI上のユーザー体験もプロジェクトメンバー全員で考えるシーンがよく見られます。よりよいユーザー体験を作り出すために「視線誘導」を考慮することは欠かせません。 この記事では、ユーザーが自然と目を向ける「視線誘導の基礎知識」をご紹介します。 グーテンベルク・ダイヤグラム グーテンベルク・ダイヤグラム 同じ種類の情報が均等に配置されている場合、視線は左上から右下に移っていくので、重要な情報は左上→中央→右下の順で配置するのが無難かと思います。 また、右上、左下に重要な情報を配置すると、読み飛ばされてしまう可能性があるので注意しましょう。 Z型 Z型 Z型とは、ユーザーの視線が左上→右上→左下→右下の順に移動するパターンのことです。つまり、アルファベットの「Z」に沿って視線が移動します。 グーテンベルグ・ダイアグラムと似ていますが、Z型は視線が止まるポイントがあるため

2024-07-09 Platform Engineering Kaigi 2024 https://www.cnia.io/pek2024/