フロントエンドカンファレンス北海道でお話ししたスライドです Proposal: https://fortee.jp/frontend-conf-hokkaido-2024/proposal/ebd98e0a-241c-4443-aa98-300af113b40d # URL YouTube…

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 本記事では、ドメインに特化したRAGの性能を検証するためのフレームワーク、RAGEvalについて解説します。 サマリー RAGの手法は日夜研究され、新しい手法は次々に提案されています。RAGに限った話ではないですが、システムの性能を計測するには評価するための方法が重要です。そしてRAGの性能を計測するにはドキュメントと質問、そして正解ドキュメントと正答のセットが必要になります。 RAGEvalは、これらの計測に必要なデータをLLMとそのドメインに使用するサンプルのドキュメントを用いて自動的に生成する事が可能となっています。 問題意識 RAGのテストデータを用意するのは大変 RAGの評価には必ず評価するため

議論とは何か。 日本国語大辞典によれば、「互いに、自己の意見を述べ、論じ合うこと。意見を戦わせること。」 と定義されている。 ビジネスにおいては、もう少し拡張してもいいかもしれない。 意見を戦わせる目的は２つある。 一つは 「意見を戦わせることで、どの意見が優れているか（正しいか）、判定すること」 そしてもう一つは 「意見を戦わせることで、よりよい意見を生み出すこと」 この２つを目的とした議論を、「建設的な議論」と呼ぶことにする。 ほとんどの人は建設的な議論ができない しかし。 私は様々な会社で議論を見聞きしてきたが、「建設的な議論」ができる人はそれほど多くない。 組織内における議論のほとんどは、「自分の地位を上げること」と、「相手を貶めること」に使われてしまうからだ。 議論の目的が「意見」を出したり、質を高めることではなく、人の評判を操作するだけに使われる状況。 これが「不毛な議論」だ。

はじめに この方法を教えると誰もが早くに出会いたかったと口を揃えて言いました こんにちは。Watanabe Jin(@Sicut_study)です。 今回はエンジニアがすべき究極の勉強法について完全解説していきます。 世の中には多くの勉強法が存在したり、インプット中心、アウトプット中心など色々な考え方があります。 ここでは実際に私が運営しているプログラミングコーチングJISOUで実際に用いている科学的根拠のある最高の勉強方法について徹底的にご紹介します。 また勉強法についての一般的な理論を紹介している記事や本は多数存在しますが、エンジニアに特化して紹介しているものはおそらく日本には存在しません。 この記事をしっかりと理解して、実践していくことで今までの勉強の何倍ものスピードで成果が得られるようになりますし、この考え方はすべての学ぶという行動で利用できるもので人生をより豊かにしてくれます。

導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 本記事では、画像の情報をそのままベクトルデータにして検索する手法、ColPaliについて解説します。 サマリー 通常、RAGでは文書データからテキストを抽出して、その文字をベクトルデータに変換します。しかしColPaliは、文書データを画像として認識してベクトル化を行います。画像として保管することでテキスト化できない情報を扱うことができます。他にもベクトルを複数に分解することで精度を改善し、テキストの抽出が必要ないことからデータ保管時のコストの大幅な低減などのメリットを享受できます。 PDFのデータを保管する際には、ColPaliモデルに正規化したPDF画像を入力として渡し1024個の128次元ベクトルを

Vue.js v-tokyo Meetup #21 のLT資料です。 https://vuejs-meetup.connpass.com/event/321431/

こんにちは、サイオステクノロジーの佐藤 陽です。 今回もRAGの構築に関する記事を書いていきます！ これまでも何本かRAGに関して書いてきましたが、 今回はそれらの集大成として、PDFを外部情報とするRAGを実装し、Ragasで評価するところまで、ソースコードと合わせて一挙ご紹介していこうと思います。 これを読めば、今日からRAGが構築ができるような記事になってます！ ぜひ最後までご覧ください！ はじめに 今回一番伝えたいことは、「評価を回しながらRAGの開発を進めてください！！」 という事です。 RAGというと、どうしても回答を出す部分に注目が行きがちですが、評価の方も非常に大切です。 生成AIを利用していることもあり、RAGの回答内容は不安定であるため、人間が評価するのが難しいことがよく言われています。 更にRAGを構築する要素の設計は多岐にわたります。 プロンプト変更 チャンキング戦

G-gen の堂原と又吉です。当記事では、Amazon Web Services（AWS）、Microsoft Azure、Google Cloud（旧称 GCP）が提供するフルマネージドな RAG サービスの比較を行います。 はじめに 当記事について RAG とは 3社比較 前提条件 機能比較 料金シミュレーション 想定シナリオ AWS Azure Google Cloud 総評 AWS Azure Google Cloud 詳細の解説 Knowledge bases for Amazon Bedrock（AWS）の詳細 構成図 プロダクト一覧 Knowledge bases for Amazon Bedrock Amazon S3 Amazon OpenSearch Service できること 検索 対応データソース 料金 概要 基盤モデル利用料金 ベクトルデータベース料金 Azure

このように、REST の設計原則に従って API を構築することで、ほとんどの API 設計は直感的に、かつ問題なく行うことができます。 デザインパターンの紹介 ここからが本題です。大抵の場合、上の例で示したような API 設計で十分です。 ただ、複雑な要件では、上のような典型的な API 設計のみでは良いAPIを設計するための4つの特性を満たせないことがあり、そのような場合のためにデザインパターンが有効です。 カスタムメソッド 概要 カスタムメソッドは、標準的な CRUD 操作（作成、読み取り、更新、削除）では対応できない特定の操作が必要になる場合に便利です。例えば、メールの送信や即時の文書翻訳など、通常の create や update メソッドでは処理が難しい操作がこれに該当します。 参考までに、以下に Google が出しているカスタムメソッドの記事を示します。 実装例 以下は、カ

株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、「Speculative RAG」という手法について、ざっくり理解します。 この記事は何 この記事は、複数の言語モデルを利用してRAGの回答精度を上げる手法である「Speculative RAG」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは？」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー Speculative RAG は、複数の言語モデルで回答生成&最良の回答を選別する手法です。Google DeepMindの研究者らによって2024年7月に提案されました。Speculative RAGを使うメリットは、小さいモデルでも回答精度を高く保てること、それにより、回答

こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy の seya (@sekikazu01)と申します。 この度 Gaudiy では LangSmith を使った評価の体験をいい感じにするライブラリ、langsmith-evaluation-helper を公開しました。 github.com 大まかな機能としては次のように config と、詳細は後で載せますが、LLMを実行する関数 or プロンプトテンプレートと評価を実行する関数を書いて description: Testing evaluations prompt: entry_function: toxic_example_prompts providers: - id: TURBO config: temperature: 0.7 - id: GEMINI_PRO config: temperature:

RAG (Retrieval-Augmented Generation)とは ● 外部データをRetrieval（検索）して ● プロンプトをAugument（拡張）し ● クエリに対する回答をGeneration（生成） ○ クエリ := ユーザからの問合せ ・・・する技術 ※本講義では「インプット＝クエリ＋プロンプト」と定義 4 RAG (Retrieval-Augmented Generation)とは 登場人物＿＿＿＿＿＿＿＿＿＿＿＿＿＿ ビジネスでの応用先はLLMが大多数＿ ❶検索アルゴリズム ● ・ベクトル検索、全文検索、及びその組合せ （Hybrid検索）がよく使用される ・…が、それに限るものではない ● ビジネスでは”言語”の基盤モデル （LLM）への応用が多い ○ 本講義も LLMに注力 一方、言語以外のモーダル （画像・音声等）も研究開発中 ❷拡張処理アルゴリズム ・

はじめに ログラスさんで取り組もうとしているFaST agileを下記の資料で知り、調べてみました。 はじめに FAST概要 用語 コレクティブ バリューサイクル ロール ツール バリューサイクル内の開発の流れ 1. プロダクトマネージャーの指針表明 2. 自己組織化し、活動の周りにチームを形成 価値・原則・柱 考えたこと フレームワークの狙いは何か できそう? 参考文献 FAST概要 "Fluid Scaling Technology (for Agile)"を標榜した、自己組織化を重視した軽量なフレームワークです。 日本語ガイドも公開されています。 FaSTガイド.pdf - Google ドライブ FASTガイドより引用した概要図 (Per Beiningによる) ※ 以下「スクラムでいうXX」といった表現を避け、FASTガイドの文言をできるだけそのまま受け取ってみます 用語 コレク

OpenAIの研究チームが「言語モデルの正確性を維持しつつ文章の分かりやすさを向上させる手法」を開発し、成果を公開しています。 Prover-Verifier Games improve legibility of language model outputs | OpenAI https://openai.com/index/prover-verifier-games-improve-legibility/ PROVER-VERIFIER GAMES IMPROVE LEGIBILITY OF LLM OUTPUTS (PDFファイル)https://cdn.openai.com/prover-verifier-games-improve-legibility-of-llm-outputs/legibility.pdf チャットAIやAIアシスタントなどに用いる言語モデルには、「正確な出

2024年7月14日に出版された新著「エンジニアリングマネジャー入門」を読んだ📕 本書は「人と向かい合う」ことにフォーカスしていて，エンジニアリングマネジャーがどんなことを日々考えて，どんなことに日々対処しているのかという実践的なノウハウがまとまっていた．著者が Google をはじめとした多くの組織で実践してきた体験談がベースになっているからこその説得力も感じられる一冊だった💡 エンジニアリングが好きな私たちのための　エンジニアリングマネジャー入門 作者:サラ・ドラスナー日本能率協会マネジメントセンターAmazon 本書は翻訳を担当された @iwashi86 さんに送っていただいた❗️活動量の多さと影響力の広さに驚きです🎉 出版おめでとうございます〜 ＼( 'ω')／ 7月14日に出版される「エンジニアリングマネジャー入門」を翻訳された iwashi-san に送っていただきました

【生成AI】知らないと後悔する、GPT-4oだけでシステム開発を300%効率化するハック【CodeAGI】Python生成AIChatGPTGPT-4CodeAGI 都内のIT企業に勤めている、ソフトウェアエンジニアの D̷ELL と申します。 本稿はQiita Engineer Festa 2024の参加記事です。 本日は生成AI（GPT-4o）のAPIキーだけで、システム開発を300%効率化するハックを共有したいと思います。 概要 生成AIによるアプリケーション開発自動化が実現しつつある時代になってきた 日本企業における「Excelドキュメント」は数多く、生成AIを実践投入しづらい GPT-4oのAPIキーさえあれば、社内のドキュメントからシステムを自動構築してくれる仕組みがあった はじめに みなさんはアプリケーション開発における生成AIの利用と言えば、何を想像しますか？おそらく大半の

A new tool that blends your everyday work apps into one. It's the all-in-one workspace for you and your team

はじめに どんな人向けの記事？ ローカルLLMに興味のある人 zoltraakに興味のある方 LLMを用いて要件定義書を作りたい方 内容 今回は元木さんのZoltraakを使って、自然言語から要件定義書を作ってみようと思います。 ただし、リリースされてから2ヶ月以上経ったzoltraakを普通に動かすだけでは面白くないので、この記事ではローカルLLMを使った場合にどの程度の品質のアウトプットが得られるか、そもそもまともに使えるのかを検証してみたいと思います。 結論 結論から述べると、下記の通りになりました。 現状のローカルLLMだけでzoltraakを完全に動作させるのは難しそう。 要件定義書は問題なく作成できる。 その後の工程の、ディレクトリ・ファイル構成を作成するための実行可能なpythonコードを作ることができなかった。 grimoiresの記載を工夫することで、ある程度は改善できる

usutaku@AI情報解説 @usutaku_com 臼井拓水 | ChatGPTやCopilot等のAI活用事例を発信する人 | Michikusa㍿ 代表 | ex @amazonjp @pkshacapital | ICU卒 🏉| 🗣️🇯🇵🇺🇸🇪🇸 | NewsPicksプロピッカー | インスタ15万 | AIの個社別社内研修のご依頼などDMへ lit.link/usutaku usutaku@AI情報解説 @usutaku_com タイトルで損しすぎな本見つけた。 「はいはい、またプロンプト(笑)本ね」 と思いながら手に取ったら 「マジの研究者の人が本気で、だけど完全な初心者にもわかるようにプロンプトを解説」 している良書だった。 ChatGPT触ったことあって、本格的にプロンプト勉強したい！という人には最高の一冊だと思う。 ・質問精緻化 ・認識検証 ・反転イン

Yjsは、リアルタイム共同編集を実現するためのアルゴリズムとデータ構造を提供するフレームワークです。Notion や Figma のように、1 つのコンテンツを複数人で同時に更新する体験を提供することができます。 Y.Map, Y.Array, Y.Text といった共有データ型を提供し、それらは JavaScript の Map や Array のように利用できます。さらにそのデータに対する変更は他のクライアントに自動的に配布・同期されます。 Yjs は Conflict-free Replicated Data Types (CRDT) と呼ばれるアルゴリズムの実装であり、複数人が同時にデータを操作してもコンフリクトが発生せず、最終的に全てのクライアントが同じ状態に到達するように設計されています。 クイックスタート Y.Map がクライアント間で自動的に同期されるコード例を見てみましょ