RAGのベクトル検索結果をリランカーで再び並べかえるのはなぜ？そして、その先へ！ - Qiita
このブログのコンテンツの概要は、2024年12月18日開催予定の Oracle JAM Session にてご紹介いたします。 はじめに ベクトル検索結果に対するリランキングの意義を理解しようとすると、ベクトル検索で既に類似度順に並べているのに、なぜ再度並べ替えるのかという疑問が生じます。 ベクトル検索とテキスト検索のハイブリッド検索で、両方の検索結果をまとめて順位付けする場合にリランカーを使うことがあります。これは、それぞれ異なる観点でスコア付けされているため改めて統一された観点で並べ替える必要性があることは理解しやすいですね。しかし、ベクトル検索だけであってもリランキングが有効であることはわかりにくいかもしれません。 そんな疑問にお答えしようというのがこのブログです。 このブログの元ネタは以下の私のX投稿です。 Xの投稿は、リランキングの説明用データを自分へのメモとして書いたものでした
「プログラミング言語」は今後不要になるのか ソフトウェア開発者の業務、半分はAIで自動化可能に
この記事は、『生成AIで世界はこう変わる』（今井翔太著、SBクリエイティブ）に掲載された内容に、編集を加えて転載したものです（無断転載禁止）。 ソフトウェア開発における生成AIは、私自身が積極的に利用していることもあり、定量的な研究成果に加え、当事者の生の声もお伝えしたいと思います。この部分に関しては主観的な記述も多くなりますが、その点はご留意ください。 「ChatGPT以前のソフトウェア開発は石器時代だった」とは、ある開発者の言葉です。言語生成AIが持つプログラミングコードの生成能力は驚異的なものです。ChatGPT登場当日、私が最も驚き、「これは本当にすごい」と確信したきっかけは、このプログラミングコードの生成能力を目の当たりにしたことでした。
AIエージェントの評価｜Weights & Biases Japan
W&B AI Solution Engineerの鎌田 (X: olachinkei) です。2023年以降注目を集める「AIエージェント」ですが、その可能性が広く議論されている一方で、具体的な開発プロセスや評価方法についての情報はまだ整理されていないのが現状です。そこで、本ブログではAIエージェントに関する評価体系について、現時点での知見をまとめていきます。専門的な内容も交えながらも、できる限りわかりやすくお届けしますので、ぜひ最後までお付き合いください。 Compound AI システムの登場とAIエージェントへの発展生成AIの進化により、特に大規模言語モデルは簡単なプロンプト入力だけでさまざまなタスクを解決できるようになりました。しかし、AIの活用が広がる中で、私たちは単一のモデルに依存するアプローチから複数のコンポーネントを統合する新しいアプローチへと移行しています。このアプローチ
LLMアプリケーションの評価入門〜基礎から運用まで徹底解説〜
こんにちは。PharmaXの上野です。 今回はLLMアプリケーションを評価する上で知っておくべき評価の基本をきちんと整理したいと思います。 これまで何度かLLMアプリケーションの評価について語ってきました。 運用についても記事や発表の形でシェアを行ってきました。 ですが、まだまだ「評価とはなにか？」という基本的なところで躓いてしまっている方も多い印象なので、今回は前提から丁寧に評価の全体像をまとめていきたいと思います。 LLMアプリケーションを運用している方の参考になれば嬉しいです！ なぜLLMアプリケーションを評価する必要があるのか LLMをアプリケーションに組み込んでいると、LLMの出力を評価する必要が出てきます。 LLMの「出力は確率的である（毎回異なる）」ためです。 また、LLMの出力はハルシネーションを含む可能性がありますし、間違いではないにしてもサービス提供者の意図とは違った出
完全ペアプロは「やりすぎ」だった。失敗を経て辿り着いた、ペアプロ×開発組織の最適解【Tebiki渋谷】 | レバテックラボ（レバテックLAB）
Tebiki株式会社 取締役CTO 渋谷 和暁 神戸大学法学部卒業後、SIerを経てWebシステムの開発会社に入社。ECなどの受託開発やゲームアプリ開発のリードとして従事した後、コーチ・ユナイテッドに転職。クックパッドによる吸収合併のタイミングでCEO貴山氏とともにTebiki社を起業し、取締役CTOを務める。 GitHub Medium アジャイルなプロダクト開発において、コード品質・学習効率・チームワークの向上に効果があるとされる「ペアプロ」。1人でプログラミングすること（＝ソロプログラミング、以下ソロプロ）が主流の中で、ペアプロをどうやって組織に浸透させるべきか、困っている組織は少なくないのではないでしょうか。 かつてのTebiki社も、同じ悩みを抱えていた組織の一つでした。2018年3月に創業し、小売、製造、サービス、物流などの現場マニュアルのDXを目的としたSaaSを開発する同社
「Agentless」という最新手法。LLMの新しい使い方。
本記事では、最近流行りの「生成AIエージェント」に替わる「Agentless」（エージェントレス）という手法について、ざっくり理解します。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 この記事は、ソフトウェア開発自体を自動化する際の新しい手法「Agentless」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもAIエージェントとは？」については、知っている前提で進みます。確認する場合は、こちらの記事などをご参考下さい。 本題 ざっくりサマリー 最近、ソフトウェア開発で生成AIを使うことは当たり前になっています。（GitHub Copilot、Cursor、Devinなど、様々なツールがリリースされています。） 「AGENTLESS」は、ソフトウェア開発を自動化する、という文脈でLLMを使う際の、新しい手法
RAG技術の現状考察と2025年のトレンド予想
本記事では、現在流行している「RAG」技術について、2024年トレンドの振り返りと、2025年の予想をします。株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。 この記事は何 2024年は、RAGが大流行した年でした。この記事では、2024年の技術トレンドを振り返りつつ、2025年のRAGの進展を予想したいと思います。技術的トレンドはもちろん、普段、企業向けにRAGを提供している会社としての、僕の肌感覚も合わせて、お伝えできればと思います。 本題 ざっくりサマリー 結論として、RAGは、来年も変わらず流行し続けると予想します。 まず来年は、これまで以上に回答精度が向上するのは間違いないです。その理由は、LLMの価格低下トレンドと入力できるコンテキスト増大トレンドが、まだ続くためです。加えて、LLMが「視覚・音声」の入力手段を獲得したこと、ベクトルD
なんでこんなにもWebフレームワークは目まぐるしく変化しているんだろうか - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 📣：Web開発トレンドへの適応力を高めたい人に向けて書きました ✍️ はじめに🖐️ こちらをご覧ください。JSフレームワークとOSやブラウザの変遷が大まかに確認できるように作ってみました。 3G,4Gなど通信の変遷も大きく関係しているのは見ていて興味深いですよね。 Webアプリケーション開発におけるフレームワークは、時代ごとに変化する課題に対する「解決策」として誕生し、進化を遂げてきました。本記事では、歴史的背景をたどりながら、なぜその技術が必要とされ、どのような問題を解決したのかを明確に示し、現代のフレームワークが持つ思想や特徴を
即席RAGを使用してLLMのコンテキストの限界を超える
導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 今回は、リアルタイムRAGを使用して長大な文章から正しい解答を高速で取り出す手法MixPRについて解説します。 サマリー LLMの性能は向上を続けていますが、依然として長大なコンテキストには適切に対応できないケースが多いです。この問題に対応するためにRAGが提案されていますが、準備時間やQAタスク以外での性能に疑問が残ります。 この問題に対してMixPRはPageRankと質問をベースとした処理の最適化を組み合わせて、高速に重要なテキストを抜き出せるようになり、高速化と精度の向上に成功しています。 問題意識 高速に検証することの重要性 RAGは、関連ドキュメントさえアップロードしてしまえば、以降簡単にLL
フル出社からフルリモートになった話
Google Workspaceで多くのことが完結するようになった結果、フルリモートへの移行は肩透かしなほど簡単に進みました。ツールの導入も参画数日で全て終わるようにタスクがまとまっているためスムーズでした。 ミーティングがリモートになったことでホワイトボードが使用できなくなってしまいました。 ペンタブで再現することも考えましたが、ホワイトボードの利便性はペンで描くこと自体にはないなとすぐに気がつきました。 そこで私はホワイトボードの役割を「思考の整理」と「思考の共有」に切り分けてカバーしてます。 「思考の整理」は手元で紙に書き殴るようにしました。考えをまとめるにあたってはホワイトボードと全く遜色ありません。 「思考の共有」はdraw.ioを画面共有するようにしました。アイデアを図式で共有するにあたってむしろホワイトボードより優れています。 「思考を整理しながら共有したい場合」だけは完全に
【作業効率3倍UP】VSCodeチートシートの永久保存版 - Qiita
この記事はNuco Advent Calendar 2024の6日目の記事です。 はじめに 皆さんはPCで作業する際に下記のようなダサい操作をしていませんか？ 矢印キーを連打or長押し デスクトップ上をマウスで右往左往 同じテキストを繰り返し入力、削除 etc ... このような働き方は無駄な作業時間が増えるだけでなく側から見てもカッコ悪いですし、仕事ができない人間だと周りから思われてしまいます。 というわけで今回はMac用とWindows用でそれぞれVSCodeのショートカットをまとめました。 本記事のショートカットを全て使いこなして作業効率を3倍に上げましょう！ 実際にショートカットを使用した実践動画がありますのでご参考になればと思います。 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは
2024年末にデザインパターンについて考える - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Futureアドベントカレンダーの3日目のエントリーです。昨日は@yamat2667さんのFlutterの記事でした。 デザインパターンというと、普段のプログラミングから一歩踏み込んで設計力を上げたい人が履修すべきコンテンツのように思われているようなツイートなりを見かけます。オブジェクト指向言語全般に使える知識だ、とか、開発者同士のコミュニケーションに使えるぞ、とか、コードの質が上がるぞ、とか。 一方で、パターンを詰め込もうとすると逆にコード量が増えて、パターン由来の変なクラス名が増えたりして、設計が歪むぞ、というのも当初から言われてき
【図解解説】これ1本でGraphQLをマスターできるチュートリアル【React/TypeScript/Prisma】 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こんにちは、Watanabe Jin(@Sicut_study)です。 今回はGraphQLの初心者向けチュートリアルを行っていきます。 REST APIと肩を並べて知られるGraphQLですが、なかなかイメージがしづらく初心者には難しいものです。私も駆け出しの頃に勉強しましたが全然身につけることができませんでした。 GraphQLのクエリのイメージがしづらい DBとGraphQLをどう接続すればいいかわからない 実際にアプリケーションと組み合わせる方法がわからない このように教材をやりながら感じていました。 GraphQLはふわっとし
LangChain の Agent Protocol の概要｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・Agent Protocol: Interoperability for LLM agents 1. Agent Protocol「LangGraph」はエージェントを構築する最良の方法ですが、他にも多くの方法があります。「LangGraph」を使用していない人の多くは独自の実装していますが、AutoGen、OpenAI の Assistant API、CrewAI、LlamaIndex などの他のフレームワークを使用している人もいます。 これは、多くのエージェントが異なるAPIを公開することを意味します。マルチエージェントの世界に移行すると、この統一性の欠如が問題を引き起こします。必要なのは通信だけですが、さまざまなAPIにより標準的な通信が困難になります。 これを変えるために、 エージェント通信の標準インターフェース「Agent Pr
GitHub Copilot Workspace：GitHub Copilotネイティブの開発環境へようこそ
GitHub Copilot Workspaceで開発環境を再定義します – どんな開発者でも自然言語でアイディアからコード、ソフトウェアまで作成できます。登録はこちら。 この2年間で、生成AIは開発環境の中に組み込まれたツールとして、開発者の状況を大きく変えました。2022年、私たちはエディタ内のオートコンプリートAIペアプログラマーとしてGitHub Copilotを発表し、開発者の生産性を最大55%向上させました。GitHub Copilotは現在、最も広く採用されているAI開発者ツールです。2023年、GitHub Copilot Chatをリリース、コーディング、デバッグ、テストにおける自然言語の力を引き出し、開発者がリアルタイムでコードと会話できるようになりました。 昨年GitHub Universeでその一端をお見せした後、本日GitHub Copilotネイティブの開発環境
Octomind社がLangChainをやめた理由｜Sangmin Ahn
こんにちはChoimirai Companyのサンミンです。 0 はじめにDifyがLangChainと決別し、独自の「Model Runtime」を採用したのが2024年の1月。 LangFlowやFlowiseなど複合AIシステムではLangChainに依存した設計が多い。DifyもLangChainベースの設計だったけど今年の1月に独自の「Model Runtime」を発表👏↓。当時は難しい判断だったと思う。が、変化のスピードとDifyが描いてる世界観を考えると正解だった。Difyを勧めるもう一つの理由、です。 https://t.co/AybwXRXkJ9 pic.twitter.com/n7d9aae76N — sangmin.eth | Dify Ambassador (@gijigae) April 24, 2024 LangChainの導入を慎重に考えるべきだとする声は
Conventional Commits
Conventional Commits A specification for adding human and machine readable meaning to commit messages Conventional Commits 1.0.0 Summary The Conventional Commits specification is a lightweight convention on top of commit messages. It provides an easy set of rules for creating an explicit commit history; which makes it easier to write automated tools on top of. This convention dovetails with SemVer
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ガードレールによるLLMの安全性担保【開発者と読み解くAIの世界】
デザインパターンで理解するLLMエージェントの作り方 / How to develop an LLM agent using agentic design patterns
改めて考える、「Gitのコミットメッセージを能動態や命令調で書く意味」
