quarterkotaのブックマーク (749)

  • RAGの「文脈が消える問題」を解決する「LongRAG」

    株式会社ナレッジセンスは、エンタープライズ企業向けにRAGを提供しているスタートアップです。記事では、RAGの性能を高めるための「LongRAG」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGの文脈消える問題を克服する新手法「LongRAG」の論文[1]について、日語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 題 ざっくりサマリー LongRAGは、「文書全体を読まないと正答できない」ようなタイプの質問に対しても、RAGの精度を上げるための新しい手法です。中国科学院・清華大学の研究者らによって2024年10月に提案されました。 ざっくり言うと、LongRAGとは、「階層化」+「フィルタリング」です。 2つとも、よく知られたRAGの手法ですが、これらを組み合わせるこ

    RAGの「文脈が消える問題」を解決する「LongRAG」
  • RAGのハルシネーション対策をする手法「Astute RAG」

    株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。記事では、RAGの性能を高めるための「Astute RAG」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGでハルシネーション対策を強固にするための手法「Astute RAG」の論文[1]について、日語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 題 ざっくりサマリー Astute RAGは、RAGの精度を上げるための新しい手法です。Astute RAGでは、外部知識・内部知識を組み合わせることで、ハルシネーションを抑えます。Google Cloud AI ResearchとUSCの研究者らによって2024年10月に提案されました。 通常のRAGで

    RAGのハルシネーション対策をする手法「Astute RAG」
  • RAGの「最大の弱点」と「対処方法」【Map Reduce / Refine】

    RAGの「最大の弱点」と「対処方法」【Map Reduce / Refine】
  • RAGの精度改善手法【データ品質 / プロンプト品質 / ベクトル検索】

    RAGの精度改善手法【データ品質 / プロンプト品質 / ベクトル検索】
  • “パスワード変更”をユーザーに定期的に要求はダメ 米国政府機関が発表 「大文字や数字を入れろ」の強制もNG

    このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 X: @shiropen2 「組織はユーザーに定期的なパスワード変更を要求してはならない」──米国政府機関の米国立標準技術研究所(NIST)が、そんな内容を含めた新しいガイダンス「SP800-63B」を発表した。パスワードの内容は、セクション3.1.1に記されている。 多くの人々が新しいパスワードを考え出し、それを覚えることに苦労している。セキュリティ上の理由から、多くの組織がユーザーや従業員に定期的なパスワードの変更を要求し、もしくは義務付けている。しかし今、米国政府はソフトウェアやオンラインツールを作成・運用する組織にこの慣行をやめるよう呼びかけている。 これは、Webサイト

    “パスワード変更”をユーザーに定期的に要求はダメ 米国政府機関が発表 「大文字や数字を入れろ」の強制もNG
  • ゴッホの名画「星月夜」は科学的な理論に従っていた

    Jenny McGrath [原文] (翻訳:大場真由子、編集:井上俊彦) Oct. 06, 2024, 03:00 PM サイエンス 15,126 ゴッホの作品「星月夜」は、自然界の流体を説明する数学的理論に従っているようだ。 ゴッホの死後数十年経ってから生まれた方程式を彼が理解していたはずはない。 研究者たちは、ゴッホの描いた絵の中の渦巻きが、雲や水、その他の自然物に見られるパターンに一致することを発見した。 フィンセント・ファン・ゴッホ(Vincent van Gogh)が最も象徴的な作品の1つである「星月夜(The Starry Night)」を描いた際、彼は記憶、観察、そしておそらく数学と自然に対する直感をこの作品に織り交ぜている。 学術誌「Physics of Fluids(流体物理学)」に掲載された最近の研究によると、この絵画の夜空に描かれたうねるような色の帯は、渦巻く流体の

    ゴッホの名画「星月夜」は科学的な理論に従っていた
  • GraphRAGを使った生成AIチャットアプリを作ってみた - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? RAGの精度向上に有効な施策としてGraphRAGという手法があります。 インプットされた文章をノードとエッジと呼ばれる要素に分解し、ノード間の関係性をグラフデータとして表現する手法になります。 例えば文章中に出てくる人物をノードとし、人物間の関係性をエッジで表現する、といったイメージです。 ベクトル検索を使ったRAGの場合「ドキュメント内の離れた箇所に登場するけれども、関係性の強い情報」といったものを扱う際に課題がありました。 GraphRAGの活用により、そういった情報を関連のある情報として拾えるようになり、生成AIによる文脈理解の

    GraphRAGを使った生成AIチャットアプリを作ってみた - Qiita
  • RAGの処理で、リランクとベクトル検索でできることの違いを検証/解説してみる - Taste of Tech Topics

    こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。 私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と比較してどのような特徴があるのかというところを、検証を交えて解説していきます。 概要 RAGの検索部分では、よくベクトル検索が利用されます。 理由としては、入力が基的に質問形式になりキーワードで入力されることが多い通常の検索よりも適している、などいくつか考えられます。 ただし、実際にRAGを試してみるとわかりますが、RAGシステムではベクトル検索だけでは検索精度の面で苦労することも多いです。 そこで解決方法の一つとして考えられているのが、ベクトル検索とリランクとの併用になります。 今回は、なぜRAGはベクトル検索だけだと苦労が多

    RAGの処理で、リランクとベクトル検索でできることの違いを検証/解説してみる - Taste of Tech Topics
  • ナレッジグラフとLLMを活用したレコメンドシステム - Insight Edge Tech Blog

    イントロダクション:スーパーマーケットの3つの課題 ナレッジグラフとは ナレッジグラフの活用事例 Google検索 Amazon ECサイトのレコメンドシステムCOSMO ナレッジグラフに関連した論文 Yu et al., COSMO: A large-scale e-commerce common sense knowledge generation and serving system at Amazon[4] Shi et al., LLM-Powered Explanations: Unraveling Recommendations Through Subgraph Reasoning[1] Wang et al., Multi-level recommendation reasoning over knowledge graphs with reinforcement lear

    ナレッジグラフとLLMを活用したレコメンドシステム - Insight Edge Tech Blog
  • プロの料理人が明かす、コストコに行ったら必ず買うもの

    Bourbon Steakのエグゼクティブ・シェフであるカイル・ジョンソン(Kyle Johnson)氏は、コストコの品揃え豊富な精肉コーナーを定期的に利用しているとInsiderに語った。 「コストコの精肉コーナーは素晴らしく、買い物に行った時にはわたしが必ず立ち寄るコーナーの1つです」とジョンソン氏は言う。 「手頃な価格でレストラン品質の肉が手に入る数少ない場所の1つです」 パルミジャーノ・レッジャーノ Jame Enotecaのシェフ兼オーナーのジャクソン・カルブ(Jackson Kalb)氏は、このイタリア料理の定番を自身のレストラン用に買っているとInsiderに語った。 「多くの人は知らないと思いますが、コストコには物のパルミジャーノ・レッジャーノがあるんです。これはポイントが高いです」とカルブ氏は言う。 「イタリア料理のシェフとして、わたしはいつも店用に大量購入し、さまざま

    プロの料理人が明かす、コストコに行ったら必ず買うもの
  • 【GraphRAG プロジェクトを立ち上げます】ナレッジグラフとLLMで「発想力を持つAI」の実現へ|Stockmark

    こんにちは。ストックマークのリサーチャーの広田です。今日は私が新しく立ち上げた GraphRAG プロジェクトの仲間を募集するために、GraphRAG プロジェクトについて紹介したいと思います。 広田航 Researcher 大阪大学大学院情報科学研究科を卒業後、米国に渡り Megagon Labs で Conversational AI や entity matching の研究を行う。その後帰国しストックマークに参画。現在はナレッジグラフ構築や LLM を活用した情報抽出の研究を行う。 まず GraphRAG プロジェクトの背景を紹介したいと思います。 ストックマークは「価値創造の仕組みを再発明し人類を前進させる」というミッションを掲げ、「AIと人による新しい価値創造プロセスを発明する」を目指して Research Unit を組成しています。情報の量が急激に増えている現代において、情

    【GraphRAG プロジェクトを立ち上げます】ナレッジグラフとLLMで「発想力を持つAI」の実現へ|Stockmark
  • RAG の精度を向上させる Advanced RAG on AWS の道標 | Amazon Web Services

    Amazon Web Services ブログ RAG の精度を向上させる Advanced RAG on AWS の道標 生成 AI の進化と共に、大規模言語モデル (LLM) を活用したアプリケーション開発が急速に広がっています。その中で、検索拡張生成 (Retrieval-Augmented Generation; RAG) は、LLM に対して最新の情報や特定のドメイン知識を組み込むための重要な技術として注目を集めています。 RAG は、その名の通り、外部知識ベースから関連情報を検索し、それを LLM の入力に組み込むことで、より正確で最新の情報に基づいた回答を生成する手法です。この手法には以下のような重要な利点があります。 最新情報の反映: LLM の学習データの制限を超えて、最新の情報を回答に反映させることができる。 ドメイン特化: 特定の分野や組織固有の情報を容易に組み込むこ

    RAG の精度を向上させる Advanced RAG on AWS の道標 | Amazon Web Services
  • 業務改善に役立つChatGPTのプロンプト文例集|中小規模法人、中堅・中小企業のお客さま | ソフトバンク

    \r\n<li><span class=\"biz-smb-fs-m1\"><b><span class=\"biz-smb-txt-link\"><a href=\"#prompt\">プロンプト一覧</a></span></b></span></li>\r\n<li><span class=\"biz-smb-fs-m1\"><b><span class=\"biz-smb-txt-link\"><a href=\"#move\">ChatGPT活用動画</a></span></b></span></li>\r\n<li><span class=\"biz-smb-fs-m1\"><b><span class=\"biz-smb-txt-link\"><a href=\"#blog\">関連記事</a></span></b></span></li>\r\n<li><span class

    業務改善に役立つChatGPTのプロンプト文例集|中小規模法人、中堅・中小企業のお客さま | ソフトバンク
  • 大きな転換点を迎えるPCプラットフォーム Core Ultra(シリーズ2)とApple M4チップの「類似性」と決定的な「差異」

    大きな転換点を迎えるPCプラットフォーム Core Ultra(シリーズ2)とApple M4チップの「類似性」と決定的な「差異」:田雅一のクロスオーバーデジタル(1/3 ページ) PC業界はここ数日、Intelが発表したCore Ultraプロセッサ(シリーズ2)のモバイル向けモデル「Core Ultra 200Vプロセッサ」(開発コード名:Lunar Lake)に関する話題で持ちきりだ。 同社が「Core Ultraプロセッサ」という新ブランドを打ち出してちょうど1年が経過したことになるが、その時よりも、むしろ今回の方が発表内容のインパクトはずっと大きい。 →新型SoC「Intel Core Ultra 200V」シリーズ発表! AMDやQualcommを上回る性能とバッテリー駆動時間をアピール 搭載PCは9月24日から発売 →「Core Ultraプロセッサ(シリーズ2)」は驚きの

    大きな転換点を迎えるPCプラットフォーム Core Ultra(シリーズ2)とApple M4チップの「類似性」と決定的な「差異」
  • RAGの精度と速度を同時に向上「DIVA」による曖昧さ対策

    導入 こんにちは、株式会社ナレッジセンスの須藤英寿です。普段はエンジニアとして、LLMを使用したチャットのサービスを提供しており、とりわけRAGシステムの改善は日々の課題になっています。 この記事では、曖昧な質問に対する回答の精度を高め、さらに処理速度を大幅に改善した手法「DIVA」について紹介します。 サマリー DIVAは、従来のRAGでは対応が難しかった曖昧な質問に対する精度を向上させつつ、他の同様の手法と比べて精度が高く、回答速度も速い点が特徴です。 DIVAの特徴は主に2つあります。1つ目は質問を複数の形に拡張して、検索の多様性を高める「Retrieval Diversification」。2つ目は、得られた情報の有用性を評価する「Adaptive Generation」というフレームワークを採用している点です。これにより、高速かつ高精度な検索結果を得ることが可能です。 問題意識

    RAGの精度と速度を同時に向上「DIVA」による曖昧さ対策
  • CarPlay接続中のLINEの通知、相手の名前を非表示にできる? - いまさら聞けないiPhoneのなぜ

    ハウツー CarPlay接続中のLINEの通知、相手の名前を非表示にできる? - いまさら聞けないiPhoneのなぜ 新車の大半がCarPlayに対応する現在、ドライブ中はiPhoneをクルマに接続している、という人は多いはず。カーナビ機能を備えた地図アプリ、音楽再生やラジオ再送信のストリーミングアプリなどなど、CarPlay経由での利用を意識したアプリも少なくありません。 音声通話やメッセージング機能を備えたアプリの多くも、CarPlay対応を進めています。iPhone体に着信があるとCarPlayでただちに通知してくれるため、運転中でも安全に最新の情報を知ることができます。iOS標準装備のアプリでいえば「電話」と「FaceTime」、「メッセージ」がCarPlayで着信/メッセージ到着を通知してくれるアプリです。 定番のメッセージアプリ「LINE」もCarPlay接続中の通知に対応し

    CarPlay接続中のLINEの通知、相手の名前を非表示にできる? - いまさら聞けないiPhoneのなぜ
  • 「九九を全部足すといくつ?」図で解くすごい工夫

    コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能(広告ブロック機能を持つ拡張機能等)を無効にしてページを再読み込みしてください。 ✕

    「九九を全部足すといくつ?」図で解くすごい工夫
  • iPhoneは「毎年買い替え」が最強コスパ

    グッズMannheim, Germany - September 22, 2023. An Apple iPhone 15 Pro smartphone. Front view with welcome message. Space Black color version. 黒坂岳央です。 筆者は長くiPhoneユーザーである。昔は毎年、目を見張るような新機能や高性能化があってすぐにでも手に入れたい欲を刺激された。しかし、iPhoneに限らず最近はスマホの進化もある程度頭打ちになってきている。新機種はAI機能やカメラ性能、省電力化以外は体感してわかる変化を感じづらくなってきている。 さらに円安進行でiPhoneは高値の花となってきており、ガジェットマニアでも毎年買い替えるのは躊躇するほどの価格である。「iPhoneを買ったら、壊れるまで使い倒そう」と考えている人も少なくないだろう。しかし、

    iPhoneは「毎年買い替え」が最強コスパ
  • データ可視化手段を比較してみる (Tableau・Sigma・Streamlit)

    可視化手段(難易度) BIツールやPythonを一切触ったことがない人であれば、習熟難易度はSigmaが最も簡単かなと思います。(無論、日頃からPythonを使っていればStreamlit) Tableauも初めて触った際はドラッグ&ドロップで可視化ができてすごく感動しましたが、実際に利用し始めるとLODやブレンドなどを用いなければ集計できないことも多いです。 SigmaであればExcelライクに計算フィールドを作成でき、LODを意識せずとも行レベル計算も可能です。 動作環境 TableauデスクトップアプリとWeb編集がありますが、SigmaはWeb編集のみになっています。 個人的にはさっとデータを確認する際にExcelを使う感覚でTableauを使う場面も多かったので、ネット環境がないと利用できないのは不便かなと思ったりはします。 ちなみにローカルデータもアップロードすればSigma

    データ可視化手段を比較してみる (Tableau・Sigma・Streamlit)
  • GPT-4o-miniのファインチューニングのすゝめ

    突然ですが、みなさんLLMのファインチューニングしていますか? 個人的な感想かもしれませんが、ファインチューニングは、幻滅期に入っているように感じています。 GPT-3.5 Turboのファインチューニングが発表されて以降、ファインチューニングしても思ったような出力をしてくれないので、ファインチューニングに期待しないという意見がちらほら聞こえてきました。 ファインチューニングするぐらいなら、Few-shotなどのプロンプトエンジニアリング技法を駆使した方が、結果的には求めている出力をしてくれると考えている方も多かったのではないでしょうか。 正直、私自身もそうでした。 ファインチューニングは、データセットを準備するのも大変ですし、正直コスパがよくないなと感じていました。 実際、プロンプトのチューニングは高速でPDCAを回せるので、ファインチューニングを反復するよりも遥かに高速なフェードバック

    GPT-4o-miniのファインチューニングのすゝめ