RAGの実装戦略まとめ - Qiita
それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質
【AI動画生成】Sora 要素技術解説
もう全部OpenAIでいいんじゃないかな はじめに 月間技術革新です。 ということで、昨日OpenAIから発表された新しい動画生成AI「Sora」が非常に話題となっていますね。 圧倒的な一貫性の保持と1分間に及ぶ長時間動画が生成可能という事で、現状の動画生成技術を圧倒的に凌駕する性能を持っているようです。 在野エンジニアの小手先テクニックなど一笑に付すような圧倒的性能を Soraの凄さは色んなエンジニアやインフルエンサーがたくさん語っているのでそちらを見てもらうとして、この記事ではSoraを構成する各技術について簡単に解説していければと思います。 Soraの技術構成 論文が公開されているわけではないですが、OpenAIが要素技術の解説ページを公開してくれているため、そのページを参考にしていきます。 原文を見たい方はこちらからどうぞ 全体構成 Soraは以下の技術要素で構成されているとのこと
RAGs powered by Google Search technology, Part 1 | Google Cloud Blog
When a large language model (LLM) doesn’t have enough information or has no contextual knowledge of a topic, it is more likely to hallucinate and provide inaccurate or false responses. Developers are increasingly excited about generative AI and Retrieval Augmented Generation (RAG) — an architecture pattern that combines LLMs with backend information retrieval from other information sources. This a
「ヤバすぎる」動画生成AIの進化、RunwayやSynthesiaら激化する開発競争
主要3社が先行する動画生成AI市場 ChatGPTで画像生成できるようになったことで、テキストやコード生成に加え、画像生成技術もより身近な存在になった。このビジュアル領域におけるフロンティアとなっているのが動画生成AIモデルの開発だ。 テキストから動画を生成するだけでなく、写真などの静止画を動画に変換したり、動画のスタイルを変更できる生成AIモデルの開発が加速、この1年ほどでアウトプットの精度は大きく改善している。 この分野で一足早く取り組みを始めていたのがニューヨーク拠点のスタートアップRunwayだ。2023年6月、シリーズCの延長ラウンドでグーグル、NVIDIA、セールスフォースなどから1億4,100万ドルを調達するなど、動画生成AIスタートアップの中では特に注目される存在となっており、比較的豊富な資金を持っている。 Runwayへの注目度が高まったのは、同社が動画生成AIモデル「G
RAGの性能を改善するための8つの戦略 | Fintan
近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ
松尾研 LLM講座 講義コンテンツ | 東京大学松尾研究室 - Matsuo Lab
松尾研究室では複数のLLMに関する開発プロジェクトを推進しており、一緒に働いてくれる仲間を募集しています!! LLM研究者（特任研究員・特任助教・特任講師） [1] 効率的なLLMの学習方法に関する研究 [2] LLMの動作原理の理解 [3] LLMの社会的リスクに関する研究開発 [4] その他LLMの高度化や応用に関する研究 など。詳細はこちら LLM開発エンジニア（東京大学学術専門職員） [1] LLMのフルスクラッチ構築（1B〜100B），継続学習 [2] LLMの社会的リスクに関する研究開発 [3] 外部知識や外部ツールとの融合（LLM Agent） など。詳細はこちら その他全ての募集求人はこちら
ChatGPTでの業務効率化を“断念”──正答率94％でも「ごみ出し案内」をAIに託せなかったワケ 三豊市と松尾研の半年間
「ごみ出し案内」業務にはChatGPTを“活用しない”と決断した──生成AIを使った業務効率化を検証してきた、香川県三豊市がそんな発表をした。ChatGPT登場から1年がたち、今や職場に導入する企業・自治体も増え、中にはすでに一定の成果を出した事例もある。三豊市でも、ごみ出し案内業務の効率化を図ろうとしたが、思うようにはいかなかった。 今回の事例では、日本のAI研究の権威である松尾豊教授の「東京大学大学院工学系研究科松尾研究室」（松尾研）も協力。約半年間、実証実験に取り組んできた。なぜ、三豊市ではChatGPTを使って業務効率化できなかったのか。三豊市に話を聞いた。 なぜ、ごみ出し案内をChatGPTに託したのか？ 三豊市が実証実験を始めたのは6月1日。サービス内容は「市民からのごみの分別や収集日に関する問い合わせに対して、三豊市のごみに関する学習をしたAIが24時間自動応答する」というも
画像生成AI「DALL·E 3」の性能が凄まじい。これを無料で使わせるマイクロソフトは本気で競合をつぶしに来ている (1/3)
10月1日頃、OpenAIの新しい画像生成AI「DALL·E 3（ダリ３）」が徐々に使えるようになり、その性能の高さから話題になっています。まずサプライズで使えるようになったのがマイクロソフトのBingチャット。日本語で「猫の画像を作ってください」などと入れるだけでかわいい猫の画像が出てくると。これが無料で使えるのは衝撃的です。マイクロソフトが巨大資本で他の会社をつぶしに来たなという感じですね。どう考えても、今のところはサーバーコストが果てしなくかかる赤字サービスなのは間違いないので……。 「ラーメンを食べる女の子」が描ける！ なにより衝撃的だったのは、「アニメ風の少女と猫が遊んでいる姿を作ってください」というリクエストに対し、一発で完璧な正解を出してきたことです。Stable Diffusionだと苦手とされていた指も適切に描写されています。もうひとつの着目点はオブジェクト間の関係性です
OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
ChatGPT plugins のベータ提供が開始され、約70種類のプラグインが利用可能になりました | DevelopersIO
こんにちは、CX事業本部 Delivery部の若槻です。 今回は、ChatGPT plugins のベータ提供が開始されていたので、現在利用可能なプラグインと、実際に試してみた内容についてご紹介します。 ChatGPT plugins とは ChatGPT UI 上で 3rd-party アプリケーションを利用できるようにする機能です。 プラグインを追加することにより、ChatGPT に対して次のような機能拡張を行うことができます。 リアルタイムな情報の取得（例：スポーツのスコア、株価、最新ニュースなど） プライベートなナレッジベースからの情報取得（例: 社内ドキュメント、個人的なメモなど） チャットベースのアクション代行（例: 航空券の予約、フードの注文など） 各社が ChatGPT 向けのプラグインをこぞって開発するようになれば、ChatGPT がツールの枠を超え一種のプラットフォーム
AIで作った「AI音楽」が流行、Discord上には2万人超が集まる人気サーバーも
Stable DiffusionやMidjourneyといった画像生成AIや、ChatGPTのようなチャットAIの登場により、AIはますます人々の生活に浸透しています。新たに、AIを用いて著名アーティストの声を模倣し、既存の楽曲やオリジナル曲を歌わせることが流行りつつあると、テクノロジーメディアのMotherboardが報じています。 Inside the Discord Where Thousands of Rogue Producers Are Making AI Music https://www.vice.com/en/article/y3wdj7/inside-the-discord-where-thousands-of-rogue-producers-are-making-ai-music AIを用いて著名アーティストの声を再現し、この合成音声にオリジナルの楽曲や既存の楽曲を歌
AI研究者が問う ロボットは文章を読めない では子どもたちは「読めて」いるのか？（湯浅誠） - エキスパート - Yahoo!ニュース
「ロボットは東大に入れるか」プロジェクトでぶつかった「ある疑問」国立情報学研究所（NII）の社会共有知研究センター。 「ロボットは東大に入れるか（東ロボ）」プロジェクトで知られる人工知能（AI）の研究チームが、子どもたちの読解力テストに着手した。 なぜ、AI研究者が「読解力」に関心をもつのか。 そこには、AIの限界を探る研究の過程でぶつかった、ある疑問が関係している。 センター長の数学者・新井紀子さんに話を聞いた。 今日（11月14日）の「東ロボ 2016成果報告会」で冒頭あいさつする新井紀子教授。東ロボプロジェクトは2011年にスタートしたAIは国語が苦手――なぜ、AI研究者が「読解力」に関心を？ 東ロボは、問題を解き、正解も出すが、読んで理解しているわけではない。 現段階のAIにとって、文章の意味を理解することは、不可能に近い。 そうすると、特に難しいのが国語と英語だ。 国語では、20
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Generative AIのビジネス動向を把握する20のレポート集｜k1ito