生成AI(人工知能)のRAG(検索拡張生成)の導入など企業で使われ始めたベクトルデータベース。その特徴は検索にある。ベクトルデータベースとはどのようなデータベースで、なぜ「意味」で検索できるのか。ベクトルデータベースの基本技術についてデータベースの専門家が解説する。
![コサイン類似度とは? 新しい検索体験を支えるベクトルDBの基本技術を押さえる](https://cdn-ak-scissors.b.st-hatena.com/image/square/196b752ee7a4b6066b068c81c8db1d16c4b7fe1c/height=288;version=1;width=512/https%3A%2F%2Fxtech.nikkei.com%2Fatcl%2Fnxt%2Fcolumn%2F18%2F02909%2F081600003%2Ftopm.jpg%3F20220512)
※長文のため、テキストの読み上げ機能の使用を想定しております。各OS標準搭載のアクセシビリティ機能(読み上げコンテンツ)、もしくはMicrosoft Edgeブラウザの「音声で読み上げる」機能をおすすめします。 本日のゲストは紹介の必要がないほどの方です。私がエリックに初めて会ったのは約25年前、彼がNovelのCEOとしてスタンフォード・ビジネススクールに来たときでした。それ以来、2001年からGoogleで、2017年からSchmidt Futuresで、そしてその他多くの活動をされてきました。詳細は皆さんご存じのことと思います。 エリックは5時15分までしかここにいられないので、質問にすぐに入りたいと思います。皆さんからも質問をいただいていますが、私も多くの質問を用意しています。しかし、先ほど上階で話していた内容の方がさらに興味深かったので、エリックさん、よろしければそこから始めても
500 milesのブログテクノロジーと人間性の交差点を探求するブログです。最新の技術革新とそれが私たちの生活にどのような影響を与えるかについて、テック愛好家の視点から発信しています。 スタンフォード大学で行われた秘密の会議において、前Google CEOのエリック・シュミットが人工知能(AI)に関する議論に参加しました。この秘密会議は、AI分野で最も影響力のある頭脳が集まり、急速に進化するこの技術の未来について話し合いました。 シュミットは、Googleでの仕事や彼自身の財団であるシュミット・フューチャーズを通じてAI分野に貢献してきた重要人物です。彼はこの会議において、AI開発の今後数年間の動向について時間の制約の中でも深く掘り下げました。スタンフォードの学者や業界専門家で構成された聴衆は、シュミットと共に、大規模な言語モデル(LLM)から、NVIDIAのような企業がAIハードウェア分
3つの要点 ✔️ ChemCrowの導入と目的:ChemCrowは、大規模言語モデルを化学タスクに特化させる新しいエンジン。専門ツールと組み合わせることで適用範囲を広げ、化学知識のアクセス障壁を低減し、専門家だけでなく非専門家にも化学の自動化ツールを提供可能。 ✔️ 実装と成果:ChemCrowは、薬物設計や材料合成などの具体的な化学タスクを自動化する能力を示し、虫除け剤や有機触媒、新規色素のスクリーニングおよび合成など、複数の成果を達成。 ✔️ 課題と将来の展望:ChemCrowは、選定されたツールの量と品質に依存する制約があるが、将来的には言語ベースのツールや画像処理ツールの統合により、その機能は大きく拡張される可能性がある。オープンソースバージョンの公開により、広範な研究や開発への活用が期待される。 ChemCrow: Augmenting large-language models
SIerでマネージャーまで出世し、いくつかのスタートアップでEMやCTOを経験してる。 この増田には本当にごめんねと思ったので初投稿。 https://anond.hatelabo.jp/20240728023355 エンジニアもビジネスだとか、生成AIだとか、本当つまらないよね。俺もそう思ってるよ。 でもさ、CEOや株主や役員達が言うんだよ。 ビジネス成果も禄に出してなければ、OSSで活躍している訳でもない、コミュニケーションがちょっと得意なその辺のスタートアップのCTOとかに、ビジネスイベントや飲み屋でそう言われてさ。 「これからは生成AIだ」とか「エンジニアにもビジネス意識を植え付けよう」って。「評価や採用も技術発信もそうしよう」「その方が儲かるぞ」って。 JTCがコンサルに弱いのと同じでさ、エンジニア業界で評価されていないキラキラCTOみたいな人でもさ、なんか不思議な力で言われてそ
流行の話題が似たり寄ったりな生成AIなのホンマつまんねー。 AIが高品質の絵描けます!楽曲作れます!って最初は「スゲー」って思ってたけど、使ってみると検索ワード入れて虹エロ絵ググって漁ってる感覚と同じなんだよ。いい加減飽きた。 それよかさっさとクラウドアーキテクチャ管理とかアプリケーションのテスト管理とかできるようにして楽させてよ。Copilotにコード貼り付けてプロンプト生成すんのめんどくせーんだよ。 つまんなくなったなと決定的に感じたのは、今年の頭に行ったデブサミ。 似たり寄ったりな生成AIの活用話ばっかり。過去一つまんなかった。いつもは面白くて夢中で聞いてたんだけど、今年は途中で帰った。本当につまらなかった。 なんていうか、生成AIのプロンプトエンジニアリングとかの話って、人材マネジメント的な話と根本はおんなじ感じがするんだよな。いかにて優秀な新人AI君を働かせるか?的な。 でも、ビ
株式会社ナレッジセンスは、生成AIやRAGを使ったプロダクトを、エンタープライズ向けに開発提供しているスタートアップです。本記事では、RAGの性能を高めるための「Golden-Retriever」という手法について、ざっくり理解します。 この記事は何 この記事は、RAGシステムを専門用語に強くするための手法「Golden-Retriever」の論文[1]について、日本語で簡単にまとめたものです。 今回も「そもそもRAGとは?」については、知っている前提で進みます。確認する場合は以下の記事もご参考下さい。 本題 ざっくりサマリー Golden-Retrieverは、RAG(Retrieval Augmented Generation)を、業界特有の用語・社内用語を含むような質問に強くするための手法です。カリフォルニア大学の研究者らによって2024年8月に提案されました。 従来のRAGシステム
はじめに 知らない間にGitHub Copilotが結構進化していたので、それらの内容を紹介します。 GitHub Copilot Chatは知っていたのですが、単なるChatGPTみたいな会話機能を追加しただけだと思っていました。 要約 右クリックメニューや#fileのようなコマンドが登場し、それを入力するだけでChatに見てほしいコンテキストを伝えることができるようになった。 ファイル単位だけでなく、選択した行やブロックに限定することもできる。 テストコードや新しいプロジェクトをコマンド一つで生成できるようになっている。 推薦の候補も複数を同時に比較できるようになった。 一度に最大10個くらい出る上、タブで保管できる。 ターミナルや編集中のファイルからコマンド一つでChatを立ち上げることができる。 特別なプロンプトを入力しなくても、開いた場所の文脈を読み取ってくれる。 右クリックメニ
GitHub、Copilotでより高い精度のコードを生成させる方法を指南。関連ファイルを開く、トップレベルのコメントを書くなど 記事の中で、プログラマが意図したコードを高い精度で生成AIに生成させるためのテクニックがいくつも紹介されています。これらのテクニックはCopilotに限らず、生成AIを用いてコードを生成させる際の参考になると思われます。 この記事では、紹介されているテクニックのポイントをまとめてみました。 GitHub Copilotでよりよいコードを生成するためのポイント 生成AI活用の基本として説明されたのは、大規模言語モデルを用いた生成AIでは、コンテキスト(文脈)に基づいて予測を行うように設計されているため、生成AIに対する入力やプロンプトがコンテキストに富んでいるほど良い出力が得られる、という原則です。 それゆえ、GitHub CopilotおよびGitHub Copi
GitHubは、コードをスキャンして脆弱性を自動的検出し、コードの修正案を示してくれる「Copilot Autofix」機能を正式サービスとして提供開始すると発表しました。 コード分析エンジン「CodeQL」でコードスキャン Copilot Autofixは、GitHubが開発したコード分析エンジンである「CodeQL」を用いてコードをスキャンし、クロスサイトスクリプティングやSQLインジェクションなどを含むさまざまな脆弱性を検出します。 検出された脆弱性に対しては、Copilotがその説明と修正コードの提案を行い、開発者に提示します。 開発者は提示された内容を確認した上で「Create PR with fix」ボタンを押すと、提示されたコードの変更を含むプルリクエストが作成されます。プルリクエストがマージされれば修正完了です。 Copilot Autofixは過去のコードに対しても適用で
どんな人向けの記事? これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ!という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である
東京を拠点とするAI企業「Sakana AI」がオックスフォード大学とブリティッシュ・コロンビア大学との共同研究で、大規模言語モデル(LLM)を使って研究開発プロセスそのものを自動化する技術「AIサイエンティスト」を開発したと発表しました。 [2408.06292] The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery https://arxiv.org/abs/2408.06292 「AIサイエンティスト」: AIが自ら研究する時代へ https://sakana.ai/ai-scientist-jp/ GitHub - SakanaAI/AI-Scientist: The AI Scientist: Towards Fully Automated Open-Ended Scientific D
SakanaAIがまた面白い研究を発表した。その名も「AI Scientist(AI科学者)」 AIの研究をする科学者ではなく、科学者をやるAIである。 しかもすごいのは、基本的に難しいAIはすべてクラウド上で動作する(GPT-4oやOpenRouter対応LLMなど)ので、ご家庭で手軽に遊ぶことができる。AIの実験をする場合はGPUくらいは欲しいところだが、AIじゃないものを研究する場合はGPUすら不要だ。 実際に動かしてみると様々な罠があるぞ(まだ) AI-Scientistの使い方は簡単・・・とまではいかないが、templateを書いて「こういう仮説があるんだよね」というアイデアをいくつかseed_ideas.jsonに書いてあとは電子レンジでチンするが如く実行するだけだ。 ただ、記事執筆時点(2024/8/13 18:50 JST)では、リポジトリが不完全なのか書かれた通りにコマン
Sakana AI、科学論文の調査から作成、レビューまですべてAIが自動で実行するThe AI Scientistを発表 Sakana AIは2024年8月13日、大規模言語モデル (LLM) を複数組み合わせてアイデアの生成、必要なコードの記述、実験の実行/結果の要約、視覚化、レビューまで、論文作成のライフサイクル全体を自動化するAI駆動型の論文作成システム「The AI Scientist」を発表した。 The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery 「AIサイエンティスト」: AIが自ら研究する時代へ(上記ブログの日本語訳) Introducing The AI Scientist: The world’s first AI system for automating sc
こんにちは、株式会社AlgomaticのDoryと申します。 2022年末からChatGPTをはじめとした生成AI技術が爆発的に普及しはじめ、徐々にビジネスの現場にも普及しています。 私は、生成AIと最も相性のよいドメインの1つがHR(Human Resource: 人事をはじめとした人的資源に関わる業務)であると考えております。本記事では、生成AI技術がどのようにHRの未来を形作るのか、具体的な事例を交えて探っていきます。 なお、本記事の内容を発展させ、PeopleX社・Algomatic共催で「生成AIは未来のHRをどう変えるか?〜海外事例から学ぶ〜」というウェビナーを開催予定です! 【8/23(金)12:00〜12:50(お昼休み時間帯)】に実施予定ですので、HR業務に関わる皆様は、ぜひお気軽にご参加ください! 【この記事には何が書いてある?】 ・採用・従業員支援・労務領域での生成A
対話型AIサービス「ChatGPT」で使われている自然言語モデルの核になっている技術が「Transformer」だ。自然言語処理を例に、Transformerの仕組みを解説する。 ニューラルネットワークの基礎を理解したところで、ここからは自然言語処理(NLP)の基礎を解説することにしましょう。お待たせしました。いよいよChatGPTの仕組みに近づいてきました。 最初は、単語の意味をコンピュータに理解させる仕組みの説明をします。 自然言語処理は、文章の分割から ここに、ある文章があったとします。この文章の意味や、単語の意味をコンピュータに理解させるには、どのようにしたらよいでしょうか? そう、まずは前述の画像認識と同様ですね。文章を細かく分割して、どこが単語なのかをわかるようにするのです。 では、前処理として、入力された文章を単語に分割します(図7の(1))。次に、分割した単語を列挙します。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く