RAGの処理で、リランクとベクトル検索でできることの違いを検証／解説してみる - Taste of Tech Topics
こんにちは。テニスしすぎて日焼けがすごいSsk1029Takashiです。 私は普段、生成AIを活用したRAGソリューションの開発をしているのですが、RAGでは特に検索部分の調整が重要になります。 今回はその検索の中で出てくるリランクに焦点を当てて、ベクトル検索と比較してどのような特徴があるのかというところを、検証を交えて解説していきます。 概要 RAGの検索部分では、よくベクトル検索が利用されます。 理由としては、入力が基本的に質問形式になりキーワードで入力されることが多い通常の検索よりも適している、などいくつか考えられます。 ただし、実際にRAGを試してみるとわかりますが、RAGシステムではベクトル検索だけでは検索精度の面で苦労することも多いです。 そこで解決方法の一つとして考えられているのが、ベクトル検索とリランクとの併用になります。 今回は、なぜRAGはベクトル検索だけだと苦労が多
日本語の単語を適切な位置で区切って読みやすく改行してくれる軽量でオープンソースなライブラリ「BudouX」の機能＆採用例＆デモはこんな感じ、Chrome 119に実装予定で簡単に利用できる見込み
日本語のページをブラウザで見ているとおかしな位置で改行されることが多いのですが、単語と単語の間にスペースを入れる英語などと異なり、日本語では分かち書きがされていないのが原因。単語の途中で文章が折り返されてしまう原因になっています。BudouXは機械学習モデルを利用して容量を抑えつつ、サードパーティーのAPIやライブラリに依存せずに分かち書きを行ってくれるオープンソースライブラリなので、読みやすい改行が実現できます。 Google Developers Japan: BudouX: 読みやすい改行のための軽量な分かち書き器 https://developers-jp.googleblog.com/2023/09/budoux-adobe.html BudouXの使用イメージは下図の通り。従来は画面幅によっては「最先端」や「テクノロジー」などの単語の途中で改行が行われてしまう事がありましたが、
Sentence-Transformersを使ってみた！YouTube動画のセリフを手軽にセマンティック検索 | フューチャー技術ブログ
Sentence-Transformersを使ってみた！YouTube動画のセリフを手軽にセマンティック検索 はじめにこんにちは。フューチャーTIG DXユニット所属の王です。 本記事は、夏の自由研究ブログ連載2023の4本目です。 今回はテキストの埋め込みエンコーダーを使ってセマンティック検索をおもちゃレベルで簡単に実装する方法を紹介します。分かりやすいように、YouTubeの動画のセリフをコーパスとして使用します。将来的に時間軸のメタ情報も利用したら、検索結果には動画の何分何秒に特定、遷移リンクの生成などもいろいろ面白いことができると思います。 目次 セマンティック検索を注目するきっかけ セマンティック検索とは 原理 埋め込みベクトル(Embedding Vector) 埋め込みベクトルを使ったセマンティック検索 実装 使ったライブラリ Semantic Searchの実装 まとめ セ
LLM「Bard」で自然言語処理を行う｜スシテンコ
GCPでAPI叩いたり、Pythonでコード打つの面倒なので「ひょっとしてGoogleのLLMなら、GCPのNLPと似たような処理してくれるのでは？」と思い立って、試してみた結果を報告。 待って 自然言語処理の主要な処理や活用法把握したらLMMで擬似的に自然言語処理すればよくね？ — スシテンコ@LLMで自然言語処理しなさい (@sushitenko) July 19, 2023 以下、Bardの回答。 自然言語処理の代表的な処理パターンや機能は、以下の通りです。 ・トピックの抽出 ・感情分析 ・言語の翻訳 ・質問への回答 ・テキストの要約 ・テキストの生成 ・テキストの分類 ・テキストの一致 ・テキストの検索 ・テキストの理解 これらの処理パターンや機能は、自然言語処理の様々な分野で使用されています。たとえば、トピックの抽出は、ニュース記事やブログ記事から重要なトピックを抽出するために使
履歴書の要約に特化した自然言語処理フレームワーク、Huaweiが開発 | AIDB
Huaweiの研究グループが、履歴書の要約に特化した新しい自然言語処理（NLP）フレームワークを発表しました。このフレームワークは、BART-LargeとLSTMを組み合わせたもので、テキスト全体の文脈を捉える手法を用いています。大量の履歴書を迅速に処理し、適切な候補者を見つけるという課題に対処するための技術です。 参照論文情報 タイトル：Abstractive Text Summarization for Resumes With Cutting Edge NLP Transformers and LSTM 著者：Öykü Berfin Mercan, Sena Nur Cavsak, Aysu Deliahmetoglu (Intern), Senem Tanberk 所属：Huawei URL：https://doi.org/10.48550/arXiv.2306.13315 関連研
プロンプトデザイナーへの登竜門：GPTと日本語の自然言語処理｜ChatGPT部 Produced by NOB DATA
ざっくり言うと本記事では、GPTと日本語の自然言語処理タスク、特に形態素解析と固有表現抽出（NER）に焦点を当てて説明しました。GPTは、多言語の自然言語処理タスクに適用可能であり、日本語のタスクにおいても高い性能を発揮します。日本語テキストの処理には形態素解析が重要であり、適切な形態素解析ツールを用いて単語やサブワード単位に分割し、品詞情報を付与することが必要です。また、GPTを利用して固有表現抽出（NER）を行うことで、高い精度で情報抽出が可能となります。GPTと日本語の自然言語処理技術を組み合わせることで、多様なタスクに対応できる高性能なシステムが実現されます。 こんにちは！ChatGPT部のこーたろーです。 【個人Twitterアカウント：https://twitter.com/DsfKotaro】 プロンプトデザイナーを名乗り始めて早いもので半年になります。 本日は、プロのプロン
図で理解する初めての自然言語処理概論 - Qiita
自分は業務ではNLPに携わっていないのですが学生時代に少しだけNLPの研究に関わっていました。 今回はNLPの全体像を理解したい初学者向けに記事にしました。 世の中は自然言語を利用した技術であふれている 自然言語(テキストデータなど)から情報を抽出し、アウトプットとして提供 自然言語処理(Natural Language Programming)という技術が根幹にある 自然言語処理（NLP）とはなんなのか 具体的にはどういった分野なのかよくわからない 今回は自然言語処理の概要を紹介 NLPの全体像 解析の対象によって単語解析、文解析、文脈解析の3つに分けることができる 単語解析について 形態素解析 形態素解析器を利用し、文を文節ごとに分ける 研究分野としては、形態素を正しく分解したり高速に解析できたりするように辞書の構築や解析器の開発などがあげられる 解析器: MeCab, ChaSen,
今さら聞けない自然言語処理(NLP) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こちらのイベントで説明した内容の抜粋です。 自然言語処理(Natural Language Processing: NLP)とは 我々が日常的に使っている自然言語をコンピューターで処理する技術です。 そもそも、なぜ自然言語を処理する必要があるのでしょうか？ 世界は自然言語で溢れていますが分析が困難です 2015年、HIMSS(医療情報管理システム協会)は、アメリカのヘルスケア業界において12億の医療ドキュメントが作成されたと推定しました。これ以降、毎年生成される医療テキストデータは増える一方です。電子フォーム、オンラインポータル、PDF
GPTと日本語の自然言語処理：形態素解析と固有表現抽出（NER）の役割｜データ分析の診療所 院長 こーたろー
ざっくり言うと本記事では、GPTと日本語の自然言語処理タスク、特に形態素解析と固有表現抽出（NER）に焦点を当てて説明しました。GPTは、多言語の自然言語処理タスクに適用可能であり、日本語のタスクにおいても高い性能を発揮します。日本語テキストの処理には形態素解析が重要であり、適切な形態素解析ツールを用いて単語やサブワード単位に分割し、品詞情報を付与することが必要です。また、GPTを利用して固有表現抽出（NER）を行うことで、高い精度で情報抽出が可能となります。GPTと日本語の自然言語処理技術を組み合わせることで、多様なタスクに対応できる高性能なシステムが実現されます。 1. はじめに自然言語処理（NLP）は、人間が日常的に使用する言語をコンピュータが理解し、処理する技術です。NLPタスクは、機械翻訳、文書分類、情報抽出、固有表現抽出（NER）など、多岐にわたります。この記事では、GPTと日
単語ごとに分割・品詞別に分類｜みなとまち訪問看護リハビリテーションIT事業部
前回のおさらい看護記録システムのチェック式項目を選定していくために、過去の看護記録からよく使われるキーワードを見つける必要があります。 その頻出ワードをみつけるために「自然言語処理」という処理技術、その中でも「形態素解析」を行うことになりました。 前回は形態素解析を行うまでの下準備（データ収集、解析環境について）をお話しました。 形態素解析の流れのうち、今回は②③④をお話していきたいと思います。 ①たくさんのテキストデータを集める （1.5）用意したテキストデータを解析するその前の準備 →②たくさんのテキストデータすべてをそれぞれ単語に分割する →③分割された単語の品詞を判別する →④品詞ごとにカテゴリ分けする ⑤すべての列ごとの単語を結合する ⑥使わなそうな単語を削除する ⑦単語を品詞別にカウントする ⑧単語を品詞別に多い順並び替える ⑨品詞別に何に関連した単語かを判別する ⑩すべての品
自然言語処理を行う前の下準備｜みなとまち訪問看護リハビリテーションIT事業部
前回のおさらい看護記録システムのチェック式項目を選定していくために、過去の看護記録からよく使われるキーワードを見つける必要があります。その頻出ワードをみつけるために「自然言語処理」という処理技術、その中でも「形態素解析」を行うことになりました。今回からは実際に行った方法などを詳しく書いてみたいと思います。 形態素解析を行う流れ前回にも記載したのですが、形態素解析を行うにあたり手順を書くと主に以下のような流れで行っていくことになります。 なので、解析していく大まかな流れとしては →①たくさんのテキストデータを集める →（1.5）用意したテキストデータを解析するその前の準備 ②たくさんのテキストデータすべてをそれぞれ単語に分割する ③分割された単語の品詞を判別する ④品詞ごとにカテゴリ分けする ⑤すべての列ごとの単語を結合する ⑥使わなそうな単語を削除する ⑦単語を品詞別にカウントする ⑧単語
Python, Janomeで日本語の形態素解析、分かち書き（単語分割） | note.nkmk.me
JanomeはPythonの形態素解析エンジン。日本語のテキストを形態素ごとに分割して品詞を判定したり分かち書き（単語に分割）したりすることができる。pipでインストール可能。 mocobeta/janome: Japanese morphological analysis engine written in pure Python Welcome to janome's documentation! (Japanese) — Janome v0.4 documentation (ja) janome package — Janome API reference v0.4 ここでは以下の内容について説明する。 Janomeのインストール JanomeとMeCab 解析結果の精度 形態素解析の速度 Janomeで形態素解析 基本的な使い方 Tokenオブジェクトの属性 Janomeで分かち書
【Python】テキストマイニングとは〜データマイニングの重要性〜 | Analytics Board | python特化のプログラミングサイト
テキストマイニングという言葉をよく理解するためにも、まずはこの言葉を分割して考えましょうか。 テキストは、当然テキストデータと呼ばれるものからきています。マイニングは、マイン（鉱山発掘）から由来します。 つまり、ビッグデータのテキストデータの中に埋もれている「重要で意味のある情報」を発掘するということです。 それらのたくさんのテキストデータから、言語を解析する技術と数学的・統計的なツールを使用して、より質が高く意味のある情報を抽出します。 また、ここでは「テキストデータ」と「情報」という二つのキーワードとして分けています。 ここでのテキストデータとは、ネット上やローカル上といった様々な文書であったり、SNSでの投稿であったり、はたまた製品・商品といったもののアンケートに関するデータを指しています。 つまり、物事に対して何かしらの「目的」を持ったテキストであり、入力された「データ」ということ
【コード公開】【Python】テキストマイニングしてみた〜モデル作成〜 | Analytics Board | python特化のプログラミングサイト
とりあえず独学でプログラミング学習を始めたけど、右も左も分からずあなたの時間が無駄に終わるどころか挫折するかもしれません。 あなたが時間を無駄にした分を回収したいなら【Python】2022年最新！おすすめのオンラインプログラミングスクールをご確認ください！ ※期間限定で学習ロードマップを記載しています！ 「Word2Vec」とは、文章中の語句をベクトルに変換するツールです。単語同士の繋がりに基づいて単語同士の関係性をベクトル化するわけです。 ツール名通り、単語をベクトルとして表現することで、その単語の意味を捕らえる手法となります。つまり、語句と語句の類似度を測ることができるわけですね。 GensimとインストールについてWord2Vecを実現するツールとして、いくつか挙げられるライブラリがあります。 今回は、実行速度が速く、Pythonから手軽に利用できるものを考えると、「Gensim」
Transformerアーキテクチャと自然言語処理の発展
1. はじめに はじめまして、この投稿がZennの初投稿となります。 初学者ゆえ至らない点や、不適切な表現があるとは思いますが都度ご指摘していただけると幸いです。 この記事についてですが、先月から自然言語処理を今のトレンドであるTransformerを主軸に勉強し始めており、インプットだけでなくアウトプットのためZennを書こうと思ったのがきっかけです。 (同様にQiitaにてベイズに関するアウトプットも行なっています。) また、参考資料については下にも書いてはいますが「Transformerによる自然言語処理」をメインにしています。 といってもこの本は誤翻訳がひどいので自分で調べながらやる必要があり、二度手間になるかもです。ただ内容としては初学者の自分でも理解でき、GitHubに公開されているJupiter Notebookと同時に進めれば誤翻訳もまあ修正できると感じたので個人的には良い
ChatGPTやInstructGPTはなぜユーザーの意図に沿った返答を生成できるのか？
ChatGPTやInstructGPTはなぜユーザーの意図に沿った返答を生成できるのか？：ChatGPT入門 ChatGPTやその前身ともいえるInstructGPTは、GPTとは異なる目的を持ったモデルです。それ故にこれまでとは異なり、ユーザーの意図に沿ったテキストを生成できます。その違いを見てみましょう。 連載目次 GPT、InstructGPT、そしてChatGPT ChatGPTはその名の通り、対話に特化した言語モデルです。GPT 3（GPT 3.5）をベースとしていますが、GPT 3からChatGPTが生まれるまでの間にはもう一つ重要な言語モデルがあります。それがInstructGPTです（InstructGPT自体はGPT 3をベースとしているようです）。 では、GPT→InstructGPT→ChatGPTという進化がなぜ起きたのでしょう。InstructGPTについての論文
Google Colaboratoryでの知識の共有｜岡本 慎太郎
Google Colaboratoryが研究や教育に適しているということは「よくある質問」にも書かれている通りです。 Pythonプログラミング、あるいはそれを応用した機械学習に関する知識を共有するということにおいて、Colaboratoryは本当に強力なツールです。 ここではその強力さを、実際にColaboratoryを使ってある'知識'を共有することで、示していきたいと思います。 共有する'知識'ここでは、「日本語の形態素解析をPythonで実行する方法」を共有したいと考えています。 形態素解析、は耳慣れない言葉かもしれませんが、簡単にいうと日本語の文章をコンピューターを使って品詞(名詞、動詞、助詞、など)のレベルに分解するというもので、機械学習を応用した自然言語処理において必要不可欠なプロセスです。 しかしながら、単語をスペースで区切る英語などと比べると、日本語は単語に分解すること自
人工知能による自然言語処理（日本語の言語モデル開発の現状）｜IT navi
海外では、2020年5月に、1,750億のパラメーターを持つOpenAIのGPT-3が登場して以来、1,000億以上のパラメーターを持つ巨大言語モデルが続々と誕生しています。 巨大言語モデルとは、大規模なテキストデータを事前学習することによって、わずか数例のサンプルを示しただけで、機械翻訳、文章生成、質問対応など様々な言語処理タスクに対応することができる言語モデルのことです。 一方、日本では、あまり巨大言語モデルを開発したという話を聞きませんが、一体、日本の言語モデル開発はどうなっているのでしょうか？ １．世界の巨大言語モデル 現在、1,000億以上のパラメーターを持つ巨大言語モデルには以下のようなものがあります。 （左からモデル名、開発元、開発時期、パラメーター数） 【アメリカ】・GPT-3 OpenAI 2020年5月 1,750億 ・GShard Google 2020年6月 6,0
前処理、前処理、そして、前処理 （自然言語処理：日本語編）｜narudesu
こんにちは！エンジニアのnaruです。 ブラックフライデーも終わり皆さま何か良いものは買えましたでしょうか？ 私はというと、9月10月とAppleの新製品とモニターに散財して懐が早くも氷点下になって消費欲が完全に満たされたのもあり、ブラックフライデーは何も響かなかったです笑 さて、そんな最近に至るまで業務でたまに日本語テキストの前処理を行うことがあるのですが、その度に「あれ、これどうやるんだっけ・・・」となっていたので整理してみます。 「山田く〜ん、このデータ良い感じに前処理しといて〜」といきなり言われてしまった方になにか参考になれば幸いです。 前処理とは読んで字のごとく前処理とは、後続の処理をやりやすく、そして精度良くすることを目的とした必要不可欠かつ重要な処理です。 具体的な処理内容としては多岐にわたり、処理対象となる文章そのものの"クセ"や後続の処理への理解が求められるものの、時間が
仕事に使える？AI文字起こしサービスの精度、実用性を徹底比較｜@DIME アットダイム
「AI文字起こしサービス」の発展が目覚ましい。精度の向上はもちろん、話者識別やリアルタイム文字起こしなど便利な機能が目白押しだ。群雄割拠の各種サービスを同じ音源、同じ条件で徹底比較した！ 精度は劇的に向上！多種多様な機能で差別化 従来の文字起こしは時間とお金を要する作業だった。しかし2021年10月にGoogleが発売した『Pixel6』内蔵の文字起こし機能に代表されるような、AIを活用した実用性の高い文字起こしサービスが続々登場している。 注意したいのは、高精度とはいえ、完璧ではないという点だ。誤字脱字はある程度生じるし、リモート会議の場合は音質の低下に伴い精度も下がる。あくまで会話の大まかな内容を捉える補助的な役割として使用するのが望ましい。筆者も『Pixel7』の文字起こし機能を使っているが、簡単な取材なら生データのまま原稿作成が可能で、厳密な文字起こしでも従来の半分ほどの時間で終わ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
