RAGの性能を改善するための8つの戦略 | Fintan
近年、OpenAIのGPT-4やGoogleのGemini、MetaのLLaMAをはじめとする大規模言語モデル（Large Language Model：LLM）の能力が大幅に向上し、自然言語処理において優れた結果を収めています[1][2][3]。これらのLLMは、膨大な量のテキストデータで学習されており、さまざまな自然言語処理タスクにおいて、タスクに固有なデータを用いてモデルをファインチューニングすることなく、より正確で自然なテキスト生成や、複雑な質問への回答が可能となっています。 LLM-jp-eval[4]およびMT-bench-jp[5]を用いた日本語LLMの評価結果。Nejumi LLMリーダーボード Neoより取得。 大規模言語モデルは近年急速な進歩を遂げていますが、これらの進歩にもかかわらず、裏付けのない情報や矛盾した内容を生成する点においては依然として課題があります。たとえ
はじめての自然言語処理 MixCSE による教師なし文章ベクトル生成 | オブジェクトの広場
今回は教師なしの文章ベクトル化手法である MixCSE の検証です。教師なし学習ですから教師ありの手法よりは精度的に不利でしょうが、局面によっては役に立つケースもあるのでは？と試してみることに。公開されているコードは transformers ベースなのですが、今回は Colab の TPU で動かしてみたので、その方法も紹介しますね。 1. はじめに 今回は教師なしの文章ベクトル化手法である MixCSE1 の検証をしてみました。 本連載では文章ベクトル化のモデルとして、 Sentence BERT を取り上げたこと(第9回, 第18回)がありますが、品質の良いベクトルを生成する為には大量かつ良質の教師データが必要でした。 法律や特許のような特定領域に特化した文章を扱う局面では、対象領域の文書で学習したモデルを使いたいところですが、特定領域限定の都合良いデータはなかなか手に入りません。そ
依存リポジトリ管理でのsubmodule/subtree/subrepoの使い分け - Qiita
依存ライブラリを利用する場合RubyGemsやらCocoaPodsといったツールで万事解決するケースがほとんどだと思いますが、たまーにGitに上がっているライブラリを直接自分のリポジトリに追加しないといけない場合もあったりします。 こういった時に使うGitのサブコマンドそれぞれの特徴と使いどころをまとめてみました。 submodule 一番スタンダードな外部リポジトリ追加方法です。たぶん大抵の依存管理ではこれを使えば十分でしょう。git-submoduleを利用すると、外部リポジトリのコード自体は自プロジェクトの管理下に取り込まれず、リポジトリの特定コミットへの参照情報のみが登録されます。外部リポジトリのcommit hashへのポインタが追加されるようなイメージです。 $ git submodule add git@github.com:Alamofire/Alamofire.git $
【AIアニメ】ComfyUI AnimateDiffでアニメの中割りを作ろう！｜Baku
前回の記事では、AI動画生成ツールのAnimateDiffと「ControlNet」を組み合わせることで、特定のモーションをアニメで再現しました。 今回は、ControlNetの「Tile」という機能を組み合わせて、2枚の画像を補間するアニメーションの生成を試します。 必要な準備ComfyUI AnimateDiffの基本的な使い方については、こちらの記事などをご参照ください。 今回の作業でComfyUIに導入が必要なカスタムノードなどは以下のとおりです（説明は後述）。 カスタムノード (./custom_nodes/)： 以下の2つを使います。 ComfyUI-AnimateDiff-Evolved（ComfyUI用AnimateDiff） ComfyUI-Advanced-ControlNet（ControlNet拡張機能） モーションモジュール (./custom_nodes/Com
AI動画を簡単に生成できるAnimateDiffをどこよりもわかりやすく解説- AIの島
「AIに動画生成はまだできない」「AIで動画生成できてもかなり手間がかかる」 と思っている方は、多いのではないでしょうか？ 今回は、たった1枚の画像からAI動画を生成できるAnimateDiffを誰でもわかるように徹底解説いたします。 AnimateDiffとは？ 簡単に説明すると、1枚の画像から一貫性のある動画を生成できる技術です。 この技術のすごいところは、今までと違い元の絵の状態を保ったまま生成できるという点です。 どこで使えるの？ AnimateDiffを利用する方法は以下の2つです。 Stable Diffusionを利用する Memeplexを利用する 今回はタイトルにもあるように、Stable Diffusionを利用します。 Stable Diffusionを使ったことがないという方は、まずこちらの記事をご覧ください。 Stable Diffusionの使い方 Animat
はじめての自然言語処理 Sentence Transformer による文章ベクトル化の検証 | オブジェクトの広場
今回は文章のベクトル化を扱います。文章のベクトル化は 第9回 で扱っていますが、当時に比べてデータセット、事前学習モデル、ライブラリ等でいろいろと状況が好転しているので、改めて扱ってみることにしました。最近は大規模データセットを用いた事前学習が公開されているので、作り比べてみます。 1. はじめに 今回は sentence-transformers1 で文章のベクトル化にチャレンジしてみます。文章をベクトル（埋め込み表現）化することで、文章間の意味合い的な比較が可能になり、類似文章検索やクラスタリングなどが可能になります。 このライブラリは 第9回 で紹介済みですが、当時のバージョンは 0.2.5.1 であり、その後に損失関数が追加されていたり、サンプルコードが充実したりとかなりの更新が入って執筆時点で 2.1.0 になっています。ついでに言うと 第9回 は結構アクセス数があるみたいなので
PHPのsessionファイルの生成場所、中身、有効期限など - バカンス駆動開発
PHPでセッションを開始すると$_SESSIONに値を出し入れできますが実態はsessionファイルに物理的に書き込まれています。*1 中身見たことなかったのでちょっと調べました。 sessionファイルの場所 生成場所の優先順位 php.iniのsession.save_path php.iniのsys_temp_dir /tmpとか sess_v4vqefhjjllja1bqsabekihpc4みたいな感じでsess_xxxxxxxxxxxxxxという名前のファイル名で保存されます。 sessionファイルの中身 試しにこれを実行すると <?php session_start(); $_SESSION['hoge'] = 'hoge'; $_SESSION['huga'] = 'huga'; 自分の環境だと/tmp/sess_v4vqefhjjllja1bqsabekihpc4が生成さ
GitHub Copilot導入後、初めて使う時。(豊富な使用例付き) - Qiita
※GitHub Copilotが長いコードを提案してきた時、ショートカットキーの「単語単位で受け入れる」を使用すると便利です。 ※ インライン候補をトリガーするとは提案が表示される場所ならばどこでも GitHub Copilot が動きます。 例えば、提案が表示される場所からカーソルが動かしてしまっても、カーソルを元の場所に戻してトリガーコマンドを使うと提案が表示されます。 ※ インライン候補をトリガーするはデフォルトのキー設定では動きません。：Windows で確認 自分でキーボードショートカットキーを設定する必要があります。（これは自分の環境だけかもしれません。） 導入後（課金後） 導入後に何をしていいのか？何が出来るのかがよくわからなかったので調べてみた。 環境 Windows10 GitHub Copilot (導入 1年契約 or 1月契約) VSCode VSCode Insi
ヨイネムリα(I750)の機能性表示食品届出情報【健康食品原料検索サイトバルバル(BALBAL)】
このサイトに記載している情報は、健康食品等の 業界関係者や研究・開発の方を対象にした情報であり、 一般消費者の方に対する情報提供を目的としたものではありません。 サイトのご利用にあたってはプライバシーポリシーに同意していただく必要があります。 プライバシーポリシーはこちら
多言語E5をファインチューニングして検索性能を向上させる - Ahogrammer
多言語のテキスト埋め込み用のモデルであるMultilingual-E5[1]をファインチューニングして、検索性能が向上するか否かを日本語のデータセット検証してみました。結果としては、ファインチューニングすることで、OpenAIのtext-embedding-ada-002を上回る性能を確認できました。なお、E5については以下の記事で解説しているので、必要に応じて参照してください。 hironsan.hatenablog.com 本記事の構成は次のとおりです。 実験設定 実験結果 参考資料 実験設定 今回の実験では、多言語E5をファインチューニングして得られたモデルをベクトル検索に使うことで、検索性能がどのように変化するかを検証します。多言語E5にはbaseとlargeの2つのモデルがあるので、これらをファインチューニングする前後の検索性能を測定することにします。また、比較用のモデルとしてO
私のセキュリティ情報収集法を整理してみた（2024年版） - Fox on Security
新年あけましておめでとうございます。毎年この時期に更新している「私の情報収集法(2024年版）」を今年も公開します。 ■はじめに サイバー攻撃は国境を越えて発生するため、ランサムウェア、フィッシング、DDoS攻撃など、近年のサイバー脅威の常連となっている攻撃者（脅威アクター）が主に海外にいることを考えると、世界の脅威動向を理解することが年々重要になっています。 海外から日本の組織が受けるサイバー攻撃の多くでは、国際共同オペレーション等の一部のケースを除き、日本の警察が犯罪活動の協力者（出し子、買い子、送り子）を摘発することはあっても、サイバー攻撃の首謀者（コアメンバー）を逮捕するまで至るケースはほとんどありません。 誤解を恐れずに言えば、日本の組織は海外からの攻撃を受け続けているのに、海外で発生したインシデントや攻撃トレンドの把握が遅れ、対策が後手に回っているケースも多いように感じます。最
GitHub - llm-jp/awesome-japanese-llm: 日本語LLMまとめ - Overview of Japanese LLMs
[ English | Français | 日本語 ] 日本語LLM・海外LLMのパラメータ数の推移。日本語モデルの情報は本記事、海外モデルの情報は LifeArchitect.ai の Models table を参照しています（ただし、図のスペース上一部のモデルは省略。また、海外モデルのパラメータ数は推測値を含む）。修正・追加等ありましたらお知らせ下さい。 この記事は、一般公開されている日本語LLM（日本語を中心に学習されたLLM）および日本語LLM評価ベンチマークに関する情報をまとめたものです。情報は、有志により収集されており、その一部は論文や公開されているリソースなどから引用しています。 ::: warning 以下の点について、あらかじめご理解とご了承をお願いいたします 本記事の内容は、完全性や正確性を保証するものではありません。これらの情報は予告なく変更されることがあり、また
医療分野での文埋め込みモデルの比較 - Qiita
前書き ChatGPTなどの大規模言語モデル(LLM)では，Hallucinationが課題の一つです． 医療など内容の正確性が求められる分野では特に重要な課題で，LLMに外部データベースから正確な情報を与えた上で， 生成を行うRetrieval augmentation Generation (RAG)が対策方法の一つになります． RAGでは，関連する情報を正確に検索する必要があり，文章の正確な意味を反映した埋め込み表現を得ることができる文埋め込みモデルが重要です． そこで，医療分野の日本語の文章に対して，文埋め込みモデルをSemantic Textual Similarity(STS)タスクで比較・検証してみます． 1. 方法 1.1. 検証対象のモデル とりあえず目に付いた以下の5つのモデルを使います． OpenAI/text-embedding-ada-002以外はすべてHuggi
日本語に対応した Embedding Model のベクトル検索での精度比較｜Tatsuya Shirakawa
こんにちは、nouu の白川です。 OpenAI Dev Day、よいリリースがたくさんありましたね！GPT-4 Turbo が出てくれたお陰で、production利用がだいぶ捗りそうです。一方で、Text Embedding に関しては全くリリースはありませんでした。 自分は Text Embedding のモデルとしてちょっと昔は sonoisa/sentence-bert-base-ja-mean-tokens-v2 をよく使っていました。最近は環境を他の人と共有しやすくて楽なので OpenAI の text-embedding-ada-002 をよく使っているのですが、下記のページを見ると、OpenAI を超えるようなモデルがいくつもあって、検証せねばという気分になったので気になるモデルをいくつかピックアップして検証してみました。 データセットやモデル、評価指標などまだまだ拡充が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Clustering Categorical Data: K-modes (CAT II)
File naming ends with S, T or V
极飞科技
YOLO Data Augmentation Explained
世界をリードするアイデンティティ企業｜Okta
Training Overview — Sentence Transformers documentation