LLM向けの検索をどう評価するか - ときどき起きる
本記事は情報検索・検索技術 Advent Calendar 2025の1日目の記事です。 LLM向けの検索について LLMと人間で検索結果を違って評価するか ポジショナルバイアスの違い ノイズとなる検索結果への耐性 LLM向けの検索評価指標 おわりに LLM向けの検索について 昨年に引き続き今年もLLM文脈で検索技術を活用するかについて非常に活発に議論が行なわれた年でした。特に、昨年10月に出たChatGPT Web Search機能以降では、学習データ機関に関わらず、常に最新のデータを元に推論・思考することが当たり前に求められるような世界線となっているように思われます。 RAGシステムを開発されているエンジニアの方も多いかと思われますが、そのようなシーンでの検索結果(≠LLMのアウトプット)の評価はどうされているでしょうか？ 従来通りMAP/MMR/nDCGなどの指標を用いているでしょう
TF-IDFにおけるDF（文書頻度: Document Frequency)の対数を取る理由
TL;DR TF-IDF における DF（文書頻度: Document Frequency) の対数を取る理由について気になって調べたので、その理由をまとめました。 私たちの研究室(NISLab) アドベントカレンダー 2日目~ 1. TF-IDF の基本的な目的 TF-IDF（Term Frequency-Inverse Document Frequency）は、文書中の単語の重要度を測る指標です。 TF: 単語がその文書内でどれだけ頻出しているか（ローカルな重要度）。 IDF: 単語が全体の文書集合でどれだけ希少か（グローバルな重要度）。 IDF の部分では、希少な単語（特定の文書に特徴的）が高いスコアを持つように調整します。一方、全ての文書で広く出現する単語（例: "the" や "is"）のスコアを低くします。 詳しくは以下のリンクを参照してください。 2. IDF における対数の
論文紹介: Rank and Relevance in Novelty and Diversity Metrics - yubessy.hatenablog.com
秋から京都に会社のオフィスができて異動になり、以前から交流のあった id:syou6162 さんにご報告したところ、京都に拠点のあるIT企業の合同論文輪読会に誘っていただきました。 自分の担当回では推薦システムに関する次の論文を取り上げることにしたので、発表用のノートを兼ねて解説を公開します。 Rank and Relevance in Novelty and Diversity Metrics † ACM RecSys 2011 - Rank and Relevance in Novelty and Diversity Metrics for Recommender Systems from Pablo Castells www.slideshare.net 推薦システムにおける Novelty, Diversity Webサービスを利用していて、以下のような経験をした方は多いのではない
Alternating Least SquaresによるFactorization Machinesのパラメータ推定 - LIVESENSE Data Analytics Blog
こんにちは、リブセンスで統計や機械学習関係の仕事をしている北原です。今回はレコメンデーションにも使えるFactorization Machines(FM)の効率的な学習アルゴリズムの紹介です。実装にはJuliaを使います。 実務で必要な要件を満たす機械学習ライブラリがなくて、機械学習モデルをカスタマイズすることってありますよね。最近はTensorFlowのような機械学習フレームワークが充実してきたので、そういう場合にはこれらのフレームワークを利用することが多いかもしれません。しかし、アルゴリズムによっては、フルスクラッチで実装することで大幅に効率化できるものもあります。今回扱うFMのAlternating Least Squares(ALS) はその一例です。そこで使われている効率化方法は実装が簡単でギブスサンプリングなどでも使うことができる便利なものなのですが、あまり知られていないようで
【DL輪読会】Text2World: Benchmarking Large Language Models for Symbolic World Model Generation | ドクセル
【DL輪読会】Text2World: Benchmarking Large Language Models for Symbolic World Model Generation
単語の頻度からLDAまでの流れの簡単なイメージのメモ - 唯物是真 @Scaled_Wurm
トピックモデルのLDA(Latent Dirichlet Allocation)が難しいって話をよく聞きますけど，詳しい理論的な部分はともかくどういう流れに位置するものかってのはわかりやすいので簡単にメモ． 専門でないので，詳しくは参考文献を読んだほうがいいです． トピック 同じ文書内で使われる確率が高いような似た意味を持つ単語の集まり． 例えばスポーツトピックなら「野球」「サッカー」「ボール」が出やすい，など． トピックモデルは文書のトピックと，トピックに属する単語を推定する． 単語頻度からトピックモデルまでの流れのイメージ 文書をモデル化しよう→単語の頻度 同義語や多義語を捉えよう≒次元削減をしよう→LSA＝SVD→以下がトピックモデル 確率的にしよう→PLSI ベイズ的にしよう＝訓練データに登場しなかったものにも対応できる→LDA トピック数が自動で決まるようにしよう→ノンパラメトリ
NeurIPS2021 outstanding paperのMAUVEを解説 - RareJob Tech Blog
1. はじめに 明けましておめでとうございます。 冬休みに実家に帰省したら記録的な大雪で20cmの積雪を見れて少し嬉しかった、EdTech Labの水谷です。 昨年末の12月はNeurIPS2021がありましたが、その中でoutstanding paperの1つに選ばれたMAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiersを解説したいと思います。 現在レアジョブでは言語生成モデルは運用していませんが、今後言語生成モデルを扱う際にはその評価の一つとして使える方法なのではと思っています。 2. 背景 GPTやMegatronに代表される巨大な言語モデル(Enormous Language Models: ELMs)が自然言語処理の様々なタスクにおいて人間と同等以上の精度を出せ
大正期貴族院の数理的分析 - やわらかブログ
はじめに 大正時代は近代日本における議会政治の円熟期であった．明治維新に功ある元老の影響力が減少した一方，政友会・憲政党 (同志会) をはじめとする政党勢力が台頭した．初の本格的政党内閣を率いた原敬が活躍したのもこの時代である． 大正期の政治に大きな役割を果たしたのは主に衆議院であったが，一方の貴族院が時流と完全に無関係であったわけではない．貴族院は，時には政党と対抗し，時には政党と妥協しつつ，議会政治に一定の役割を果たしてきた． さて，戦前の議会の特徴として，(乱暴な言い方をすれば) 議員間の結束度が現代より弱かったことがよく挙げられる．特に貴族院には政党・党派が (公式には) 存在せず，議員間のつながりは衆議院以上に曖昧であると言われる． 一方で，貴族院議員が完全に独立して，めいめい好き勝手に動いていたわけでもない．研究会をはじめとする院内会派も存在し，ゆるやかながらも一定の議員コミュ
巡回セールスマン問題から始まる数理最適化 - Qiita
この記事は BrainPad AdventCalendar 2017 8日目の記事です。 今回は数理最適化を取り上げてみようと思います。 ビジネス課題と数理最適化 BrainPadでは、データ分析に基づいて様々なビジネス課題に取り組んでいますが、業務貢献に寄与する最終段階で頻繁に検討されるのが数理最適化です。そこでは、様々な要素（例えば商品）に関する予測などを行った結果に基づき、どのような要素（商品）の組合せや割合が利益を最大化するのかを求めたりします。 今回はそのような問題の基礎例として、典型的な離散数理最適化問題である、”巡回セールスマン問題”を取り上げ、その定式化と解法の例を紹介できればと思います。 巡回セールスマン問題 巡回セールスマン問題とは、下左図のような各拠点を必ず一回だけ通るという制約のもとで、距離が最小となる巡回ルートを見つける問題です。この例では$４８$拠点ですが、この
論文読み＆Keras実装 ArcFace: Additive Angular Margin Loss for Deep Face Recognition - Sleep like a pillow
metric learningやfeature learningと呼ばれる学習手法は、クラス内のサンプル間の距離を近く、クラス間のサンプル間の距離を遠くするような特徴量を学習によって獲得するものです。 代表的なmetric learning手法のSiamese NetworkやTriplet lossはもう古くて、ArcFaceの方が色々と優れているらしいので読んでみました。 arxiv.org Pytorch実装 github.com Keras実装 github.com Abstract feature learningで主に重要なのは、特徴量の持つ弁別性を向上させるのに適したloss関数を設計すること。 Centre lossは、各サンプルの特徴量とクラスを代表する特徴量との距離に制約を設けることで、クラス内分散を小さくする。 SphereFaceでは、全結合層の重み行列を用いて角度
[Ridge-i 論文読み会] ICLR2019における不完全ラベル学習
Ridge-i 論文読み会での発表資料 https://ridge-i-yomikai.connpass.com/event/124688/
![[Ridge-i 論文読み会] ICLR2019における不完全ラベル学習](https://cdn-ak-scissors.b.st-hatena.com/image/square/2ed6e14f443a2c654a9df8b6b790c6cb4f66dbf1/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fyomikaiiclr2019-190510070433-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
GAN(Generative Adversarial Networks)を学習させる際の14のテクニック - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ※この記事は"How to Train a GAN?" at NIPS2016を、ここを参考にして、私なりに解釈して、重要そうな部分を引用して翻訳したものです。役に立つことが多かったので共有致します。 ※GANの説明は省略します。G=Generator、D=Discriminatorとして説明します。 ※それぞれのテクニックに根拠はあまり書いてないですが、ほとんどが論文に書いてあった「こうすればうまくいった」というものです。GANの学習がうまくいかないときに試してみると良いと思います。 1. 入力を正規化 (Normalize the
深層生成モデルによるメディア生成
筑波大学 社会工学ファシリテーター育成プログラム「メディア生成AI」 講義資料（修正版）
Owl/Crow：ModernBERTをゼロから学習したコード検索特化モデル
※追記（2025/11/19） 記事タイトルをより内容に即したものへ変更しました トークナイザの構築に関するセクションを新たに追加しました 言い回しを少し修正しました はじめまして。 私は大学で コード特化言語モデルを利用したコード検索の研究を行っています。 概要 本記事では、従来の CodeBERT / GraphCodeBERT 系モデルでは扱いづらかった 最大 512 トークンという入力長の制約 FlashAttention 非対応による学習・推論コストの高さ 事前学習・追加学習の再現性の低さ といった課題を踏まえつつ、ModernBERT アーキテクチャを用いてスクラッチ学習（ゼロから学習）からコード検索向けの埋め込みモデルを自作・公開するまでをまとめました。 具体的には、以下の点を中心に紹介します。 既存のコード特化言語モデル（CodeBERT / GraphCodeBERT 等
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
論文紹介 Rethinking Classifier Re-Training in Long-Tailed Recognition:�Label Over-Smooth Can Balance
精度を無視しない推薦多様化の評価指標
深層学習によるセマンティックセグメンテーションとその最新動向
eccoによる言語モデルの可視化 (2022-01-28 NLP Hacks#1)
FiT3D: Improving 2D Feature Representations by 3D-Aware Fine-Tuning - 第62回 コンピュータビジョン勉強会 ECCV論文読み会
KDD2021論文読み会・Neural Instant Search for Music and Podcast