LLMによるLLMの評価「LLM-as-a-Judge」入門〜基礎から運用まで徹底解説
前回の記事でLLMアプリケーションの評価について基礎から運用まで丁寧に解説いたしました。 この記事では、評価方法の一部であるLLM-as-a-Judgeについて詳しく解説したいと思います。 LLMアプリケーションの評価といえば、LLM-as-a-Judgeだというように結びつける方もいらっしゃいますが、必ずしもそうではありません。 というのも、LLMアプリケーションの評価には、LLM以外で評価するLLM-as-a-Judge以外にもいろんな方法や観点があるからです。 評価方法や指標について多くの論点が、LLMアプリケーションに限らず、機械学習アプリケーション全般に共通しています。 この10年ぐらいで、機械学習アプリケーションの評価についてはかなりの議論がなされてきており、ある程度成熟してきました。 一方、LLMでLLMの出力を評価するLLM-as-a-Judgeについては、GPT-3.5や
バクラクのAI-OCRが扱う問題の複雑さ - LayerX エンジニアブログ
こんにちは。 LayerXのバクラク事業部 機械学習チームのテックリードを務めております機械学習エンジニアの島越（@nt_4o54）です。 最近、カジュアル面談や学会などで「AI-OCRってもうほぼ完成で、運用フェーズですよね」「やることあるんですか？」など頻繁に聞かれることがあります。 「いやいや課題が山のようにあるんです」という話をいつもしているので、今回は我々が作っているAI-OCRがどれだけ複雑で難しい問題を扱っているか、という部分についてお話しさせていただければなと思います。 少し、経理ドメインの話が多く恐縮ですが、お付き合いいただけると嬉しいです。 AI-OCRについて AI-OCRが扱う問題の複雑さ ドメインへの深い理解が必要 同じ書類であってもコンテキストによって抽出したい値が異なる まとめ 最後に AI-OCRについて まず、そもそも弊社のバクラクで提供しているAI-OC
やさしいデータ分析【確率分布編】 新連載開始！
この連載は、データをさまざまな角度から分析し、その背後にある有益な情報を取り出す方法を学ぶ『社会人1年生から学ぶ、やさしいデータ分析』連載（記述統計と回帰分析編）の続編で、確率分布に焦点を当てています。 この確率分布編では、推測統計の基礎となるさまざまな確率分布の特徴や応用例を説明します。身近に使える表計算ソフト（Microsoft ExcelやGoogleスプレッドシート）を使いながら具体的に事例を見ていきます。 必要に応じて、Pythonのプログラムや統計ソフト「R」などでの作成例にも触れることにします。 数学などの前提知識は特に問いません。中学・高校の教科書レベルの数式が登場するかもしれませんが、必要に応じて説明を付け加えるのでご心配なく。肩の力を抜いてぜひとも気楽に読み進めてください。 筆者紹介： IT系ライターの傍ら、非常勤講師として東大で情報・プログラミング関連の授業を、一橋大
優良な学習コンテンツの宝庫「AWS Skill Builder」の始め方 | DevelopersIO
AWS Builder IDの作成から始まるAWS Skill Builderの始め方をご紹介します。 こんにちは、AWS事業本部@福岡オフィスのべこみん(@beco_minn)です。 皆さん、AWS Skill Builderというサービスをご存知でしょうか？ AWS Skill BuilderとはAWSが提供する学習コンテンツがまとめられたサービスです。 学習コンテンツの幅は様々で、例えば以下のようなものがあります。 AWS認定試験対策のコンテンツ ゲームを通してAWSのサービスを学べるコンテンツ AWSの基礎を学べるコンテンツ 各サービスのベストプラクティスを学べるコンテンツ サンドボックスが用意され手軽に学べるハンズオンコンテンツ などなど、基本的にドキュメント形式のものは無料で利用出来るところも魅力的です。また、日本語対応のものも増えています。 本記事では、そんなAWS Skil
LLMのファインチューニング で 何ができて 何ができないのか｜npaka
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
ChatGPTとは何か そのできること／できないこと
流れるように自然な会話ができたり、ときには素っ頓狂（すっとんきょう）な答えが返ってきたりするのが楽しくて、このサービスを使っている方もたくさんいるでしょう。本稿では、その特徴や実際に使った例などを見ながら、ChatGPTがどんなものかを概観することにします。 特徴 ChatGPTはテキスト生成用に訓練されたGPT-3.5と呼ばれる系列の言語モデルを対話に適したモデルへとファインチューンしたものです。このときには、RLHF（Reinforcement Learning with Human Feedback。人間のフィードバックを用いた強化学習）と呼ばれる手法が使われています（この手法の概要については次回以降に紹介する予定です）。 ChatGPTを使う上で気になるのは使用料がかかるかですが、現在は初期のResearch Previewであり、無料で使用できます（ということは、将来的には有料に
ニューラルネットワーク入門
Pythonコードで理解するニューラルネットワーク入門 ニューラルネットワークの仕組みや挙動を、数学理論からではなく、Pythonコードから理解しよう。フルスクラッチでニューラルネットワーク（DNN：Deep Neural Network）を実装していく。 第1回 Pythonでニューラルネットワークを書いてみよう（2022/02/09） 本連載（基礎編）の目的 ・本連載（基礎編）の特徴 ニューラルネットワークの図 訓練（学習）処理全体の実装 モデルの定義と、仮の訓練データ ステップ1. 順伝播の実装 ・1つのノードにおける順伝播の処理 ・重み付き線形和 ・活性化関数：シグモイド関数 ・活性化関数：恒等関数 ・順伝播の処理全体の実装 ・順伝播による予測の実行例 ・今後のステップの準備：関数への仮引数の追加 第2回 図とコードで必ず分かるニューラルネットワークの逆伝播（2022/02/16）
【徹底解説】変分ベイズをはじめからていねいに | Academaid
初学者の分かりやすさを優先するため，多少正確でない表現が混在することがあります。もし致命的な間違いがあればご指摘いただけると助かります。 はじめに 機械学習を勉強したことのある方であれば，変分ベイズ（VB：variational bayes）の難しさには辟易したことがあるでしょう。私自身，学部生時代に意気揚々と機械学習のバイブルと言われている「パターン認識と機械学習（通称PRML）」を手に取って中身をペラペラめくってみたのですが，あまりの難しさから途方に暮れてしまったことを覚えています。 機械学習の登竜門は，変分ベイズ（変分推論）だと私は考えています。また，VAE（変分オートエンコーダ；variational autoencoder）に代表されるように，変分ベイズは最近の深層学習ブームにおいて理論面の立役者となっている側面もあります。一方で，多くの書籍やWeb上の資料では式変形の行間が詰ま
2011年に流行した良質な無料学習サイト総まとめ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
復習のタイミングを変えるだけで記憶の定着度は４倍になる
１，３，７……で復習する 一度に覚えるのと、分けて覚えるのでは、分けて覚えるほうが効果が高く、しかも長く続く。 これは、単純な暗唱ものから文章理解から技能習得に至るまで、あらゆるジャンルとコンテンツとシチュエーションで確認されている。 そして同じく学習を分散するにしても、その間隔を次第に広げる方が効果があることが知られている。 ・Glenberg AM & Lehmann TS. (1980). Spacing repetitions over 1 week. Memory & Cognition. 1980, Vol. 8 (6), 528-538. ・Glover JA & Corkill AJ.(1987). Influence of paraphrased repetitions on the spacing effect. Journal of Educational Psych
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
