80.最近のLLMの動向、マルチモーダルモデルの仕組みとLLMの評価方法を解説 | 白金鉱業.FM
感想などは白金鉱業.FMのハッシュタグ #白金鉱業fm につぶやいてもらえるととても喜びます！ 匿名でのお便りもgoogle formにてお待ちしております！ — 目次 00:31〜：最近のLLMの動向 07:36〜：マルチモーダルモデル 17:20〜：LLMの評価方法 show notes 最近のLLMの動向（最後に辻さん、金さんが参加した収録は23年8月。そのあと世の中には何があったか？） 2023.08 OpenAI社 「GPT-3.5のファインチューニングサービス」を提供開始 2023.09 OpenAI社 「GPT-4V」の導入を発表 2023.09 Open Interpreter(ローカル環境で動作するCode Interpreter)が話題に 2023.10 ChatDevを含むAgentを用いた産業への応用の試み 2023.11 OpenAI社 DevDayの開催。Cha
ranxを使って検索システムのオフライン評価をする - Ahogrammer
ranxはPythonで実装されたランキング評価用のライブラリです。検索システムの評価に使える以下のような指標が用意されていたり、それらの結果をRRFのようなアルゴリズムで組み合わせたり、論文用にテーブルをエクスポートする機能を備えています。本記事では、ranxの簡単な使い方を紹介します。 Hits Hit Rate Precision Recall F1 r-Precision Bpref Rank-biased Precision (RBP) Mean Reciprocal Rank (MRR) Mean Average Precision (MAP) Discounted Cumulative Gain (DCG) Normalized Discounted Cumulative Gain (NDCG) インストール pipを使っている場合は以下のコマンドを実行してインストールします
【金融転職参考書籍】Investment Banking: Valuation, LBOs, M&A, and IPOs | ファンド･M&A 金融転職のムービン
金融転職サイトTOP > 金融転職に役立つ おすすめ書籍紹介 > Investment Banking: Valuation, LBOs, M&A, and IPOs 第3版 Investment Banking: Valuation, LBOs, M&A, and IPOs 第3版 ＜外資系投資銀行1年目の必読書です＞ 著者：Joshua Rosenbaum,Joshua Pearl 出版社：Wiley 出版年：2009年初版 内容(Amazon.co.jpより引用) 投資銀行業務と評価に関する世界的なベストセラー書籍。 投資銀行出身者によって書かれた非常にアクセスしやすく権威のある本であり、評価作業と財務分析を実行する方法を説明しています 比較可能な企業、先行取引、DCF、LBO、M&A 分析...そして現在は IPO 分析と評価. 各方法論の段階的なハウツーアプローチを使用して、著者
How is ChatGPT's behavior changing over time?
GPT-3.5 and GPT-4 are the two most widely used large language model (LLM) services. However, when and how these models are updated over time is opaque. Here, we evaluate the March 2023 and June 2023 versions of GPT-3.5 and GPT-4 on several diverse tasks: 1) math problems, 2) sensitive/dangerous questions, 3) opinion surveys, 4) multi-hop knowledge-intensive questions, 5) generating code, 6) US Med
GitHub - mshumer/gpt-prompt-engineer
Prompt engineering is kind of like alchemy. There's no clear way to predict what will work best. It's all about experimenting until you find the right prompt. gpt-prompt-engineer is a tool that takes this experimentation to a whole new level. Simply input a description of your task and some test cases, and the system will generate, test, and rank a multitude of prompts to find the ones that perfor
ゴールドマン・サックスから100億円調達の舞台裏。「ここまで深い考察をするのか」GO・中島社長が見た光景 - MAGAZINE｜STARTUP DB（スタートアップデータベース）
トップ記事一覧ゴールドマン・サックスから100億円調達の舞台裏。「ここまで深い考察をするのか」GO・中島社長が見た光景 ここまで、深い考察をするのか…。 アメリカの金融大手、ゴールドマン・サックスを迎えた交渉のテーブル。タクシー配車アプリを展開するGOの中島宏・代表取締役社長は静かに唸った。 厳しい市況のなか始めた資金調達。交渉相手は外資の金融プレイヤーだけ、評価額を下げる「ダウンラウンド」ならば撤退…と自らに縛りを課した調達活動は、気づけば独特の緊張感を帯びるようになっていた。 GOは、ゴールドマン・サックスから100億円の資金調達を実施することになる。2023年上半期最大規模となった調達劇の裏側を、中島社長が明かす。 ダウンラウンドなら調達はしない。北米の金融プレイヤーに照準 GO（旧・Mobility Technologies）は、タクシー配車アプリ「GO」などを展開するモビリティ領
GitHub - openai/evals: Evals is a framework for evaluating LLMs and LLM systems, and an open-source registry of benchmarks.
Evals provide a framework for evaluating large language models (LLMs) or systems built using LLMs. We offer an existing registry of evals to test different dimensions of OpenAI models and the ability to write your own custom evals for use cases you care about. You can also use your data to build private evals which represent the common LLMs patterns in your workflow without exposing any of that da
物体検出のエラー分析ツールTIDE | MoT Lab (GO Inc. Engineering Blog)
この記事はMobility Technologies Advent Calendar 2021の18日目です。 こんにちは、AI技術開発AI研究開発第二グループの劉です。私はドラレコ映像から標識などの物体を見つける物体検出技術を開発しているのですが、その精度を改善していくためにはまず検出エラーを細かく分析することが重要です。本記事では、物体検出のエラー分析に関する論文である”TIDE: A General Toolbox for Identifying Object Detection Errors”を解説すると共に、その著者らが公開しているツールを実際に使ってみた結果をご紹介をしたいと思います。 はじめに本記事では、以下の論文を取り上げます。コンピュータビジョンで最も有名な国際学会の一つであるECCV（European Conference on Computer Vision）で202
日本語における評価用データセットの構築と利用性の向上（JED2022）
What's New ¶ 2022.03.18 ワークショップは終了しました．沢山の方々のご参加ありがとうございました！ また今後も様々なイベントを開催していく予定です．公式Twitterアカウント@jedws などをご覧ください． NLP2023 OKINAWAに合わせ，JED2023の開催を目指しています．来年は沖縄科学技術大学院大学（OIST）でお会いしましょう！ 趣旨 ¶ 言語処理学会第28回年次大会（NLP2022） 併設ワークショップ - 日本語における評価用データセットの構築と利用性の向上（JED2022） 日本語NLP技術の性能評価のためのデータセットが近年いくつか公開されているが，他の言語と比べると基本的なタスクが不足しており，日本語NLPの迅速な発展を阻害する要因となっている．英語などのデータセットを日本語に翻訳するアプローチもあるが，翻訳プロセスに由来するアーティファ
クエリ修正を考慮した検索評価指標sDCGを使ってユーザーの検索体験を監視をしたい - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームの中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。最近、ユーザーの検索体験の向上のために、以下の検索評価に関する本を読んでいました。 情報アクセス評価方法論 作者:酒井 哲也発売日: 2015/05/19メディア: 単行本 そこで今回は検索評価指標の1つであるsDCG (session-based Discounted Cumulative Gain)を使ってエムスリーの検索ログから体験の悪かった検索を抽出してみたのでその方法を紹介します。 現状の検索監視 現状の検索監視の問題 nDCG sDCG 線形横断 最下位クリックにおける検索結果の破棄 クリック＝適合文書 nsDCGを実際の検索ログに使ってみる sDCGを使って感じたこと まとめ We're hiring !!! Reference 現
OKRとは？ 【Googleが使う目標管理ツール】KPI・MBOとの違い
Excel、紙の目標設定・評価シートを豊富なテンプレートでクラウド化。 人事評価システム「カオナビ」で、時間が掛かっていたOKR・MBOの問題を解決！ ⇒ 【公式】https://www.kaonavi.jp にアクセスしてPDFを無料ダウンロード GoogleやFacebookをはじめとした、シリコンバレーの大企業が積極的に取り入れていることから注目を集めているOKR。革新的な目標設定・管理ツールとして注目されるOKRとは、一体どのようなメソッドなのでしょうか。 ここでは、その概要や従来の管理ツールとの違い、設定方法について解説します。 OKR・MBOを効率化するなら、目標管理も得意な人事評価システム「カオナビ」です。無料の紹介資料は ⇒ こちらから １．OKRとは？ OKRとは目標の設定・管理方法のひとつで、Objectives and Key Results（目標と主要な結果）の略称
そろそろ本気で機械学習の評価方法について学習するよ - Y's note
Machine Learning for Hackers 作者: Drew Conway,John Myles White出版社/メーカー: Oreilly & Associates Inc発売日: 2012/02/28メディア: ペーパーバック クリック: 63回この商品を含むブログを見る 機械学習の評価方法について学習 機械学習初心者ですが最近業務で本格的に触り始めています。少し前までSmartPhoneのWebAppliを作ることを専門職としていたので機械学習の領域は未知な事が非常に多く、用語の意味ですら十分に理解できていません。今日は機械学習の評価方法を中心に学習(勉強)した内容を記録して行きます。例えばPrecision/Accuracy/Recallの言葉の違いやROC曲線,AUC評価などの技法といったものが話の中心になります。初心者視点で書いていますので専門性がありません。間
How Google sets goals: OKRs | Google Ventures
On the day Google’s acquisition of FeedBurner closed in 2007, it was also the first day of a new quarter at Google. My new manager at Google asked me to draft my OKRs for him to review. I had no idea what he was talking about. I’ve now gone through the process of setting my Objectives and Key Results (OKRs) 24 times, and each time I marvel at what an effective mechanism they are for focusing my ef
プログラマ能力指標表 | POSTD
2015年05月27日: 表が見にくいというご意見を頂いたため、原文著者に連絡のうえ体裁を修正しました。 上位のレベルには下位のレベルの知識も蓄積されているということに注意してください。つまり、レベル n であれば n より低いレベルの知識も全てあります。 コンピュータサイエンス データ構造
ElasticsearchとKuromojiを使った形態素解析とN-Gramによる検索の適合率と再現率の向上
ElasticsearchとKuromojiを使った形態素解析とN-Gramによる検索の適合率と再現率の向上：Elasticsearch＋Hadoopベースの大規模検索基盤大解剖（2）（1/3 ページ） リクルートの事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する連載。今回は、テンプレートを利用したインデックス生成など、検索結果の品質を向上させるためのさまざまな取り組みを紹介する。 連載目次 リクルートの全社検索基盤「Qass」の事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する本連載。初回の前回「リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - AmenRa/ranx: ⚡️A Blazing-Fast Python Library for Ranking Evaluation, Comparison, and Fusion 🐍
Ontology Evaluation - CORE Reader
Named-Entity evaluation metrics based on entity-level
Amazon.co.jp: 情報アクセス評価方法論: 酒井哲也: 本
GitHub - ZFTurbo/Mean-Average-Precision-for-Boxes: Function to calculate mAP for set of detected boxes and annotated boxes.