はじめに 代理モデル (surrogate model) とは複雑な機械学習モデル（e.g., DNN, GBDT）を近似する簡単なモデル（e.g., パラメタ数の少ないDNN, 単純決定木, etc）のことを指します．代理モデルは推論の高速化・機械学習モデルの説明などさまざまな用途に使われています． この記事では代理モデルによる機械学習モデルの説明をハンズオン的に紹介します．これは非常にシンプルかつ柔軟な手法ですが，アドホックな部分が多いためかハンズオン的な解説は見当たりませんでした．Christoph Molnar による Interpretable Machine Learning の Global Surrogate に概要は示されているので機械学習に詳しい人はこちらを読めば十分かもしれません．関連するライブラリに LIME や TreeSurrogate がありますが，わたしがこ

Fine-tuning a pre-trained language model (LM) has become the de facto standard for doing transfer learning in natural language processing. Over the last three years (Ruder, 2018), fine-tuning (Howard & Ruder, 2018) has superseded the use of feature extraction of pre-trained embeddings (Peters et al., 2018) while pre-trained language models are favoured over models trained on translation (McCann et

はじめに こんにちは. マイクロアドで機械学習エンジニアをしている福島です. 主に広告のClick Through Rate (CTR)予測やReal-Time-Bidding (RTB)の入札最適化を担当しています. 今回はマイクロアドでのCTR予測における確率補正について紹介したいと思います. はじめに CTR予測とは 問題1　学習データが不均衡 問題2　機械学習モデルの出力を確率として扱うのは不適切な場合がある 問題3　学習データの信頼度が高くない CTR予測における確率補正 アンダーサンプリングによって生じたバイアスの除去 Isotonic Regressionによる確率補正 確率補正の効果検証 終わりに CTR予測とは RTBでは下図のように, 広告主とメディア間でリアルタイムにオークションが開催され, オークションに勝利した広告がメディアに表示されます. マイクロアドでは現在オ

はじめに ABEJAのアドベントカレンダーの第・・・何番目だろ・・・？？ ABEJAでは、法務担当者をやっています。 弁護士を10年ほどやっていますが、ふとしたことで機械学習の世界をやってみたくなり、独学で、数学書やPRMLや青本やカステラ本やグッドフェロー先生の本を読んだりして、数学やら機械学習理論やらPythonの勉強をしたり、OJTで学んで、3年ほどRDチームを立ち上げて、機械学習モデルの開発・実装や技術調査に携わっていました。今は、法務関係の仕事がメインです。 今日のテーマはAIと公平性です。 色々テーマはあるのですが、ABEJAの中の人のご希望により公平性にしました。 当初は他のアドベントカレンダーの記事みたいに、コードをいっぱい書いて、「公平性確保のためのいろいろな論文を実装して効果を試してみた」「公平性に関する定義について理論面を解説してみた」系の記事にしようかと思っていたの

HOME/ AINOW編集部 /【機械学習の解釈可能性】テック専門家に聞く：機械学習モデルはどのように自らを説明するのか？【Google公式ブログ】 US版Googleブログ記事のひとつ『テック専門家に聞く：機械学習モデルはどのように自らを説明するのか？』では、同ブログ編集部のスタッフのひとりであるAndrea Lewis Åkerman氏が、Googleに在籍している研究者Been Kim氏に機械学習について質問した時の回答をまとめています。質問のテーマは「機械学習の解釈可能性」についてです。 「医師」のような特定の職業名が男性に関連付けられて翻訳されるような現象は、「AIのバイアス」として知られています。こうしたバイアスを緩和・除去するうえで重要となるのが、機械学習モデルがバイアスを伴った判断を下した理由を理解可能なように説明する「解釈可能性」です。 Kim氏によると、解釈可能性を実現

ML事業部の近江崇宏です。 Stockmarkでは日々、膨大な数のニュース記事に対してBERTの推論処理を行なっています。このような重いタスクを効率的に処理するために、最近、TPUを用いたBERTの推論処理基盤をGoogle Cloud Platform上に構築し、運用を開始しました。その結果として、これまで1週間程度かかっていた、数千万件のデータの処理を1日以内で完了できるようになるなどの大きな効果を得られました。今回はこの取り組みについて紹介します。 はじめに近年のニューラルネットワークの研究の発展により、画像認識や自然言語処理の様々なタスクを人間と同等もしくはそれ以上のレベルで処理できるようになりました。その結果として、ビジネスでのニューラルネットワークの利用が進んでいます。その一方で、ニューラルネットワークには、モデルの巨大さに起因して処理時間が長いという大きな問題があります。その

State of AI Report 2023 The State of AI Report analyses the most interesting developments in AI. We aim to trigger an informed conversation about the state of AI and its implication for the future. The Report is produced by AI investors Nathan Benaich and the Air Street Capital team. Download 2023 Report Compute Index 📧 Newsletter Now in its sixth year, the State of AI Report 2023 is reviewed by

By geralt at pixabayA common task for time series machine learning is classification. Given a set of time series with class labels, can we train a model to accurately predict the class of new time series?

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

本記事の目的 Subword segmentaion の考え方について理解する。 Subword segmentation の新手法 (SentencePeiece) のロジックを理解する。 参照論文の第２章、第３章にある式の展開を追う。 参照論文 参照論文の構成 Introduction Neural Machine Translation with multiple subword segmentations NMT training with on-the-fly subword sampling Decoding Subword segmentations with language model Byte-Pair-Encoding (BPE) Unigram language model Subword sampling BPE vs. Unigram language mode