tidymodelsとDALEXによるtidyで解釈可能な機械学習 - Dropout
はじめに パッケージ シミュレーション1 データ モデル DALEXによる解釈 変数重要度 PDP シミュレーション2 データの作成 DALEXによる解釈 PDP ICE Plot Conditional PDP clusterd ICE Plot まとめ 参考文献 ※この記事をベースにした2020年1月25日に行われた第83回Japan.Rでの発表資料は以下になります。 speakerdeck.com ※この記事で紹介するSHAPを含んだ、機械学習の解釈手法に関する本を書きました！ 機械学習を解釈する技術〜予測力と説明力を両立する実践テクニック 作者:森下 光之助技術評論社Amazon はじめに 本記事では、tidymodelsを用いて機械学習モデルを作成し、それをDALEXを用いて解釈する方法をまとめています。 DALEXは Collection of tools for Visual
特徴量重要度にバイアスが生じる状況ご存知ですか？ - 学習する天然ニューラルネット
なぜこの記事を書いたのか？ 決定木をベースにしたアルゴリズムのほとんどに特徴量重要度という指標が存在する。データに対する知識が少ない場合はこの指標を見て特徴量に対する洞察深めることができる。KaggleではEDAのときにとりあえず重要度を見てみるなんてこともするようだ。 しかし、この特徴量重要度にはバイアスが存在していて、特定の条件下では信用出来ないことがある。そういった条件を広く知ってほしいということでこの記事を書いた。 この記事では人工データを生成しバイアスを再現してみた。また、こういったバイアスに対処したという論文を見つけたので軽く紹介する。おまけとしてgainベース以外の特徴量重要度についても紹介する。 目次 なぜこの記事を書いたのか？ 想定読者と実験の枠組み 想定読者 限定する枠組み 特徴量重要度とは？ 特徴量重要度にバイアスが生じる条件 1. 解像度が低い場合 2. 特徴量同士
A Unified Approach to Interpreting Model Predictions
Authors Scott M. Lundberg, Su-In Lee Abstract Understanding why a model makes a certain prediction can be as crucial as the prediction's accuracy in many applications. However, the highest accuracy for large modern datasets is often achieved by complex models that even experts struggle to interpret, such as ensemble or deep learning models, creating a tension between accuracy and interpretability.
EU一般データ保護規則 (GDPR) とデータサイエンス
EUの市民や居住者の個人情報を収集する際には、EU一般データ保護規則（GDPR: General Data Protection Regulation）に従う必要があります。GDPRの目的は、消費者に対する情報保護を強化すると共に、EU内におけるデータセキュリティルールの共通化を図ることにあります。欧州議会は、この制度を2016年4月27日に承認しました。これによりGDPRは、2018年5月25日に施行される予定となっています。 GDPRに関する多くの説明は、この新たなルールが消費者の個人情報（PII: Personally Identifiable Information）の収集や管理に与える影響に注目したものになっています。しかし、これらに限らず、GDPRは企業のデータサイエンスのあり方にも大きな影響を与えます。このブログではこの内容を取り上げます。 説明を始める前に1つ注意すべきこと
機械学習モデルを解釈する方法 Permutation Importance / Partial Dependence Plot - 子供の落書き帳
Machine Learning for Insights Challengeで勉強した「Permutation Importance」と「Partial Dependence Plot」についてまとめる。 Machine Learning for Insights Challengeとは 9月18～21日に、kaggleの「Machine Learning for Insights Challenge」という講座が開催された。 1日に1通メールが来て、機械学習関連の話を学べる。 この記事では、4日のうち前半2日間の部分をまとめる。 なお、教材は公開されているので、今からでも同じように学習できる。 それぞれの日の説明には演習問題がついていて、kaggle kernel上で実行できる。 さてInsightsを日本語に直すと「洞察、物事の本質を見抜くこと」となるが、具体的には何なんだろうか。
制約プログラミング - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "制約プログラミング" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL（2023年1月） 制約プログラミング（せいやくプログラミング、Constraint Programming）はプログラミングパラダイムの一つである。 制約プログラミングにおいては、変数間の関係を制約という形で記述することによりプログラムを記述する。制約が他のプログラミングパラダイムのプリミティブと異なっているのは、実行すべきステップではなく解の特性を記述するという点である。制約プログラミングにおける制約は様々である。制約充足問題での制約やシンプレックス法における制約などが
【記事更新】私のブックマーク「機械学習における解釈性（Interpretability in Machine Learning）」 – 人工知能学会 (The Japanese Society for Artificial Intelligence)
Home » リソース » 私のブックマーク » 【記事更新】私のブックマーク「機械学習における解釈性（Interpretability in Machine Learning）」 機械学習における解釈性 (Interpretability in Machine Learning) 原 聡（大阪大学産業科学研究所） はじめに 近年の人工知能技術、特に機械学習の発展に伴い、これらの技術への社会的な期待が高まっている。 しかし、このような期待の高まりと同時にこれら技術への不安も高まっている。 特に、深層学習モデルを初めとする機械学習モデルが複雑なブラックボックスであるがゆえに安易に信頼できないとする懸念の声が上がり初めている。 これに対し、総務省はAIの利用の一層の増進とそれに伴うリスクの抑制のために「AI開発ガイドライン案」[1]を2017年に策定した。 このガイドライン案では、上記のような
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習と解釈可能性
https://dl.acm.org/citation.cfm?id=2998832
A blot on the profession