大規模言語モデルのGPT-4やチャットボットAIのChatGPTを開発するOpenAiが、テキストや画像を入力することで3Dモデルを自動生成するAI「Shap-E」を発表しました。Shap-Eはオープンソースで開発されており、無料で使用できます。 GitHub - openai/shap-e: Generate 3D objects conditioned on text or images https://github.com/openai/shap-e 機械学習エンジニアのhysts氏がShap-Eを体験できるデモサイトをAI向けリポジトリサイトのHugging Faceに作成しており、Shap-EがどんなAIなのかをブラウザから簡単に体験できます。 Shap-E - a Hugging Face Space by hysts https://huggingface.co/spaces
新型コロナ重症化リスクファクター分析 XGBoost+SHAPによるEDA - JMDC TECH BLOG
JMDC データサイエンティストの齋藤です。 データ分析の第一歩、EDA（探索的データ分析）にどう取り組んでいますか？ 予測のための機械学習の話はよく聞きますが、EDAのための機械学習はあまり目にしないと感じるので、 今回は実務における「XGBoost+SHAPによるEDA」の実践例を取り上げてみたいと思います。 題材は２０２１年７月にリリースした「新型コロナウイルス感染時の重症化リスクファクターに関する分析結果」です。 https://www.jmdc.co.jp/wp-content/uploads/2021/07/news20210709_2.pdf このブログの内容はテクニカル中心ですが、分析結果自体も面白いのでレポートもご覧いただけると嬉しいです。 XGBoost+SHAPでEDAする理由 分析デザインの概要 Feature Importance SHAP XGBoost+SHA
SHAPで因果関係を説明できる？ - Qiita
はじめに 予測モデル（機械学習モデル）を解釈するのに有用なSHAPを用いて因果関係を説明することができるか、についてPythonによるシミュレーションを交えてまとめました。内容に誤り等ございましたら、ご指摘いただけますと幸いです。 結論 基本的に、SHAPで因果関係は説明できません。これは、SHAPが予測モデルの因果ではなく相関を明らかにするものであるからです。 そこで今回は、予測モデルをSHAPで解釈する上でありがちなミスリーディングや、それに関連する因果効果を推定するためのアプローチについて記載しています。 そもそもSHAPとは SHAPとはSHapley Additive exPlanationsの略で、協力ゲーム理論のShapley Valueを機械学習に応用した手法です。「その予測モデルがなぜ、その予測値を算出しているか」を解釈するためのツールとしてオープンソースのライブラリが開
協力ゲーム理論のシャープレイ値に基づき機械学習モデルの予測を解釈するKernel SHAPの理論と実装のまとめ - Fire Engine
機械学習の幅広い分野への応用が進むにつれ，機械学習がその予測の根拠などを理解できない「ブラックボックス」となることが問題視されており，機械学習の解釈性や説明性が注目されています．今回のテーマであるSHAP（SHapley Additive exPlanations）は，機械学習モデルへの特定の入力に対する予測の根拠を提示する代表的な手法の一つです．SHAPには用途に応じていくつかのアルゴリズムがありますが，その中でも今回はあらゆる機械学習モデルに適用可能（Model-Agnostic）なKernel SHAPという手法についてまとめました． 構成としては，まずKernel SHAPとは何かについての概要を述べた後に， Kernel SHAPを理解する上で必要な要素である「シャープレイ値」と「SHAP」について説明します．さいごに，Kernel SHAPについて「理論」と「実装」に分けて書い
機械学習を活用すれば、膨大なデータをもとにして、さまざまな事柄について予測値を導き出すことができます。しかし、実際にその予測値を役立てるためには、なぜそうした予測結果になったのかを理解することが重要です。予測値を解釈するための手法として、協力ゲーム理論を応用したSHAP（SHapley Additive exPlanations）という手法があります。TVISION INSIGHTS株式会社でデータサイエンティストマネージャーを務める森下光之助氏が、SHAPの基本的な考え方と、そのベースとなる協力ゲーム理論について解説します。 SHAP（SHapley Additive exPlanations）で予測結果の貢献度を分解する 森下光之助 氏（以下、森下）：まずは簡単に自己紹介をさせてください。僕はTVISION INSIGHTS株式会社でデータサイエンティストのマネージャーをやっていて、僕
機械学習とタスクについて 回帰や分類などのタスクに機械学習モデルを活用することがあります。 例えば、以下の記事ではフクロウの種類を分類するために深層学習モデルを活用しています。 PyTorch Lightning入門から実践まで -自前データセットで学習し画像分類モデルを生成-ディープラーニングフレームワークPytorchの軽量ラッパー”pytorch-lightning”の入門から実践までのチュートリアル記事を書きました。自前データセットを学習して画像分類モデルを生成し、そのモデルを使って推論するところまでソースコード付で解説しています。...
チャットAIのChatGPTや音声認識AIのWhisperを開発するOpenAIが2023年5月に3Dモデル作成AI「Shap-E」を発表しました。Shap-Eはオープンソースで開発されており、誰でも利用可能とのことなので実際にGoogle Colaboratory上で使ってみました。 shap-e/sample_text_to_3d.ipynb at main · openai/shap-e · GitHub https://github.com/openai/shap-e/blob/main/shap_e/examples/sample_text_to_3d.ipynb Shap-Eでどんなことができるのかについては下記の記事が詳しいです。 テキストや画像から3Dモデルを生成するオープンソースのAI「Shap-E」をOpenAIが発表 - GIGAZINE まずはGoogleドライブに
プラットフォームの概要 AI Platform 生成 AIおよび予測 AIのプラットフォーム もっと詳しく ドキュメント 新機能 ログイン 無料で始める 運用 自信を持ってAIを拡張し、比類のないエンタープライズ・モニタリングとコントロールでビジネス価値を促進 デプロイと実行 再学習と最適化 監視と介入 ガバナンス AIの環境、チーム、およびワークフローを統合し、大規模な範囲での完全な可視性と監視を実現 レジストリと管理 監査と承認 コンプライアンスドキュメント生成 構築 ニーズの進化に合わせて自由に適応できるオープンなAIエコシステムで、迅速なイノベーションを実現 分析と変換 学習とチューニング 組立てと比較 プラットフォーム統合 インフラストラクチャーへのデプロイ ソリューション 業界ごと ヘルスケア 製造 小売業 金融サービス 成果ごと ユースケースのライブラリー お客様事例 Dat
SHAPやLIMEなどの説明AI（XAI）のご紹介 / SHAP LIME PDP Grad-CAM
************************************************************* # 要約 ************************************************************* ・SHAP のアルゴリズムを説明 ・SHAPに近い手法「LIME」との比較及び考察も記載 ・SHAP 以外の手法で算出した Feature Importance との比較及び考察も記載 ・オープンソースのデータ及びコードを使ってハンズオン ┗テーブルデータ and 画像データに適用 ・SHAP 以外の画像説明モデル Grad-CAM, Guided Grad-CAM の紹介
使い方pip install -e . でインストール 上記のようなモデルを生成するには、次のノートブックを参照してください。: sample_text_to_3d.ipynb - テキスト プロンプトで条件付けされた 3D モデルのサンプル sample_image_to_3d.ipynb - 合成ビュー画像で調整された 3D モデルをサンプリングします encode_model.ipynb - 3D モデルまたはトリメッシュをロードし、マルチビュー レンダリングとポイント クラウドのバッチを作成し、それらを潜在的にエンコードして、レンダリングし直します。これを機能させるには、Blender バージョン 3.3.1 以降をインストールし、環境変数BLENDER_PATHを Blender 実行可能ファイルのパスに設定します。 テキストから3Dモデルを生成するimport torch fr
SHAP(SHapley Additive exPlanations)で機械学習モデルを解釈する - Dropout
はじめに この記事で書いていること、書いていないこと アルバイトゲームとShapley Value 機械学習モデルへの応用 参考文献 はじめに ブラックボックスモデルを解釈する手法として、協力ゲーム理論のShapley Valueを応用したSHAP(SHapley Additive exPlanations)が非常に注目されています。SHAPは各インスタンスの予測値の解釈に使えるだけでなく、Partial Dependence Plotのように予測値と変数の関係をみることができ、さらに変数重要度としても解釈が可能であるなど、ミクロ的な解釈からマクロ的な解釈までを一貫して行える点で非常に優れた解釈手法です。 SHAPの論文の作者によって使いやすいPythonパッケージが開発されていることもあり、実際にパッケージを使った実用例はたくさん見かけるので、本記事では協力ゲーム理論の具体例、Shapl
この記事は GMOアドマーケティングAdvent Calendar 2022 20日目の記事です。 みなさんこんにちは、GMOアドマーケティングのM.Hです。 今回はXAIの一つである「SHAP」というライブラリについて、自然言語処理向けの機械学習モデルの観点から書いていこうと思います。 はじめに 昨今ではもはや聞き馴染みとなった「機械学習」や「AI」ですが、そのモデルはコンピューティングシステムの計算能力の向上と共に加速度的な速さで複雑化してきています。もちろんそのようなモデルを使ってビジネスに貢献ができれば嬉しいのですが、モデルの中身に関してはブラックボックス化されていることがほとんどで、「何が要因となってこの結果がもたらされたのか？」という部分はなおざりになりがちです。 機械学習のビジネス利用が当たり前に行われるようになった今日では、こういった原因や要因に関して人間がわかる形で示そう
GitHub - openai/shap-e: Generate 3D objects conditioned on text or images
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
機械学習の予測を解釈するKernel SHAPの高速性と拡張性の向上を目指したライブラリを開発した - Fire Engine
先日，協力ゲーム理論のシャープレイ値に基づき機械学習モデルの予測を解釈するKernel SHAPという手法の理論と既存のライブラリの実装についてのブログを書いた． blog.tsurubee.tech 既存のSHAPライブラリであるslundberg/shap（以下，単にSHAPライブラリと呼ぶ）は，SHAPの提案論文*1のファーストオーサーにより開発されており，多くのSHAPのアルゴリズムの実装や可視化の機能が非常に充実している素晴らしいライブラリである． しかし，私が自身の研究の中でSHAPライブラリの中のKernel SHAPを使っている際に，計算速度と拡張のしやすさの観点で改善したいポイントがいくつか出てきた．今回は，まだ絶賛開発中であるが，Kernel SHAPの高速性と拡張性の向上を目指したShapPackというライブラリのプロトタイプが完成したので，それについて紹介する． 目
text-to-3D & image-to-3D
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
「ここ2年ほど、主要な国際AI学会では新しい『説明可能なAI』の手法の提案よりも、どの説明可能AIが実社会で使えるか、生成する説明に信頼性があるか、などを検証する研究が増えてきた」。説明可能AIの研究動向に詳しい大阪大学 産業科学研究所の原聡助教はこう語る。 説明可能AIへのニーズや実用化への機運が産業界で高まりつつある一方、大学など学術界においては技術の限界や過信へのリスクに警鐘を鳴らす研究が目立ってきた。説明可能AIの実用化に向けた、産業界と学術界双方の動きを追った。 説明可能AIの代表選手「LIME」と「SHAP」 説明可能AIの手法はいくつかあるが、特に産業界において代表的な手法と目されているのが「LIME（local interpretable model-agnostic explanations）」と、その発展形である「SHAP（SHapley Additive exPlan
Python: SHAP (SHapley Additive exPlanations) を LightGBM と使ってみる - CUBE SUGAR CONTAINER
SHAP は協力ゲーム理論にもとづいて機械学習モデルを解釈する手法と、その実装を指している。 今回は、あまり理論の部分には踏み込むことなく、使い方を中心として書いていく。 使った環境は次のとおり。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.15.6 BuildVersion: 19G73 $ python -V Python 3.8.5 下準備 はじめに、利用するパッケージをインストールしておく。 $ pip install shap lightgbm scikit-learn matplotlib jupyterlab また、SHAP は Jupyter 経由で使った方がインタラクティブな表示ができる。 そのため、今回は Jupyter Lab 上で操作することを想定する。 $ jupyter-lab Jupyter Lab を
SHAPで因果関係を説明できる？
2023年6月19日に社内で発表したLT資料です． SHAPでありがちなミスリーディングや，特徴量が予測に与える影響（因果効果）を推定できるケースについて紹介しました． 資料内で出てくるリンクは以下です（参照日: 2023年6月13日） https://arxiv.org/abs/2011.01625 https://christophm.github.io/interpretable-ml-book/shapley.html https://christophm.github.io/interpretable-ml-book/shap.html https://econml.azurewebsites.net/ https://qiita.com/s1ok69oo/items/0bf92b84e565789a2191 https://shap.readthedocs.io/en/late
SHAPを用いた木構造モデルの解釈機械学習モデルの解釈性については、しばしば問題になります。 「モデルの精度が高いが、なぜモデルが、その予測を行ったのかを説明できず、実用に至れなかった…。」 といった事を、多くの方が経験しているのではないでしょうか？ 今回は、複雑なモデルの解釈を行うための手法「SHAP（SHapley Additive exPlanations）」を紹介します。 そして、実際に「木構造モデル」に適用したいと思います。 この記事で紹介すること複雑なモデルにおいて、各特徴量の寄与の解釈を行うモデル「SHAP」を解説。「SHAP」を、実際に「木構造モデル」に適用してみた結果を、特徴量重要度の指標と比較する。モデルの解釈性についてまず、機械学習モデルの解釈性について説明します。 一般的に、「モデルの複雑性」と「解釈性」は、トレードオフの関係にあります。 例えば、 「重回帰モデル」
1.はじめに SIGNATEで「日本取引所グループ ファンダメンタルズ分析チャレンジ」というコンペが開催されています。私も参加していますが、その中で出てくる知識に関して基礎部分をまとめよう！という動機で書いた記事の第2弾です。 コンペのチュートリアルでは、「XGBoost」での予測結果に関しての根拠説明として本記事で紹介する「SHAP」を使用していますが、本記事では現在一番メジャーなLightGBMを使用してこのSHAPを紹介していきます。 動作環境 OS : Windows10 pro Python : 3.8.3 // Miniconda 4.9.1 LightGBM: 3.1.1 SHAP : 0.38.1 jupyter notebook 2.LightGBMでとりあえず学習して、特徴量重要度を図示する 今回は、回帰分析を例として行うことにする。 サンプルデータはscikit-le
SHAP値で解釈する前にPermutation ImportanceとPDPを知る – MIIDAS Science Blog
https://www.kaggle.com/learn/machine-learning-explainability 今回はこれをやっていきます。先に一言で言うと機械学習のfitを説明しよう、と言うことです。言い換えるとモデルがデータをどう扱ったか解釈しよう、と言うことです。なんとなくまとめを先に行っておくと次の通りです。 ブラックボックス 機械学習も僕の知っている２年前に比べて色々と賑やかになってきました。決定木だとLightGBMやXGBOOSTありますし、ニューラルネットだとStacked LSTMやGANとかですねえ。そんな優秀なアルゴリズム達をどうやって理解すればいいんだろう？と言うのがブラックボックス問題です。例えば「ニューラルネットで学習させたけどこの重みの意味って、、、？」とか「この入力と出力の間の関係は、、？」とか「この変数って予測にプラスに働いたのか、、、？」などで
機械学習モデルを学習させた時に、実際にモデルはどの特徴量を見て予測をしているのかが知りたい時があります。今回はモデルによる予測結果の解釈性を向上させる方法の１つであるSHAPを解説します。 目次1. XAIとは 2. SHAPとは 3. 実験・コード 1：回帰モデル（Diabetes dataset） ＿＿3.1 データ読み込み ＿＿3.2 モデル作成 ＿＿3.3 SHAP値 ＿＿3.4 SHAP可視化 4. 実験・コード 2：画像データ（Imagenet） ＿＿4.1 データ読み込み ＿＿4.2 モデル作成 ＿＿4.3 SHAP可視化 1. XAI (Explainable AI)とはXAI はExplainable AI（説明可能なAI）の英略称です。言葉通り、予測結果や推定結果に至るプロセスが人間によって説明可能になっている機械学習のモデルに関する技術や研究分野のことを指します。 A
機械学習モデルは、統計モデルよりも予測に長けた手法であり、皆様もご存知の通り様々な場面で用いられています。一方で、結果の解釈の面ではブラックボックスになりやすいため、モデルの作成時のみならず、機械学習に覚えのない方々とコミュニュケーションをする上でも重要な課題です。 そんな、機械学習モデルと対話するためのツールがSAHP値(SHapley Additive exPlanation Values)です。SHAPを使うと、機械学習モデルが特徴量をどのように使って予測をしたのか、特徴量は予測結果にどれぐらい影響を与えているのか、などをデータ全体(Global)、さらに個別のサンプルごと(Individual)に確認することができます。今回はSHAPを使って、学習した機械学習モデルと対話してみましょう。 今回は主に以下を参考にしました。 github.com shap.readthedocs.io
SHAPで因果関係を説明できる？ - Qiita
はじめに 予測モデル（機械学習モデル）を解釈するのに有用なSHAPを用いて因果関係を説明することができるか、についてPythonによるシミュレーションを交えてまとめました。内容に誤り等ございましたら、ご指摘いただけますと幸いです。 結論 基本的に、SHAPで因果関係は説明できません。これは、SHAPが予測モデルの因果ではなく相関を明らかにするものであるからです。 そこで今回は、予測モデルをSHAPで解釈する上でありがちなミスリーディングや、それに関連する因果効果を推定するためのアプローチについて記載しています。 そもそもSHAPとは SHAPとはSHapley Additive exPlanationsの略で、協力ゲーム理論のShapley Valueを機械学習に応用した手法です。「その予測モデルがなぜ、その予測値を算出しているか」を解釈するためのツールとしてオープンソースのライブラリが開
機械学習の可視化アルゴリズムSHAPを理解するために論文を読み進めていたところ、ゲーム理論を多少理解する必要がありそうだったので、ざっくりまとめました。 (理解が間違っている点があったら指摘いただければ幸いです) なぜゲーム理論を調べることになったのか？ 機械学習モデルの可視化アルゴリズムであるSHAPは勾配ブースティング等で作ったモデルでも可視化できる便利なアルゴリズムです。 ただ表示される値がSHAP valueなのでその値自体を理解できていないと実際に使えないと思い論文を調べました。 SHAPによる局所的な可視化結果(https://github.com/slundberg/shapより) SHAPによる各変数のモデルへの寄与の可視化結果(https://github.com/slundberg/shapより) 実際にSHAPに関する論文を読んでいる中でSHAP valueはゲーム理
SHAP を用いた機械学習への解釈性付与
（noteの「クリエイターを応援する」で応援していただけると嬉しいです。よろしくお願いします） SHAP（SHapley Additive exPlanations）とは背景昨今では機械学習モデルに解釈性や説明性が強く求められるようになっており「説明可能なAI（Explainable AI｜XAI）」が着目されるようになっている。 SHAPは、予測モデルに対してそのような解釈性を付与するために作られたライブラリ。 SHAPとは協力ゲーム理論のシャープレイ値（Shapley Value）を機械学習に応用したオープンソースのライブラリ。 SHAPを使うことで、ある機械学習モデルが導き出した予測値に対して、それぞれの特徴量の影響をどれだけ受けたか（寄与の度合い）を求めることができる。 特に、変数重要度をデータ個別に出せる点が、SHAPの魅力的な点と言える。 アウトプット例として、例えば以下の図。
機械学習のモデル解釈手法を学びました。ほとんどは、書籍「機械学習を解釈する技術」から学んでいます(良書！)。ここに書いているのは、個人的視点でつまみ食いしている感じなので、興味を持ったら購入おすすめです。 一部、scikit-learnからも学んでいます。 内容 全般 解釈手法一覧 下表が解釈手法の一覧です。 解釈手法 解釈手法(正式名) 内容 視点
背景・目的 ブラックボックス化しがちな機械学習モデルを解釈し、なぜその予測値が出ているのかの説明に役立つSHAP値について、理解を深めるべく論文や公式資料を漁りました。自分用の備忘録としてこちらに内容をまとめておきます。 SHAPとは何か? 正式名称はSHapley Additive exPlanationsで、機械学習モデルの解釈手法の1つ なお、「SHAP」は解釈手法自体を指す場合と、手法によって計算された値(SHAP値と呼ぶこともある)を指す場合がある NIPS2017 1にて発表された 論文はA Unified Approach to Interpreting Model Predictions それまでに存在した解釈手法(Additive Feature Attribution Methods。 LIMEの基本アイデア)に協力ゲーム理論のShapley Valueを導入して改良し
有名な機械学習モデル解釈ツールであるLIMEとSHAPを試します。 はじめに 最近、機械学習モデルの解釈可能性についての非常に良い書籍を読みました。 ※下記リンク先で全文公開されていますのでぜひ読んでみてください。 とくに気に入ったのが、"2.1 Importance of Interpretability（解釈可能性の重要性）"において、機械学習に解釈性が求められるのは「AIの社会的責任が高まっているから」とか言わずに、「予測できない事象に対する人間の知的好奇心は抑えられるものではないから」と述べている点です。 christophm.github.io 医療のようなリスクの大きい分野ではAIに解釈可能性を求めるのは当然の流れです。しかし、たとえ低リスクな分野における機械学習の導入であっても、クライアントの現場担当者は説明可能性を求めるものです。なぜならば知的好奇心は人間の本質的欲求であり
易水番 on Twitter: "#アズールレーン 今日に中国で有名なエロゲーム「アズールレーン」はダウンロードルートを一時閉鎖させられました。原因は中国極端女性権主義が関係部門に告発したからです。具体的な再開時間はまだ公表されていません。 https://t.co/Zx7ShAP9up"
#アズールレーン 今日に中国で有名なエロゲーム「アズールレーン」はダウンロードルートを一時閉鎖させられました。原因は中国極端女性権主義が関係部門に告発したからです。具体的な再開時間はまだ公表されていません。 https://t.co/Zx7ShAP9up
Hugging FaceのDatasetsとTransformersで作ったテキスト分類モデルをSHAPで可視化してみました。 - CCCMKホールディングス TECH Labの Tech Blog
こんにちは、CCCMKホールディングス技術開発の三浦です。2月も終わり、明日から3月になります。つい先日、お正月を過ごしていた気がするのですが、あっという間にそれから2か月も経ってしまいました。時間が早く過ぎていくことは決して悪いことではないと思いますが、もう少しゆっくりでもいいのになぁとも感じます。色々夢中になっているとあっという間に時間が過ぎてしまうので、時々手を止めてぼんやりする時間をもっと作ってみようかな、と考えています。 最近、説明可能なAI(Explainable AI;XAI)について調べており、その中でSHAPというXAIのフレームワークを知り、前回画像分類モデルに適用してみた話をご紹介しました。 techblog.cccmk.co.jp 今回は自然言語モデルにSHAPを適用してみたいと思い、その方法について調べてみました。モデルはHugging FaceのTransfor
概要 予測に影響した特徴量の重要度を可視化できるライブラリとしてSHAPが存在感を増しています。SHAPは SHapley Additive exPlanations を指しており、 Wikipediaによると、SHapley は人の名前から来ていて、ゲーム理論で用いられる「協力により得られた報酬をどのようにプレイヤーに配分するか」という問題に対する考え方ということです。 SHAP は機械学習の手法を問わず使うことができ 非常に便利であるという噂を耳にしたため、本記事では SHAP の全メソッドを試して効果を検証してみました。 なお、 SHAP のバージョンは0.30.2を使っています。 インストール方法と簡単な使い方説明他のライブラリ同様、pipの処理で可能です。 自分はimport時に「ModuleNotFoundError: No module named ‘tqdm.auto’」の
【機械学習】協力ゲーム理論でXAI (説明可能なAI) を目指すSHAP (Shapley Additive exPlanation)
ブラックボックスな機械学習のモデルを解釈可能にするための手法であるSHAPについて解説しました。 この動画では、SHAPではShapley Valueという協力ゲーム理論の手法についても詳しく解説しています。 Lundberg, Scott M., and Su-In Lee. "A unified approach to interpreting model predictions." Proceedings of the 31st international conference on neural information processing systems. 2017.
説明可能AIへのニーズや実用化への機運が産業界で高まりつつある一方、大学など学術界では技術の限界や過信へのリスクに警鐘を鳴らす研究が目立ってきた。説明可能AIの実用化に向けた、産業界と学術界双方の動きを追った。
出典：日経クロステック、2020年12月23日 （記事は執筆時の情報に基づいており、現在では異なる場合があります） 近年におけるAI（人工知能）の発展は著しい。しかしその一方で、企業における実際の業務にAIを活用する取り組みは、あまり進んでいないのが実情だ。AIの活用を阻んでいる「壁」と、それを乗り越える方法を解説する本連載。第1回はAIの判定根拠に対する利用者の不安を解消できると期待される「説明可能AI（XAI）」を取り上げる。 ディープラーニング（深層学習）などAIの進展によって、あらゆる分野でAIを適用する試みが広がっている。特に経済や健康にかかわる重要なビジネスシーンにおいても、AIによる高度な判断を導入しようという期待が高まっている。ところが、高精度なAIモデルは内部構造が複雑であり、AIの判断がどのような基準に従っているのか理解するのは非常に困難だ。これがAIを活用する上での大
GitHub - kedzkiest/shap-e-local: The procedure and the code to run shap-e sample code locally.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Colab で実行する際、ライブラリのインストール後、ランタイムから 再起動をしてすべて実行 を選択しないといけない点も留意ください。 そうしないとデータセットの作成 のところでエラーで止まります。 参考にしたコードは下記の kaggle のもので使ってるデータセットは英語 (20_newsgroup) でしたが、日本語のコーパスであるライブドアニュースを使えるようにしました。 Word2Vec で日本語の学習済みモデルをダウンロードし、それを Embedding Matrix に変換して Keras で使用しています。 コードの詳細は本文中では割愛しますので、詳細は下記の Colab をご覧下さい。 Deep Explainer Kernel Explainer (再現可能性について色々試したのですが、両者で学習結果や予測精度にずれがあるのが気がかりですが...) DeepExplain
電通デジタルでデータサイエンティストをしている福田です。 これはDentsu Digital Advent Calendar 2021の10日目の記事です。 本記事ではXAIの手法の1つであるSHAPについて解説したいと思います。 XAIとはXAIとはexplainable AIの略で、説明可能なAIまたはAIの予測結果を説明する技術のことを指します。モデルの解釈性と精度は基本的にはトレードオフの関係にあり、重回帰や決定木のようなわかりやすいモデルがある一方で、精度を求めようとするとXGBoost、LightGBMのような複雑なモデルに頼ることが多いと思います。XAIは後者のような精度は高いが解釈性が低いモデルをターゲットとしています。 SHAPSHAP(SHapley Additive exPlanation)とは局所的なモデルの説明(1行のデータに対する説明)に該当します。予測値に対し
製造業出身のデータサイエンティストがお送りする記事 今回はSHAPを用いて機械学習（回帰モデル）の予測結果を解釈してみました。 はじめに 前回、機械学習の予測モデルをscikit-learnを活用して実装してみました。また、構築したモデルは評価指標を用いてモデルを評価します。 しかし、評価指標だけでモデルの良し悪しを判断するのは危険であり、構築したモデルが実態と乖離している場合があります。つまり、汎化能力が低いモデルである可能性があるということです。 汎化能力を高める方法は多々ありますが、製造現場では構築したモデルの解釈性を求められることが多いです。実際は、回帰モデル系であれば各説明変数の回帰係数の正負や標準偏回帰係数で変数間の影響度を見て固有技術と合致しているかを見極めたりします。また、決定木系のモデルであれば変数重要度を見て判断をします。 しかし、決定木系のモデル（RandomFore
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テキストや画像から3Dモデルを生成するオープンソースのAI「Shap-E」をOpenAIが発表
機械学習モデルの予測値を解釈する「SHAP」と協力ゲーム理論の考え方
機械学習モデルの説明性・解釈性について -SHAPによる実践あり-｜はやぶさの技術ノート
テキスト・画像から3Dモデルを作成するAI「Shap-E」をGoogle Colaboratoryで使ってみた
SHAPを用いて機械学習モデルを説明する l DataRobot
テキスト/画像から3Dモデルを生成する【Shap-E】 - Qiita
SHAPで自然言語処理モデルネガポジ判定の中身を覗いてみる
Shap-E - a Hugging Face Space by hysts
OpenAIが3Dモデル自動生成AI「Shap-E」を発表 | Ledge.ai
見えてきた説明可能AIの「限界」、代表格LIMEとSHAPの最新動向を知る
【機械学習】SHAPを用いた木構造モデルの解釈 – 株式会社ライトコード
LightGBMの出力結果を解析したい！(SHAPのススメ) - Qiita
機械学習モデルを解釈するSHAP – S-Analysis
SHAPを使って機械学習モデルと対話する - 医療職からデータサイエンティストへ
可視化アルゴリズムSHAPを理解するために、ゲーム理論を調べてまとめました。 - データ分析関連のまとめ
機械学習モデル解釈手法概要(PFI, PD, ICE, SHAP) - Qiita
SHAP(SHapley Additive exPlanation)についての備忘録 - Qiita
機械学習モデルの局所的な解釈（LIMEとSHAP） - どこから見てもメンダコ
SHAPの全メソッドを試してみた | 自調自考の旅
見えてきた説明可能AIの「限界」、代表格LIMEとSHAPの最新動向を知る
AIの判定根拠を示す「説明可能AI」、LIMEとSHAPの仕組みとは
日本語のデータセットを使った自然言語処理でshapを試してみた
AIを理解する技術ーSHAPの原理と実装ー｜Dentsu Digital Tech Blog
SHAPを用いて機械学習（回帰モデル）の予測結果を解釈してみた - Qiita