はじめに こんにちは、@sasshi_iです。 本日はXAIの手法の1つであるLIME(Local Interpretable Model-agnostic Explanations)について説明したいと思います。 LIMEは局所説明の手法です。 LIMEはある入力に対して機械学習モデルの出力に寄与した特徴量を算出します。 局所説明って何？という方はこちらの記事をご覧ください。 それでは、LIMEがどのように機械学習モデルを説明するのかを説明していきます。 LIMEとは？ LIMEは、複雑な機械学習モデルを説明するための解釈可能な機械学習モデルを作ります。 LIMEがどのように機械学習モデルを説明しているかみていきましょう。 どのようにして解釈可能な機械学習モデルを得るのか LIMEは、複雑な識別境界や内部ロジックを持つ機械学習モデルであっても、説明対象の近傍に限れば、単純な(解釈可能な)

はじめに 閲覧ありがとうございます。今回は決定木ベースの機械学習手法で用いることのできる、結果を解釈する指標となるSHAPと呼ばれる値の算出方法とその結果の解釈方法を共有できればと考えています。 最後までお付き合い頂けますと嬉しいです！ 決定木ベースの機械学習手法 まずはそもそも「決定木ベースの機械学習」とは何か？について説明します。 決定木は以下の図で示すような手法です。 訓練データをある特徴量の値の大小で分割し、ラベリングを行う方法です。この分割は分割後のデータ集合に含まれるラベルのばらつきが最も小さくなるように行われます。 例えば、「家の価格」を予測するとき、土地の広さが50m^2以上or未満であったり、その地域の人口が1000人以上or未満であったりといった観点でデータを分割していきます。 この決定木から派生した「決定木ベース」の機械学習が存在します。大きく「バギング」、「ブーステ

近年、機械学習の技術はビジネスのあらゆる分野で急速に進化し、企業の意思決定プロセスに革命をもたらしています。 しかし、複雑化するモデルの背後にある「なぜ」という問いに答えることは、ますます困難になってきています。 今回は、解釈可能な機械学習モデルと事後的解釈手法の両方に焦点を当て、実際のビジネスシーンでの応用事例を通じて、これらの手法がどのように企業の意思決定を支援し、ビジネス価値を高めることができるかを説明します。 医療、金融、小売といった多様な業界における事例を紹介し、機械学習モデルの透明性と効果性を最大化するための戦略の重要性を感じで頂ければと思います。 機械学習モデルの解釈性の重要性 機械学習モデルの出力を理解することの価値 機械学習モデルは、データから複雑なパターンを学習し、予測や決定を行います。 しかし、モデルがどのようにこれらの結果に至ったかを理解することは、単に技術的な挑戦

はじめにこのブログは、「現場で使える機械学習活用」をテーマにした4部作のうち4作目です。これらの4部作では「いかにして機械学習を使って現実世界の問題を解決するか」を軸に、陥りやすいポイントやコツを解説していきます。 第4回目は説明性があるAI ( Explanable AI : XAI) とその活用を見ていきます。 機械学習プロジェクトの流れと留意すべきこと 仮想プロジェクトを題材にしたプロジェクトのコツ解説 プロジェクトで頻出する問題の対応 説明性があるAI (XAI) とその活用 ←イマココ なぜ説明性が求められるのか？まず、なぜAIに説明性が求められるのかを考えてみましょう。「機械学習(特に深層学習)はブラックボックスだから…」「中身がよくわからない…」ということをよく耳にします。つまり「中身が分からないものを分からないまま使いたくない」という動機があり、それを少しでも緩和しようとい

オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models

ブラックボックスな機械学習モデルを理解するのに必要な、レポート出力をSageMaker Clarifyを使ってやってみました。 皆さんこんにちは。 クルトンです！ 今回は、以前やった解約率を予測するモデルの特徴量を確認するため、SageMaker Clarify(以降、Clarifyと呼称)でレポート出力をやってみました。レポート出力に際して、PDPのみのものと、PDPとSHAPを含めたものを出力しております。 XGBoostモデルの学習までのコードやその解説は、次のブログでご確認ください。 注意点 以降のコードは、SageMaker Studioで実行しています。また、上記ブログのXGBoostモデルを学習したコードまで実行済みとします。そのため、モデル学習までに使った変数を使用しています。 2023/05/30追記 本ブログで出力したレポートの見方についてブログ化しました。よければご覧

We use GPT-4 to automatically write explanations for the behavior of neurons in large language models and to score those explanations. We release a dataset of these (imperfect) explanations and scores for every neuron in GPT-2. Language models have become more capable and more broadly deployed, but our understanding of how they work internally is still very limited. For example, it might be diffic

10万件以上の物件データを学習したのにクソ失礼にも家賃69万の物件に対して28万だと査定した機械学習モデルは何を考えているのか。Python機械学習lightgbmSHAP こちらの記事をご覧いただきありがとうございます。 ちゃんと内容が伝わるようなタイトルを考えたらラノベみたいになってしまい、かえってわかりにくい気がしてきました。 以前からいくらかSUUMO物件について機械学習を用いたデータ分析を行っています。 今回は、10万件以上の物件データを与えてなかなか高精度な家賃予測が可能となった機械学習モデルが、クソ失礼にも家賃が安いと査定した高額物件がいくらかあったので、何を考えてクソ失礼な査定となったのかを調べます。 もしかしたらボッタくりかもわかりませんからね。楽しみですね。 モデルの学習について 基本的には前回記事と同じです。 使用した機械学習モデル 以前から引き続き LightGBM

はじめに AIは、ほぼすべての産業とアプリケーション領域でエンジニアリングを変革しています。それに伴い、高精度なAIモデルが求められるようになりました。実際、AIモデルは従来の手法を置き換え、より精度の高いものになることが多いのですが、その代償として、この複雑なAIモデルがどのように判断しているのか、その結果が期待通りに機能していることをどう検証すればいいのかを問われることがあります。 説明可能なAIとは、モデルの決定を理解し、バイアスや敵対的な攻撃に対する感受性といったブラックボックスモデルの問題を明らかにするのに役立つ一連のツールやテクニックを指します。説明可能なAIは、機械学習モデルがどのように予測に至るかを理解するのに役立ちます。どの機能がモデルの決定を促すかを理解するのは簡単なことですが、複雑なモデルを説明するのは困難な場合があります。 AIモデルの進化 なぜ説明可能なAIが求め

“人知を超えたAI”はビジネスに不適切　「説明可能なAI」が求められるワケ　機械学習の“グランドマスター”(Kaggle Grandmaster)が解説 一昔前まで、AIはフィクションの中の話だった。「2001年宇宙の旅」に登場したAI「HAL 9000」のように、人間の理解が遠く及ばない判断を実行する“人知を超えた存在”として描かれることが多かった。 しかし現在、AIは私たちの生活に浸透している。あらゆる分野でAIのビジネス活用が進む一方で、さまざまな課題も見えてきた。その一つがAIのブラックボックス化だ。AIで満足のいく結果を出力できても、「なぜその結果になったのか」「根拠はどこにあるのか」が分からない点を懸念する声がある。万が一トラブルが起きたとき、その理由を説明できないのはビジネス上のリスクだ。 「AIの創造は人類史上で最大の出来事ですが、リスク回避の方法を学ばなければ、残念ながら

マサチューセッツ工科大学（MIT）は2022年6月1日（米国時間）、機械学習の予測を信頼するかどうか、ユーザーが判断するために用いる「説明モデル」に問題があると発表した。 機械学習の対象データとなる人々のうち、社会的に不利な立場にある人々で構成されるサブグループについては、精度が低くなる可能性があるという。 機械学習モデルは、意思決定支援に利用されることがある。例えば、「どのロースクール志願者が、司法試験に合格する可能性が高いか」をモデルが予測し、ロースクールの入試担当者がその予測結果を、（ロースクールの合格実績を高めるために）どの学生を合格させるかといった判断に役立てる場合がある。 機械学習モデルが複雑すぎて理解できない こうした機械学習モデルは多くの場合、数百万ものパラメーターを持つ。このため、モデルがどのように予測するかについては、機械学習の利用経験がない入試担当者はもとより、研究者

コンピュータシミュレーションと人工知能の融合により、化学反応の遷移状態※1を特定し反応の成否を決める要因を突き止める方法論を開発 反応物と生成物の中間にある遷移状態は不安定であり、実際にどの分子構造が遷移状態であるかを理解することは困難であったが、「説明可能なAI」※2と呼ばれる人工知能の技術XAIにより情報を引き出すことに成功 今回の研究により化学反応による物質創成へ人工知能を応用する理論的方法を深化させることが期待 大阪大学大学院基礎工学研究科の菊辻 卓真さん（博士後期課程修了）、森 勇介さん（博士前期課程修了）が金 鋼准教授、松林 伸幸教授と共に、分子科学研究所の岡崎 圭一准教授と九州大学の森 俊文准教授と協働し、「説明可能なAI」と呼ばれる人工知能の技術XAIにより、化学反応において活性化した状態の遷移状態にある分子構造を説明できることを世界で初めて明らかにしました。 一般に化学反

４月６日、米マイクロソフト傘下のビジネス向け交流サイト（ＳＮＳ）「リンクトイン」は、ある人工知能（ＡＩ）ソフトウエアを昨年７月に営業チームに導入して以来、登録料収入が８％増えた。写真はイメージ。２０１３年６月撮影（２０２２年　ロイター/Kacper Pempel） ［オークランド（米カリフォルニア州）　６日　ロイター］ - 米マイクロソフト傘下のビジネス向け交流サイト（ＳＮＳ）「リンクトイン」は、ある人工知能（ＡＩ）ソフトウエアを昨年７月に営業チームに導入して以来、登録料収入が８％増えた。 このＡＩは、例えば登録を解約しそうな顧客を予想するだけでなく、その結論に至った理由まで説明してくれる。ＡＩが結論を導き出すプロセスを明らかにすることで、新たなビジネスチャンスを生み出す画期的なソフトだ。 ＡＩ科学者らにとって、ビジネスのあらゆる結果を正確に予測するシステムを設計するのは、わけもないことだ

AIモデル学習の評価時／オペレーション時に発生するバイアスリスク、どう対処する？：エンジニアが知っておくべきAI倫理（3） 正しくAIを作り、活用するために必要な「AI倫理」について、エンジニアが知っておくべき事項を解説する本連載。第3回は、AIモデル学習の評価時、オペレーション時のバイアスリスクへの対処法について。 前回はデータのバイアスリスクへの対処法を、具体例を交えて解説した。今回は、AIモデル学習の評価時、オペレーション時のバイアスリスクへの対処法について解説する。考え方や手法、ツールがAI開発の一助になれば幸いだ。 AIモデルの不透明さ、不可解さをどう解決するか AIモデルにおいて、「精度は高いがなぜその出力がなされているか理解しがたい」といった問題が発生し得る。特にディープラーニングなどのAIモデルにおいて、モデルの入出力関係が解釈しづらく、ブラックボックスとなり、AIが誤った

長期インターン生の木村です。 今回、以前から興味を持っていた画像認識モデルにおける説明可能なAIのクラス活性化マッピング手法を調査してみました。 説明可能なAIとは 近年、深層学習ベースの画像認識モデルは製造業、医療、自動運転など至る場面で社会実装が進められていますが、ディープなラーニングを行っているだけに推論の判断根拠を人間が解釈できない問題があります。医療、自動運転のような命に関わる領域では安全性や公平性を担保できないために安心して導入できません。 このような問題を解決するのが「説明可能なAI(XAI)」です。 「説明可能なAI(XAI)」は、AIの推論結果を人間が解釈可能な形で出力する技術を指します。例えば、犬と猫が映っている画像を画像分類するAIが犬と推論した場合、モデルがどこを判断根拠としているかをヒートマップで可視化します。このヒートマップは、「顕著性マップ」と呼ばれます。 画

CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。