機械学習の予測を解釈するKernel SHAPの高速性と拡張性の向上を目指したライブラリを開発した - Fire Engine
先日，協力ゲーム理論のシャープレイ値に基づき機械学習モデルの予測を解釈するKernel SHAPという手法の理論と既存のライブラリの実装についてのブログを書いた． blog.tsurubee.tech 既存のSHAPライブラリであるslundberg/shap（以下，単にSHAPライブラリと呼ぶ）は，SHAPの提案論文*1のファーストオーサーにより開発されており，多くのSHAPのアルゴリズムの実装や可視化の機能が非常に充実している素晴らしいライブラリである． しかし，私が自身の研究の中でSHAPライブラリの中のKernel SHAPを使っている際に，計算速度と拡張のしやすさの観点で改善したいポイントがいくつか出てきた．今回は，まだ絶賛開発中であるが，Kernel SHAPの高速性と拡張性の向上を目指したShapPackというライブラリのプロトタイプが完成したので，それについて紹介する． 目
協力ゲーム理論のシャープレイ値に基づき機械学習モデルの予測を解釈するKernel SHAPの理論と実装のまとめ - Fire Engine
機械学習の幅広い分野への応用が進むにつれ，機械学習がその予測の根拠などを理解できない「ブラックボックス」となることが問題視されており，機械学習の解釈性や説明性が注目されています．今回のテーマであるSHAP（SHapley Additive exPlanations）は，機械学習モデルへの特定の入力に対する予測の根拠を提示する代表的な手法の一つです．SHAPには用途に応じていくつかのアルゴリズムがありますが，その中でも今回はあらゆる機械学習モデルに適用可能（Model-Agnostic）なKernel SHAPという手法についてまとめました． 構成としては，まずKernel SHAPとは何かについての概要を述べた後に， Kernel SHAPを理解する上で必要な要素である「シャープレイ値」と「SHAP」について説明します．さいごに，Kernel SHAPについて「理論」と「実装」に分けて書い
機械学習モデルの局所的な解釈に着目したシステムにおける異常の原因診断手法の構想 - Fire Engine
著者 鶴田 博文, 坪内 佑樹 所属 さくらインターネット株式会社 さくらインターネット研究所 研究会 第8回WebSystemArchitecture研究会 1. はじめに インターネットを介して利用するシステムの大規模化に伴い，システムの構成要素数の増大や，構成要素間の関係性の複雑化が進んでいる． そのため，システムの性能に異常が発生したときに，システムの状態を示す指標であるメトリックをシステム管理者が網羅的に目視することや，メトリック間の関係性を把握することができず，システムの異常原因を特定することが難しくなっている． この問題を解決するために，深層学習などの機械学習モデルを用いて，システムの異常の原因を診断する手法が提案されている[1,2]． これらの手法は，システム管理者が異常の根本原因を絞り込むために活用することが期待できる． しかし，原因診断を行うためには，事前に機械学習モデ
Kaggle初コンペの振り返り〜Riiidコンペで銀メダル獲得〜 - Fire Engine
Kaggleで開催されていたRiiid! Answer Correctness Predictionに参加しました．結果を簡単にまとめると以下の通りです． 順位：139位（3406チーム中） メダル：銀メダル（上位5%以内） 解法：LightGBMとSAKTのアンサンブル チーム：1人で参加 自身初となるデータ解析コンペでしたが，なんとか銀メダルを獲得することができました．今回はその振り返りを時系列で書いていきたいと思います． 先に感想を述べると，Kaggleは本や論文ではなかなか得られない学びに溢れている上に，世界中の人々と順位を競い合うゲームのような感じでとにかく楽しいので最高すぎました． この記事がこれからKaggleを始める方々の参考になれば嬉しいです． 目次 Kaggleとの出会い コンペ参戦準備 コンペに登録 初Submit 特徴量エンジニアリング モデルの構築 アンサンブル学
k近傍法による異常検知のライブラリをmrubyで作ってみた - Fire Engine
こんにちは！インフラエンジニア見習いつるべーです。 今回は、mrubyという組込ソフトウェア向けの軽量なRuby言語を使って、k近傍法による異常検知を行うスクリプトを書いてみたので、そちらの紹介です！ 目次 なぜ作ったのか 作ったもの ソースコード 使い方 mrubyに入門するには Changefinderとの比較から見るKNNの特徴 今後やりたいこと オマケ：k近傍法(K-Nearest Neighbor :KNN)に基づく異常検知の理論 なぜ作ったのか 今回は、「何かの問題を解決したい」というよりは、「Rubyの勉強がてらに何か作ってみよう」という動機で作りました。 ただ、一般的なRuby（CRuby）ではなくmrubyを選択したのには理由があります。 私が勤めているGMOペパボでは、mrubyを利用してミドルウェアの振る舞いを設定・制御する仕組み（これを"Middleware Con
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
