協力ゲーム理論のシャープレイ値に基づき機械学習モデルの予測を解釈するKernel SHAPの理論と実装のまとめ - Fire Engine
機械学習の幅広い分野への応用が進むにつれ，機械学習がその予測の根拠などを理解できない「ブラックボックス」となることが問題視されており，機械学習の解釈性や説明性が注目されています．今回のテーマであるSHAP（SHapley Additive exPlanations）は，機械学習モデルへの特定の入力に対する予測の根拠を提示する代表的な手法の一つです．SHAPには用途に応じていくつかのアルゴリズムがありますが，その中でも今回はあらゆる機械学習モデルに適用可能（Model-Agnostic）なKernel SHAPという手法についてまとめました． 構成としては，まずKernel SHAPとは何かについての概要を述べた後に， Kernel SHAPを理解する上で必要な要素である「シャープレイ値」と「SHAP」について説明します．さいごに，Kernel SHAPについて「理論」と「実装」に分けて書い
Kaggle初コンペの振り返り〜Riiidコンペで銀メダル獲得〜 - Fire Engine
Kaggleで開催されていたRiiid! Answer Correctness Predictionに参加しました．結果を簡単にまとめると以下の通りです． 順位：139位（3406チーム中） メダル：銀メダル（上位5%以内） 解法：LightGBMとSAKTのアンサンブル チーム：1人で参加 自身初となるデータ解析コンペでしたが，なんとか銀メダルを獲得することができました．今回はその振り返りを時系列で書いていきたいと思います． 先に感想を述べると，Kaggleは本や論文ではなかなか得られない学びに溢れている上に，世界中の人々と順位を競い合うゲームのような感じでとにかく楽しいので最高すぎました． この記事がこれからKaggleを始める方々の参考になれば嬉しいです． 目次 Kaggleとの出会い コンペ参戦準備 コンペに登録 初Submit 特徴量エンジニアリング モデルの構築 アンサンブル学
グラフィカルモデルに基づく因果探索手法の調査 - Fire Engine
最近，因果推論や因果探索に興味を持ち，勉強している．というのも最近，ゆううきさん と一緒に分散システムの異常の原因を即時に診断するための研究を進めている．原因を診断するためのアプローチとして，サーバやコンテナ等から取得できる様々なメトリック（CPU使用率やメモリ使用率など）を（グラフ理論における）ノードとして，因果グラフを構築することを考えている．メトリック同士の単なる「相関」ではなく，結果と原因の関係である「因果」を捉えようとするアプローチである．例えば，システムの障害が発生した場合，相関だけでは，AとBが関連がありそうというところまでしか言えないが，因果を特定できると理想的には，Aの原因はBであるといった議論ができるため，有用だと考えている． 実際に，前述のような因果グラフを構築して障害の原因を特定しようというアプローチは，以下の例に挙げるようにここ数年で増えている印象がある． 「Mi
GMOペパボ株式会社を退職しました - Fire Engine
2019年7月24日が最終出社日でした。ペパボでは、ロリポップやへテムルといったレンタルサーバサービスのインフラエンジニアとして働いており、約1年半在籍していました。 今回は、ペパボでの一年半の振り返りと、転職に至った経緯などについて書いていきたいと思います。 ペパボでの一年半の振り返り 私はペパボカレッジの枠でペパボに採用されました。ペパボカレッジとは第二新卒エンジニア向け研修のことで、中途採用でも現場に配属される前にしっかり研修を受けることができます。私はエンジニア歴も浅いし、そもそもインフラの経験がなかったため、このペパボカレッジの応募はまたとないチャンスだと感じました。実際に研修では約一ヶ月間で広大なインフラの分野の知識を爆速で学んでいきます。具体的な研修内容などは以前のブログに書きました。頑張りたい人を応援してくれる本当にいい仕組みです。 研修が終わって、配属後も周りのエンジニア
Dynamic Time Warping（動的時間伸縮法）で時系列データをクラスタリングする - Fire Engine
最近時系列データのクラスタリングに興味を持ち始めて、いくつか論文読んだり、アルゴリズムについて調べていたら、実装してみたくなったので勉強のために作ってみました。 実装の言語にはGolangを用いていて、クラスタリングのアルゴリズムは、Dynamic Time Warping（以下、DTW）とk-medoids法を組み合わせたものです。 作ったもの 使い方 検証 実装したアルゴリズム Dynamic Time Warping（DTW） k-medoids さいごに 作ったもの github.com tsclusterはtime series clusteringの略です。 今回は作ったのは、特定のアルゴリズムのみですが、今後興味があるアルゴリズムがあれば、ここに実装していきます。 使い方 func main() { var dataset [][]float64 dataset = appe
k-Shapeによる時系列クラスタリングの論文：「k-Shape: Efficient and Accurate Clustering of Time Series」を読んだ - Fire Engine
最近、時系列データのクラスタリングに興味を持っているので、k-Shapeというクラスタリング手法に関する論文を読みました。 なぜ興味を持っているかというと、サーバの各種メトリクス（CPU使用率・メモリ使用率など）を使って、似たような特徴を持っているサーバ群をクラスタリングできないかと考えいるためです。例えば、負荷の高いサーバ群と負荷の低いサーバ群などにグルーピングできると、面白いのではないかと考えています。 元論文はこちらです。 k-Shape: Efficient and Accurate Clustering of Time Series この論文では、提案するk-Shapeのアルゴリズムの説明だけでなく、時系列データをクラスタリングする上での理論的な背景から説明されていて、時系列クラスタリング手法の全体像を把握するのに大変良い論文でした。 概要 Time-Series Invaria
Consulを使う人が知っておくべきACLを使ったセキュリティ対策 - Fire Engine
こんにちは、つるべーです！みなさん、Consul使ってますか？ ConsulはHashiCorpが開発するツールで、サービスディスカバリやヘルスチェックなど様々な機能を有しています。Consulは、ノードやサービスの状態変化を起点として、特定の処理を発火させることができるため、『状態の把握 → 変化の検知 → 動的な制御』のような流れがConsulを使って組むことができ、動的に変化するインフラの運用管理に絶大な力を発揮するツールです。 一方で、その多岐にわたる機能のため、仕組みを完全に把握することが難しく、使い方によっては思わぬ危険性を持ってしまうことがあります。今回は、Consulのセキュリティ対策について、ACLという仕組みを中心に書いていきたいと思います。 目次 セキュリティ対策の概要 Consul HTTP APIに内在する危険性 HTTP APIへのセキュリティ対策 1. HTT
消防士からエンジニアに転職した話 - Fire Engine
私は2016年10月まで消防士の仕事をしていて、2016年11月からITエンジニアに転職しました。学生時代の専攻も情報系とは全く関係なく、プログラミングに初めて触れたのが2016年の1月からで、勉強を始めて約10ヶ月で転職に至りました。今回は、そんな少し変わった経歴を歩んでいる私が、なぜ消防士を辞めてエンジニアに転職したか、ゼロからプログラミングの勉強を始めて転職するまでの道のりなどを書いていきたいと思います。 目次 自己紹介 なぜ転職したのか 消防士という仕事 仕事の位置付け すべての経験をプラスにする 転職活動について ゼロからプログラミングを始めて転職するまでの道のり 勉強したこと モチベーションを保つために 今後について 自己紹介 私は化学の研究者→消防士→ITエンジニアと異色の経歴を歩んでいる20代後半の男です。 学生時代は、大学・大学院で化学を専攻し、博士課程まで進学しました。
消防士からエンジニアに転職して1年が経った - Fire Engine
消防士として働いていた私がゼロからプログラミングを始めて、ITエンジニアに転職してから1年が経ちました。今回は、1年間エンジニアとして働いた今の率直な思いと、1年の振り返りをしていこうと思います。 転職してどうだったか 私はエンジニアという仕事は自分に合っているし、転職して本当によかったと思っています。しかしそれは、すべての人に「ITエンジニアっていいよ！」って勧められるというわけではなく、当たり前のことですが、合う・合わないがあると思います。 私が思うエンジニアの仕事が合う人の特徴は「学ぶことが好きだ」ということに尽きると思っています。正直、エンジニアとして1年間働いて、未経験でもそこそこいけるなっという感覚の方が強かったです。それは、目の前の業務にだけ集中し、業務で必要な技術だけを追えばなんとか仕事はこなせるようになるからです。しかし、そのような場合は大抵、業務で使うフレームワークやラ
異常検知ライブラリを作ってみた - Fire Engine
今回の記事は、前職消防士でゼロからプログラミングを始めた超未熟者の私が、異常検知ライブラリを作った話です。 なぜ作ったか マインド的背景 消防士を辞めてエンジニアに転職してから1年、いろんな技術に触れました。TensorFlow、scikit-learn、Dockerなどなど、必死になって使い方を覚えました。しかしだんだん、「これ、コマンド覚えてるだけで自分に何も技術身についてなくない？」という疑問や焦りが湧いてきて、自分は便利なツールを使いこなせるようになりたいんじゃなくて、いつの日かみんなが使って便利なツールを作る側になりたいんだ、ということに気づきました。そのような思いから今回初めてライブラリを作り、公開してみました。 データサイエンス的背景 世の中は時系列データで溢れています。ビジネスの場において、データの何かしらの変化の兆候を捉えて、いち早く意思決定をしたいという場面がよくありま
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
