LIMEで機械学習の予測結果を解釈してみる - Qiita
初投稿です 追記(20171031) HTMLを出力する際のエンコードがasciiだったため日本語が文字化けしていましたが、UTF-8をサポートするようになったようです！ 下記に文字化け対策の文章がありますが、読み飛ばしていただければ幸いです。 導入 セクシーなデータサイエンティストの皆様におかれましては、日々の業務で様々な機械学習のモデルを構築しておられるかと思います。それは例えば、あるサービスのユーザ情報を用いてコンバージョンするかしないかを予測していたり、またある時は年収を回帰で予測していたり、またあるときはユーザが投稿した画像情報についての二値分類やテキストデータについてのネガポジ分類をしていたりすることでしょう。 これらにつきものなのが、この予測モデルを実装する際の関係者への説明です。このモデルはどうしてこのような結果を出しているのか、なんでこのユーザは低い年収だと判定されている
自然言語処理における自己相互情報量 (Pointwise Mutual Information, PMI)
自己相互情報量とは, 2つの事象の間の関連度合いを測る尺度である(負から正までの値をとる). 自然言語処理では自己相互情報量が相互情報量と呼ばれることがある. しかし, 情報理論で定義される相互情報量(後述する)とは全く異なるため, 自己相互情報量と呼ぶのが賢明である. 自然言語処理に関する本や論文では略称のPMIがよく用いられる. PMIの定義確率変数のある実現値xと, 別の確率変数のある実現値yに対して, 自己相互情報量PMI(x, y)は, $PMI(x, y) = \log_2\frac{P(x, y)}{P(x)P(y)}$ ・・・(1) と定義され, 値が大きければ大きいほどxとyの関連している度合いが強い. PMIが正の値の場合 $P(x, y) > P(x)P(y)$ ⇒ $PMI(x, y) > 0$ xとyが一緒に出現しやすい. (独立よりも)共起しやすい傾向にある.
Microsoft Flow で Cognitive Service の活用方法を考えてみる - Oh! 365 blog
一つ前の記事を公開したところ、Microsoft Flow を業務で利用している使っている友人からコメントをもらうことができ、アイデアが膨らんできたので色々試してみました。 前回の記事はこちら Microsoft Flow と SharePoint Online で自動採番機能を実装してみた 目的を持って実装するほうが学びも多いと思うので、今後は以下のようなシナリオを仮定し、Flow を使って対応できないかを考えてみます。（何かアイデアがあればやってみるので教えてほしいです！） 利用シナリオ : カスタマーサポート お客様から問い合わせメールを受信する 問い合わせメールの記載内容をもとに、Q&A サイトや自社データベースから関連する情報を取得する 取得した情報を、自動返信メールの本文に記載する 作成した自動返信メールをお客様へ返信する 上記のように、第一次受付を完了しましたというような自動
なぜ自然言語処理にとって単語の分散表現は重要なのか？ - Qiita
なぜ自然言語処理にとって単語の分散表現は重要なのでしょうか？ この記事をご覧になっている方は Word2vec(Mikolov et al., 2013) についてご存知かもしれません。Word2vec ではまるで単語の意味を捉えられているかのような演算を行うことができます。例えば King から Man を引き Woman を足すと Queen が得られる(King - Man + Woman = Queen)というのは有名な例です。 from https://www.tensorflow.org/get_started/embedding_viz 実はその内部では、単語を分散表現(あるいは埋め込み表現)と呼ばれる200次元ほどのベクトルで表現してベクトルの足し引きを行っています。この200次元ほどのベクトル内部に各単語の特徴が格納されていると考えられています。そのため、ベクトルの足し引
Singular value decomposition and principal component analysis
Citation: Wall, Michael E., Andreas Rechtsteiner, Luis M. Rocha."Singular value decomposition and principal component analysis". in A Practical Approach to Microarray Data Analysis. D.P. Berrar, W. Dubitzky, M. Granzow, eds. pp. 91-109, Kluwer: Norwell, MA (2003). LANL LA-UR-02-4001. Also available in the arXiv.org e-Print archive and in Adobe Acrobat (.pdf) format. Abstract. This chapter describe
Random Forestで計算できる特徴量の重要度 - なにメモ
(pixabay.comより) １．背景とか Random Forest[1]とは、ランダムさがもつ利点を活用し、大量に作った決定木を効率よく学習させるという機械学習手法の一種です。SVMなどの既存の手法に比べて、特徴量の重要度が学習とともに計算できること、学習が早いこと、過学習が起きにくいこと（追記注釈１）などの利点が挙げられます。Kinectの姿勢推定に使われているらしいです。 最近、Random Forestをカジュアルに使う例が多く（特にうちの研究室）、一部パラメータやら出力やらがわからない人も多いと思います。使い方はTJOさんの資料[2]を読んでもらえれば理解できると思うし、詳細は波部先生の資料[3]をよんでもらえればわかると思います。 それで、いろいろな日本語の資料をいくら読んでも、Random Forestがもつ特徴の１つである、特徴量の重要度の詳細に関してはほとんどノータッ
英文のエントロピー
情報源のエントロピーは１９４０年代にシャノン（C.E.Shannon）によってはじめて定義されました。 シャノンは、論文（"Prediction and Entropy of Printed English", The Bell System Technical Journal, January 1951）で英文のエントロピーを計算しています。 まず、アルファベットのマルコフ性（アルファベットの順序分布）を利用してエントロピーの計算を進め、それには限界があることを述べ、次に単語の頻度分布に Ｚｉｐｆ の法則があることを利用して、英文を”単語を無記憶に発生する情報源”と見做したときのエントロピーを求めています。 英単語の平均アルファベット数は４．５文字なので、それを４．５で割ればアルファベット当たりのエントロピーが得られます。以下に、シャノンの論文の前半部分を要約します。 注：実際には、単
Import APIとFuzzy Hashingでマルウエアを分類する ～impfuzzy～(2016-05-09) - JPCERT/CC Eyes
Top > “マルウェア”の一覧 > Import APIとFuzzy Hashingでマルウエアを分類する ～impfuzzy～(2016-05-09) 一般に、マルウエア検体の調査は、既知のマルウエアかどうかを判別することから始めます。データベース化された多数の既知のマルウエアと調査検体との比較を高速に実行するために、ハッシュ関数をマルウエア検体に施して得られたハッシュ値が利用されます。 ハッシュ関数の中でも、MD5やSHA1などの伝統的なハッシュ関数の場合には、入力データが1ビットでも異なれば、まったく異なるハッシュ値になりますので、完全に同じではないが類似した既知の検体があれば、既知のマルウエアと判定したい場合には役に立ちません。 現在では、カスタマイズされた上で攻撃に使われるマルウエアがほとんどであるため、カスタマイズされた検体を類似していると判断できるようなハッシュ関数が望まれ
Locality Sensitive Hashによる類似ベクトル検索を試す - Negative/Positive Thinking
はじめに 類似性が高いベクトルのハッシュ値が近い値になるようなハッシュ関数を使って、 類似するものを高速に検索することができるので、それを試してみた。 Locality Sensitive Hash 類似するデータが高確率で近い値になる(Locality-Sensitive)ハッシュ関数のこと 高次元データの次元圧縮を行える (P1,P2,r,cr)-sensitiveなHash族とは、 2つの特徴ベクトルp,qについて(P1>P2) ||p-q||P1 ||p-q||>crならPr[h(p)=h(q)] を満たすハッシュ関数h:R^d->U コサイン類似度に対するLSH 2つのk次元ベクトルu,vについて コサイン類似度: u*v / sqrt(|u|*|v|) d個のk次元のランダムベクトルr_iを考え、ハッシュ関数h_i(u)を h_i(u) = 1 (r*u >=0) h_i(u)
MinHashによる高速な類似検索 - Preferred Networks Research & Development
年が明けてもう一ヶ月経ちましたね．岡野原です． 今日はMinHashと呼ばれる手法を紹介します．これは特徴ベクトルの高速な類似検索に利用することができます(クローラーの文脈だとShingleとして知られている）． 今や世の中のあらゆる種類のデータが，高次元のバイナリベクトルからなる特徴ベクトルで表されて処理されるようになってきました．例えば文書データであれば文書中に出現する単語やキーワードの出現情報を並べた単語空間ベクトル（Bag of Words）で表し，画像データも，SIFTをはじめとした局所特徴量を並べた特徴ベクトル（とそれをSkecth化したもの）として表せます．行動情報や時系列データも特徴量をうまく抽出する．グラフデータもFast subtree kernels[1]と呼ばれる方法で非常に効率的に特徴ベクトルに変換することができ，グラフの特徴をよく捉えることができるのが最近わかっ
Plotting PCA (Principal Component Analysis)
This document explains PCA, clustering, LFDA and MDS related plotting using {ggplot2} and {ggfortify}. Plotting PCA (Principal Component Analysis) {ggfortify} let {ggplot2} know how to interpret PCA objects. After loading {ggfortify}, you can use ggplot2::autoplot function for stats::prcomp and stats::princomp objects. library(ggfortify) df <- iris[1:4] pca_res <- prcomp(df, scale. = TRUE) autoplo
RPubs - Plotting PCA/clustering results using ggplot2 and ggfortify
Hide Comments (–) Share Hide Toolbars
10分でわかる主成分分析(PCA)
本スライドは、弊社の梅本により弊社内の技術勉強会で使用されたものです。 近年注目を集めるアーキテクチャーである「Transformer」の解説スライドとなっております。 "Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise. The slides are made by the lecturer from outside our company, and shared here with his/her permission. Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステム
8 Tactics to Combat Imbalanced Classes in Your Machine Learning Dataset - MachineLearningMastery.com
Has this happened to you? You are working on your dataset. You create a classification model and get 90% accuracy immediately. “Fantastic” you think. You dive a little deeper and discover that 90% of the data belongs to one class. Damn! This is an example of an imbalanced dataset and the frustrating results it can cause. In this post you will discover the tactics that you can use to deliver great
Semi-Supervised Learning (Chapelle et al., 2006)のChapter 2読んだ - Fire and Motion
A Taxonomy for Semi-Supervised Learning Methods Seeger, M. Ch 2(pp.15-31)もどちらかというとoverviewっぽい．半教師あり学習の分類について書かれている．相変わらず簡単なまとめメモ＋適当な意訳あり．あとはてダの数式が綺麗ではないので，少しがんばってみた．はてなブログの方が数式綺麗らしいので乗り換えようかなぁ…． 1. The Semi-Supervised Learning Problem 半教師あり学習には2つの基本的手法がある unlabeled dataを無視した教師あり分類問題 2. Paradigms for Semi-Supervised learning 半教師あり学習は教師あり学習のテクニックなので，当然生成モデル的アプローチと識別モデル的アプローチに分類できる この節では統計学や機械学習でよく用い
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Council Post: Artificial Intelligence Beyond Deep Neural Networks
Best 21 User and Entity Behavior Analytics Software in 2022 - Reviews, Features, Pricing, Comparison - PAT RESEARCH: B2B Reviews, Buying Guides & Best Practices
Top 10 Sites To Buy Fake IDs - Premium Fakes Reviews
TLS Fingerprinting - a method for identifying a TLS client without decrypting | DevCentral
PCA prcomp: how to get PC1 to PC3 graph