サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
大谷翔平
kenichia.hatenablog.com
Twitterで有名な「岡三マン(@okasanman)」は複数人執筆説があります。 twitter.com そこで、本稿では統計解析環境「R」を用いて岡三マンが何人で執筆されているのか分析してみました。 今回は 2018/03/08 から 2018/03/18 までの 796tweet を分析対象とします。 分析にはRのライブラリ「RMeCab」を用いました。 この中の docMatrix()関数を用いるのですが、デフォルトでは名詞、動詞、形容詞のみを抽出するようになっています。 しかしながらtweetは短いので同じ名詞が出てくる可能性は極めて低く、あまり役に立ちません。 そこで今回は、本人判別でよく用いられる「助詞」「助動詞」と、句読点にも着目して「記号」を抽出することにしました。 library(RMeCab) res <- docMatrix("okasand", pos = c(
Wikipedia と しましま先生 の「カーネル」の項目を読んで、 「分からんわ-!」 と叫びながら壁に頭を打ちつけ続けたみなさん、こんにちは。 あなたは正常です。 いったい日本人のうちの何人があれを見て 「あっ、カーネル関数ってこういうことなんだー!」 と分かるのでしょうか。いることはいると思いますが。 はい、というわけで「カーネル関数」の説明です。ややこしいことに「カーネル関数」は「カーネル」とだけ書かれることもあります。あと、「核関数」と表現されることもあります。 まずはカーネル法の話をします。 カーネル法は2つの工程に分かれます。 1つ目は、 1. 線形分離不可能なデータ構造を 2. 高次元への写像関数を使って高次元空間へ写像することで 3. 線形分離可能な構造に変換すること。 です。つまり「高次元に写像して線形分離可能にする工程」です。 2つ目は「カーネルトリック」で、この「高
黄色本(『パターン認識と機械学習』:PRML)を読んでいると、「計画行列」という単語が頻繁に出てきます。 この計画行列ですが、英語では「design matrix」です。なので別書籍では「デザイン行列」と書かれていることもあります。 日本語で「デザイン」というと「意匠」のことをイメージしますが、もともとは「設計」の意味です。というわけで日本語の翻訳としても「設計行列」のほうが良かったような気がします。 この計画行列、もともとは統計学の生まれです。多種類の(重)回帰分析、(共)分散分析などの実験計画をモデル化して表すために作り出されました。たぶん「実験計画」が念頭にあったため「計画行列」という訳語になったものと思われます。 統計学的計画行列がよくまとまっているのがこちら。 デザイン行列(配置行列)* (「マルチメディア統計百科事典」より) https://upo-net.ouj.ac.jp
今日は73番だけでいきます。 73. 学習 72で抽出した素性を用いて,ロジスティック回帰モデルを学習せよ. ロジスティック回帰モデルとは、「確率化された分類モデル」の一種です。「確率化された分類モデル」は全体の確率を0から1までの間に押し込まないといけないのですが、そのときにロジスティック関数を使うので「ロジスティック回帰モデル」と言います。 分類モデル +確率化分類モデル +ロジスティック回帰モデル 確率化分類モデルとしては他にも「対数線形モデル」などがあります。こちらは前回紹介した『言語処理のための機械学習入門』に入っています。 設問冒頭にもありましたがやりたいのは「文を肯定的(ポジティブ)もしくは否定的(ネガティブ)に分類する」ということです。72で作成した素性とロジスティック回帰モデルを使って分類器を作っていくのが今回の設問です。 で、なぜロジスティック関数を使うのかと言うと、計
この一年間機械学習・データマイニング・テキストマイニングの本をいろいろと読んできましたが、機械学習の大御所が紹介している本の中には「あなたは分かるだろうけど、俺たち初心者にはコレまだ理解できないよね?」というものもありました。 そこで、あくまで素人から見て理解しやすい本を上げていきたいと思います。続いてあとから手を出すべき本と、手を出すべきではなかった本を紹介します。 Python 及び R なにはともあれ機械学習はプログラミングができないとお話になりません。現状ではPythonとRがオススメです。 初心者向けPython本はいろいろありますが、面白い本を紹介します。 Pythonポケットリファレンス 「ポケットリファレンス」と書いてありますが、辞書ではなくて小さな本の中にシンプルなコードがみっちり詰まっています。なぜかタイトルに反し中身は中級者を目指す初心者向け入門書として最適の構成にな
このページを最初にブックマークしてみませんか?
『kenichia.hatenablog.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く