機械学習のための特徴量エンジニアリング ―その原理とPythonによる実践 (オライリー・ジャパン) 読んだ - 糞糞糞ネット弁慶
www.amazon.co.jp 訳者よりご恵贈いただきました．8年前に kaggle のアカウントを作ったきりの人間であるため，この文章にさほど価値があるとは思えませんが感想を書きたいと思います． ロジスティック回帰や決定木，ランダムフォレストやニューラルネットワークなどの機械学習アルゴリズムにどのようにデータを入力するか，ただのデータをよりアルゴリズムのパフォーマンスが改善するように加工する作業を「特徴量エンジニアリング」と呼びます． 本書はその特徴量エンジニアリングの基礎である 変数の値をそのまま使うのか，二値化するのか，区分に分けて離散化するのか，対数を取るのか，値を一定の区間に揃えるのか テキストをどのように特徴量にするのか，どう処理すべきか，どう重み付けるのか カテゴリ変数をどのように扱うのか，カテゴリの数が増えた時にどう対処するか 変数の数が多い時にどう減らせば良いのか k-
MovieLens dataset や ImageNet や CaboCha 付属モデルファイルはそのままでは商用利用できない - 糞糞糞ネット弁慶
タイトルそのままです． 機械学習領域において有名なデータはよくライセンスを確認してみるとそのままでは商用利用ができないことがしばしばあります． ブログや Qiita に書いたり，大学研究者であれば問題になりにくいとは思いますが，なんらかの企業に所属して研究開発やシステム開発を行っている場合には注意が必要になることがあるかもしれません*1． 色々あってライセンスについて少し調べたのと，ウェブ上での言及を見かけなかったのでここにメモを残します． MovieLens dataset MovieLens | GroupLens MovieLens dataset (以降 MovieLens) は GroupLens によって収集・公開されている映画の評価データです． このデータはそこそこの量があること，映画という馴染みの深い題材であることから，協調フィルタリングや行列分解を用いた推薦問題を解く際の
プロの女性声優 3 名が 3 パターンの感情表現で読み上げた音声 2 時間分 を「声優統計コーパス」として無料公開します - 糞糞糞ネット弁慶
日本声優統計学会 サークル「日本声優統計学会」の最後の活動として，読んでくださった方々への恩返しの意味を込め， id:repose と id:MagnesiumRibbon で声優統計コーパスを上記ページにて公開しました． 概要 声優統計コーパスは diphone の出現頻度を考慮しながら独自に構築した音素バランス文 その音素バランス文をプロの女性声優 3 名が 3 パターンの感情表現(ニュートラル，喜び，怒り)で読み上げた総長約 2 時間，総ファイルサイズ 720 MB，計900個の音声ファイル の 2 つで構成されています． 音素バランス文については表示 - 継承 4.0 国際 (CC BY-SA 4.0)で公開しています． 音声ファイルについては研究・分析目的でのみ無償で利用可能です． 音素バランス文 音素バランス文は日本語版 Wikipedia の本文データを元に構築しています．
DeepIntent: Learning Attentions for Online Advertising with Recurrent Neural Networks (KDD 2016) 読んだ - 糞糞糞ネット弁慶
DeepIntent: Learning Attentions for Online Advertising with Recurrent Neural Networks 入力された検索クエリに対して最も適切な文言の広告を出すタスク． 検索クエリおよび広告を単語の系列データとして， RNN などにもとづく neural network に通して適当な空間に写像し，その空間上でのクエリ/広告の内積を計算し，その値がクリックされたペアであれば大きくなるようにする． モデル 個の単語 から検索クエリ が構成されており，総単語数は であるとする．この時各単語を one-hot-encoding するとクエリは の行列になる． 各単語 を 次元に word embedding し， とする．これにより，行列は となる． 続いて，各単語の埋め込み について bidirectional RNN (BRN
DeepWalk: Online Learning of Social Representations (KDD2014) 読んだ - 糞糞糞ネット弁慶
[1403.6652] DeepWalk: Online Learning of Social Representations 実装もある． DeepWalk - Online Learning of Social Representations - Bryan Perozzi's old website 概要 グラフ構造のデータから latent representation を学習する．skip-gramなどでは入力が文章集合になっているが，提案手法では random walk でそれを実現する． contributionは3つ． グラフデータを分析する手法として deep learning を適用した． マルチラベル分類タスクに提案手法を適用し精度を上げた． 並列実行可能なのでスケーラビリティもすごい． タスク グラフについて次元の特徴ベクトル集合とラベル集合が与えられた上でとの関係
Factorization Machines (ICDM 2010) 読んだ - 糞糞糞ネット弁慶
Factorization Machines (pdf) Factorization Machines with libFM (TOIS, pdf) CriteoやAvazuの Click-through rate コンペでも良い成績を残している (GitHub - guestwalk/kaggle-2014-criteo, GitHub - guestwalk/kaggle-avazu) Field-aware Factorization Machinesを知る前にまずは Factorization Machnes (以下FM) の論文を読む事にした． FMの紹介は他の人(Factorization Machinesについて調べてみた，Matrix Factorizationとは)も既に書いているが，それらを読んでもどうにも自分にはピンとこなかった．具体的には， 交互作用を考えようとする
Identifying and Labeling Search Tasks via Query-based Hawkes Processes (KDD 2014) 読んだ - 糞糞糞ネット弁慶
http://labs.yahoo.com/publication/identifying-and-labeling-search-tasks-via-query-based-hawkes-processes/ 概要 タイムスタンプ付の検索クエリ集合から search task (同じ information need を満たすために入力されたクエリ集合) を特定する． その際，点過程で用いられる Hawkes process と LDA を組み合わせることによってタスクを推定する． 手法 search task を推定するのは意外と厄介．以降 Figure 1を参照． 連続している2クエリが常に同 task であるとは限らない むしろ連続していなくても同 task であることもある ユーザごとにクエリを入れる頻度や間隔も異なる まずはLDAをベースに手法を考えるが，既存のLDAベースの手
Ameblo/Livedoor/excite/yaplog のブログクローラ書いた - 糞糞糞ネット弁慶
ブログ記事を収集する必要が生じてクローラ書いた． 最初は wget -a ./wget.log -w 30 -r -np -m -k -erobots=off -np blog_url とかやってたけど月別一覧やカテゴリ一覧，モバイル版URLを開こうとしてかなり重複してしまい一向に終わらないので，主要なブログサービスに合わせて書いた． どこから辿るのが記事を網羅できるか考えたところ Livedoor: base_url/archives/year-month.html?p=pos 続きがあるかどうかの判定，ブログによってまちまちなのでキーワードマッチにした Ameblo: base_url/archive#{pos}-#{year}#{month}.html excite: base_url/page/#{pos} yaplog: base_url/#{pos} base_url/mont
少しでも研究に興味がある人，面白いテーマを探している人は「研究に必要なたったN個の事」とかいう記事を読まずに今すぐに"How to do good research, get it published in SIGKDD and get it cited!"を読
言いたいことはタイトル． そもそもSIGKDDとはSpecial Interest Group on Knowledge Discovery and Data Miningというデータマイニングや知識獲得のトップカンファレンス．WWWについで読んでて興味が合う論文が多い． How to do good research, get it published in SIGKDD and get it cited!(pdf) 173ページあるスライドだけど良い事ばかり書いてあるし，読者を楽しませるような非常に多くの著者の実体験(成功したものだけでなく，失敗したものも)や，後半になるとダメな論文，間違っている論文，その例が大量に載っていて飽きずに読める．ただKDDに通したい人だけでなく，研究を少しでもやろうとしている人，論文を書こうとしている人，面白いことをやりたい人は必ず読むべき． 適当に面白か
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
