なぜこの記事を書いたのか？ 決定木をベースにしたアルゴリズムのほとんどに特徴量重要度という指標が存在する。データに対する知識が少ない場合はこの指標を見て特徴量に対する洞察深めることができる。KaggleではEDAのときにとりあえず重要度を見てみるなんてこともするようだ。 しかし、この特徴量重要度にはバイアスが存在していて、特定の条件下では信用出来ないことがある。そういった条件を広く知ってほしいということでこの記事を書いた。 この記事では人工データを生成しバイアスを再現してみた。また、こういったバイアスに対処したという論文を見つけたので軽く紹介する。おまけとしてgainベース以外の特徴量重要度についても紹介する。 目次 なぜこの記事を書いたのか？ 想定読者と実験の枠組み 想定読者 限定する枠組み 特徴量重要度とは？ 特徴量重要度にバイアスが生じる条件 1. 解像度が低い場合 2. 特徴量同士

www.youtube.com はじめまして。 dely, Inc. の @sakura です。 この記事は Google Products Advent Calendar 2019 - Adventar の20日目の記事です。 昨日は新坂さんのGoogle Homeの記事でした。Google Homeに関する様々な実体験が書かれており、とてもほっこりするエントリでした。 polasleep.hateblo.jp 本記事では、YouTubeのレコメンドの仕組みについて書かれている論文『Deep Neural Networks for YouTube Recommendations』を紹介します。 なぜ読んだのか 本論文について イントロダクション １．スケールの問題 ２．新鮮さの問題 ３．ノイズの問題 わかったこと レコメンドシステムの２層のニューラルネットワーク 暗黙的フィードバック ア

お前3連休の残り何しとってん？って話ですが、今更ながら Kaggle Tokyo Meetup 参加した一口感想を資料を振り返りながら書こうと思います。あと LT させて頂いた感想とか。 connpass.com 本当は meetup の次の日くらいに公開するはずだったんですが、どうしてこうなった... 参加直後の電車の中 → 帰宅後。 今日中むりな気がしてきた。眠い...— 俵 (@tawatawara) July 13, 2019 そして時が経ち... . . . 感想文ポエムを書くといってから気づけば３日が経過している— 俵 (@tawatawara) July 16, 2019 流石にまずいと思ったので書き始めた、はずだったが... . . . 昨日は途中で prime day に流されてしまったが、今日こそ終わらそう— 俵 (@tawatawara) July 17, 2019

最後にブログを書いてから１ヶ月が経ってしまいました。この期間の振り返りもしたいところですが、それはまた別の機会に。 今回はこの２週間くらいDeep Learningを使って画像を分類したりする遊びをしていましたのでそれについて。 まずは成果物から。 yuheinakasaka.github.io 画像をアップするとJuice=Juiceというハロプロのアイドルにどれだけ似てる顔なのかを判定できるサイトです(herokuの無料枠で動いてるのでサーバーはいともカンタンに死にます...😇)。 見せられるようなコードではないですが、一応ソースコードも置いておきます。 GitHub - YuheiNakasaka/yukanya: Juice=Juiceのメンバーを画像から判定する分類器 GitHub - YuheiNakasaka/yukanya-api GitHub - YuheiNakasa

機械学習に携わる人であればJupyter Notebookは頻繁に使うツールであり、共有するときにはGitHubを使うのが一般的だろう。GitHubにはブラウザ上でNotebookをレンダリングする機能があり、地味に便利なのだが、ときたまレンダリングされないNotebookが存在する。今回はそんなときに使えるTipsを紹介。 結論から言うと、nbviewerにNotebookのリンクを貼り付ける。 たとえば、以下のように表示されないNotebookがあったとする。 表示されないNotebook この場合、このNotebookのURLをコピーしてnbviewerに貼り付ける。 nbviewerにリンクを貼り付ける 貼り付けた後、「Go」を押すとNotebookの内容がレンダリングされる。 レンダリングされたNotebook Chrome拡張のOpen in nbviewerを入れておくと、1

1. はじめに 本記事では、アイドルブログの文体的特徴に基づく著者分類の紹介をします。 1-1. 「文体的特徴」とは 簡単に言うと、文章に現れる著者の癖に注目した特徴量です。計量文体学、計量分析学と呼ばれる領域にて研究されているみたいです。 文体という言葉は、ブリタニカ百科事典では以下の様に定義されており、これを統計的に扱うための指標のようなものかなと思っています。 ある特定の個人，時代，流派などの言語表現を特徴づける様式 文体的特徴および計量文体分析に関しては、以下の記事で紹介した犯罪捜査のためのテキストマイニング: 文章の指紋を探り,サイバー犯罪に挑む計量的文体分析の手法が詳しいです。 例えば、ある男性著者が女性になりすまして書いた文章や同著者が別名義で書いた文章であっても、その癖は文体的特徴に現れるようです。 具体的に、本記事では、以下の文体的特徴を使いました。 非内容語の使用率 品