A/Bテストって何のためにやるの? 月間100億PVサイトのエンジニアが教える、いまさら聞けないデータ活用入門 ヤフーでは、同志社大学文化情報学部の学生を対象に、社員による計15回講義「インターネット環境におけるマルチビッグデータの活用」(2015年4月~7月)を実施いたしました。今回は、7月に行った講義の中から、Yahoo!ニュース責任者・有吉健郎による講義「Yahoo!ニュースがデータを活用する理由」と、Yahoo!ニュースのエンジニア・池田健人による講義「データ分析の裏側」の内容の一部を当ブログ用に再構成してご紹介します。 A/Bテストって、何のためにやるの? 当ブログではこれまで、Yahoo!ニュースで行っているA/Bテストの事例(※アプリのバナーテスト、Yahoo!ニュース トピックスの見出しテスト、トップページの行間デザインテスト)をいくつかご紹介したことがありましたが、今回は
昨日のエントリで「これまで長年使われてきた検定がそれほど間違っているはずはない」というノアピニオン氏の意見を紹介したが、それに対してコメンターの一人が、以下のエピソードを紹介している。 I first presented this result to a recent convention of reliability and quality control statisticians working in the computer and aerospace industries; and at this point the meeting was thrown into an uproar, about a dozen people trying to shout me down at once. They told me, "This is complete nonsense. A
についてノアピニオン氏が書いている。p値叩きは一部の心理学の学術誌が有意性検定を禁止するところまで行ったが、こうした動きは行き過ぎであり、これまで長年使われてきた検定がそれほど間違っているはずはない、とノアピニオン氏は言う。以下は氏がそう考える理由。 p値叩きで槍玉に挙げられている、研究者が自分の望むp値を得るまで手を変え品を変え分析を繰り返すこと(p-hacking)や、対立仮説を適切に設定しないことによる偽陽性の問題は、再現性の追究という科学の通常の慣行で解決できる。 有意性検定だけを見るのではなく、効果量や適合度検定を見るようにすべき。p値だけで結果の有用性を判断する人がいるにしても、それは彼らがp値の使い方を間違えているだけであり、p値が悪しきツールというわけではない。 データ分析では万能のツールは存在しない。 またノアピニオン氏は、p値叩きへの反動の例として、p-hackingの
もはや日本の識字率は100%ではない!貧困が奪う、文字を読み書きできない子どもたちの未来 2015/2/24 mind/考える 世界最高水準の識字率 この記事を読みました。 日本の識字率は100%じゃない? 男性教諭の実感 識字率とは、文字(書記言語)の読み書きができ、理解できる能力を持った人数の割合を指しています。日本人の識字率の高さは有名で、江戸幕末期の武士において、ほぼ100%の人が読み書きできたと言われています。庶民層でも男子の半数は読み書きできたというから凄いことですよね。同年代のイギリス下層民は、大都市のロンドンでも10%程度の子どもしか字が読めなかったそうですから。 日本では主に「ひらがな」「カタカナ」「漢字」の3つを学び、普段から使用します。たった26文字のアルファベットしか使わない欧米に比べて、かなり難しい言語を幼児期から操っていることになるのですが、なかなかこの恩恵を意
ディープ・ラーニングがぶつかった分厚い壁---最先端のAIでも、人間のように言葉を操ることはできない! 先週のコラムでは、マイクロソフトが開発したAI女子高生を「りんな」を取り上げた。現在、その会話能力はお世辞にも高いとは言えないが、今後とも劇的に改善することは(少なくとも当面は)ないだろう、と述べた。 筆者がそう予想する理由は、「りんな」の基盤技術である最先端AI「ディープ・ラーニング」が今、分厚い壁にぶつかっているからだ。それを以下、説明していきたい。 「見て、聞くAI」は「言葉を操るAI」にも応用できるのか? ディープ・ラーニングは今までのところ「画像認識」や「音声認識」など、いわゆるパターン認識の分野で極めて高い性能を示している。この大きな理由の一つは、ディープ・ラーニングが本格的な脳科学の研究成果、中でも大脳の視覚・聴覚野などに共通する認識メカニズム「スパース・コーディング」を導
時系列を示す「タイムライン」を簡単に描写できるパッケージの紹介です。タイムライン作成で悩んでいた方にオススメのパッケージです。時系列だけでなく、発生したイベントも同時に描写できます。 本パッケージを利用して歴史の研究だけでなく、自分史をプロットして解析してみるもの良いかもしれません。自分を見つめ直す良い機会かも。 パッケージのバージョンは0.9。R version 3.2.1でコマンドを確認しています。 パッケージのインストール下記コマンドを実行してください。 #パッケージのインストール install.packages("timeline")実行コマンドデータ例とパッケージ付属のデータを出力する例です。詳細はコマンド、パッケージヘルプを確認してください。バーの色を設定するオプションは未採用です。なお、本パッケージは内部的にggplot2を使用しています。 #パッケージの読み込み libr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く