みな味の好みがバラバラで、同じメニューでも人によって採点が高かったり低かったりしているようです。 元データの作成 まずは Python で扱える形でデータを用意し recommendation_data.py とします。 dataset = { '山田': {'カレー': 2.5, 'ラーメン': 3.5, 'チャーハン': 3.0, '寿司': 3.5, '牛丼': 2.5, 'うどん': 3.0}, '田中': {'カレー': 3.0, 'ラーメン': 3.5, 'チャーハン': 1.5, '寿司': 5.0, 'うどん': 3.0, '牛丼': 3.5}, '佐藤': {'カレー': 2.5, 'ラーメン': 3.0, '寿司': 3.5, 'うどん': 4.0}, '中村': {'ラーメン': 3.5, 'チャーハン': 3.0, 'うどん': 4.5, '寿司': 4.0, '牛

昨日は Python のウェブフレームワーク Flask で簡単な応答システムを作りました。これだけだとあまりに退屈なので、せっかくですから NumPy を利用して少しは楽しめるものを作ってみたいと思います。 「ガチャ」とは、最近流行のソーシャルゲームやオンラインゲームにおいて 1 回課金することによってアイテム等をランダムに入手できる仕組みのことです。 10 連ガチャとは 1 回の試行で 10 回分のレアガチャを引く仕組みのことです。基本無料を謳うソーシャルゲームなどでは、このようなアイテム課金で利益を得る仕組みになっています。 シミュレーションの目的としては、運営サイドとしてはプレイヤーがじゃぶじゃぶ課金したくなるような射幸心を煽りまくるガチャが提供できているかどうか確認する、プレイヤーサイドとしてはリアルマネーいわゆる実際のお金を投入する前にあらかじめどれくらいの確率で成功するのかを

みな味の好みがバラバラで、同じメニューでも人によって採点が高かったり低かったりしているようです。 似ている人を探す 何らかの対象に対して人々の評価が集まったとき、その傾向が似ている程度を決定する基準が必要になります。これを 類似性スコア (Similarity score) と言います。類似性スコアの算出にはさまざまな方法がありますが、上記の集合知プログラミングではユークリッド距離とピアソン相関係数が取り上げられています。いずれも 2 つの確率変数の間の関連度合いを表す尺度であり -1 から 1 の範囲を取ります。 ユークリッド距離 ここでは 平方ユークリッド距離 (Squared Euclidean distance) を使います。これはそれぞれの軸の上での差を求め、その二乗を累計するものです。つまり数式では def sim_distance(prefs, person1, person

前々回はニュースデータを収集するために RSS/Atom フィードを利用する話を書きました。 RSS/Atom フィードには全文配信と要約配信があり、昨今ではページビューを稼ぐため要約配信、特にリンクがリダイレクトになっているものや、本文がカラのものが多いという話をしました。 全文配信 … タイトル、リンク、それに記事本文全体を含むフィード 要約配信 … タイトル、リンク、記事の一部のみまたは本文がカラのフィード フィードデータをためる方法 前回は一部で最近話題の Fastladder のセットアップ方法を紹介し、付属のクローラーを使ってサーバーのデータベースにフィードを溜めるという方法を説明しました。 いずれ別の記事で詳しく述べますが Fastladder はサーバー設置型な上、ソースコードは公開されていますので、クローラー自体を自作することも可能です。 また fluentd は柔軟なロ

以前、機械学習や統計に関する情報収集についてまとめました。今日はその続きというか補足で、データ分析に役立つ無料で読める Python E-book をまとめました。 ここにある PDF を取り敢えず手持ちのタブレットか PC に突っ込んでいつでも必要なときに参照すると良いでしょう。毎回 Google 検索しても良いですが、確実に理解しておきたい基礎となる知見はやはり書籍で持っていたほうが安心です。 プログラミング言語 まずは Python 3 本体です。 Free Python Books http://www.onlineprogrammingbooks.com/python/ 上記からさまざまな Python の書籍を無料で閲覧することができます。中には少し古い Python 2 の書籍も混じっていますので、どのバージョンの Python を対象にしているか気を付けたほうが良いでしょう

この Qiita の連載記事ではデータ分析のための主要言語として Python を利用してきました。ところでみなさんは Python のコーディング規約 PEP8 をご存知でしょうか。 ソースコードスタイルガイド PEP8 ソースコードは一般に「書かれる時間」よりも「読まれる時間」の方が長い、そのような事実に基づいて、「スタイルを統一し読みやすいコードを書こう」というアイデアのもとに作られたのがこのガイドです。 Style Guide for Python Code http://legacy.python.org/dev/peps/pep-0008/ 本家は当然ながら英語ですが有志の方が日本語に翻訳してくださっています。 PEP8 日本語訳 https://github.com/mumumu/pep8-ja どちらにせよ Python を利用する方は必ず一読するべきかと思います。 自動的

機械学習界隈の情報収集方法 http://d.hatena.ne.jp/kisa12012/20131215/1387082769 いきなりですが上記の記事に機械学習に関する有力な情報源がまとまっています。まずはここを参考にするのが良いかと思います。ただ情報が多すぎですので、筆者は Wikicfp と arXiv.org あたりの論文、それにはてなブックマークをチェックしています。 また論文については機械学習の論文を探すにも良い情報がまとまっています。こちらも参考になります。 機械学習は日進月歩の世界ですので、最新の査読済み論文を追って概略だけでも理解する能力を身に付けると良いかと思います。 書籍としては次の 2 冊が聖書とも言える必読書で、本気で機械学習をやりたければ必ず参考になるかと思います。 パターン認識と機械学習 (上・下) http://www.amazon.co.jp/dp/4