超「スモールデータ」 – Fujimura Seminar

早速ですが、先ず114の食品のネットワーク可視化結果をご覧下さい。この結果は、114の食品に対して5段階で好きか嫌いかを被験者に尋ねるWebアンケートにより収集したデータで作ったものです。 この可視化は、まず評価者を行、食品を列とする行列を作り、その列ベクトル同士がどれだけ近いかをコサイン類似度で計算して、お互いに類似度が高い食品同士をエッジで接続します。そしてGephiと呼ぶネットワーク可視化ツールでエッジで接続されているノード同士がお互いに近くなるように２次元平面上に配置したものです。これはマイニングの教科書にある古典的な方法で特に何の工夫もありません。それでも、似たような食品がお互いに近くにまとまっていることがわかります。お刺身類は右、野菜は下、洋食は左、麺類と天ぷらが上、という具合です。 同様に、下の階層的クラスタリングの結果をご覧下さい。こちらはコサイン類似度ではなくユークリッド

[holly-shu]

クラスタリングの結果が予想されるマイニングではスモールデータで十分だよねってことだと勝手に理解

[pokutuna]

おもしろい

[harapon1012]

"統計数理研究所の丸山宏先生の名言で「ビッグデータ周辺の問題の多くはサンプリングとExcelで解ける」"そう思う