タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

統計に関するhoshiminのブックマーク (4)

  • Googleの分散データ処理言語Sawzallの統計ライブラリをC++, Ruby, Pythonから利用するライブラリSZaruを公開しました - llameradaの日記

    Googleで利用されている分散データ処理言語SawzallのOSS実装 szl が公開されました。 公開されたソースの中にはSawzallの実行環境の他に大規模データ向けの統計ライブラリが含まれています。この統計ライブラリには高度なアルゴリズムが実装されているので、これを他の言語からも利用できると便利だなと思い、C++, Ruby, Pythonから利用できるようにしました。 便利な統計アルゴリズムの1つに出現回数が上位のN件の要素の抽出(top-N)があります。 top-Nを求める具体例としては、自然言語処理でよく使う、出現回数上位の単語を求める処理があります。この処理の単純な実装では、まず全単語の出現回数を求めておき、次に各単語を出現回数の降順でソートして出現回数上位の単語を求めます。しかし、この実装ではユニークな単語数K(数十万から数百万)に比例したメモリと計算量が必要となります。

    Googleの分散データ処理言語Sawzallの統計ライブラリをC++, Ruby, Pythonから利用するライブラリSZaruを公開しました - llameradaの日記
  • ベイズを学びたい人におすすめのサイト - download_takeshi’s diary

    ベイジアンフィルタとかベイズ理論とかを勉強するにあたって、最初はなんだかよくわからないと思うので、 そんな人にお勧めのサイトを書き残しておきます。 @IT スパム対策の基技術解説(前編)綱引きに蛇口当てゲーム?!楽しく学ぶベイズフィルターの仕組み http://www.atmarkit.co.jp/fsecurity/special/107bayes/bayes01.html いくつかの絵でわかりやすく解説してあります。 自分がしるかぎり、最もわかりやすく親切に解説してる記事です。数学とかさっぱりわからない人はまずここから読み始めるといいでしょう。 茨城大学情報工学科の教授のページから http://jubilo.cis.ibaraki.ac.jp/~isemba/KAKURITU/221.pdf PDFですが、これもわかりやすくまとまってます。 初心者でも理解しやすいし例題がいくつかあ

    ベイズを学びたい人におすすめのサイト - download_takeshi’s diary
  • 3D円グラフを使うのはやめよう | Okumura's Blog

    落伍弟子さんの目の錯覚を誘うグラフの受け売りで申し訳ないが,都立高校教科書採択結果のPDFの図がすべて3D円グラフになっており,目の錯覚で誤解が生じやすい。例えば右図で日文は啓林の2倍あるのに中心角は啓林のほうが大きく,面積比でもほぼ互角に見える。情報リテラシーではっきり「3D円グラフは使うな」と教えてほしい。 Rのヘルプの「pie」の項目にも次のようにあるように,そもそも円グラフが良くない。 Pie charts are a very bad way of displaying information. The eye is good at judging linear measures and bad at judging relative areas. A bar chart or dot chart is a preferable way of displaying this ty

  • 目の錯覚を誘う3D円グラフ | 旧・落伍弟子のブログ(www.takigi.orgもよろしく)

    9.18追記 タイトルを「目の錯覚を誘うグラフ」から「目の錯覚を誘う3D円グラフ」に変更しました だって,そのほうが分かりやすいんだもん!(^^)! ・・・・ 昨晩からなぜか急に疲れがでて,ボーっとしてます。 なのにブログを書いてます。こんなことしてる場合じゃないのに,現実逃避。 大阪ネタだけでは不公平なので^_^;,東京ネタです。 先月末に,某所で教えてもらった報告書です。 ■平成21年度使用都立高等学校用(都立中等教育学校の後期課程及び都立特別支援学校の高等部を含む。)教科書の採択結果について http://www.kyoiku.metro.tokyo.jp/press/pr080828s.htm このページの下に, <別添資料> 平成21年度使用都立高等学校及び都立中等教育学校(後期課程)用教科書教科別採択結果(教科書別学校数)(PDF形式:233KB) http://www.kyo

    目の錯覚を誘う3D円グラフ | 旧・落伍弟子のブログ(www.takigi.orgもよろしく)
  • 1