科学における「ダメな統計学」を説明した本｜Colorless Green Ideas
科学において統計がいかに正しく使われていないかを説明した本 Statistics Done Wrong: The Woefully Complete Guide について紹介する。 科学の世界の「ダメな統計学」 現代の科学は、統計と切っても切り離せない関係にある。多くの場合、科学者は、仮説を立てた上で、実験や調査でデータを集め、そのデータに対して統計処理を行うことで、自分の仮説が妥当かどうかを判断していく。統計がなくては自分の仮説が妥当かどうかを判断できない。判断できなければ、科学者は自分の主張を一切述べられなくなってしまう。つまり、統計を使わなければ、科学者は仕事にならないのである。統計は科学者にとって重要なのだ。 統計が重要なのだから、科学者は統計についてしっかりとした知識を持っていると思う人も少なくないだろう。また、ほとんどの科学者が正確に統計処理を行っていると思う人も少なくないだろ
Google Sites: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
ご利用案内 | ライブラリー | アドミュージアム東京
東京都港区東新橋 1-8-2 カレッタ汐留 | 03-6218-2500 開館日 火ー土 12:00 - 18:00 入場無料 ライブラリー アドミュージアム東京ライブラリーは、日本で唯一の広告コミュニケーションに関する専門図書館です。 1966年に吉田秀雄記念広告図書館として開館し、現在に至ります。国内や海外の広告関連図書・雑誌、広告賞の作品集などを中心に約3万点の資料をそろえています。資料の貸出は行っていませんが、どなたでも自由にご利用いただけます。 ライブラリーご利用案内 ライブラリーの資料は、どなたでも自由に閲覧できます。 館外貸出は行っていません。 コピーサービスをご希望の方には利用カードを発行します。所定の用紙に必要事項をご記入下さい。発行手数料は無料です。 身分証明書は必要ありません。 閉架資料の閲覧は申し込みが必要です。取寄せまでに多少の時間（保管場所によっては数日）がかか
[JAGS,Stan] ノンパラベイズ（ディリクレ過程）の実装
BUGS bookの11章の8.1節のディリクレ過程の写経です。データは以下のサポートページ（11.8.1: Galaxy clustering: Dirichlet process mixture models）でWinBUGS用のodcファイルで配布されています。 WinBUGSをインストールしていない人のために.RDataにしたものをここに置いておきます（FC2ブログの制限上.txtをつけてあります）。 ディリクレ過程については詳しくはここでは述べません。『続・わかりやすいパターン認識』が分かりやすいと思います。BUGS bookにある実装のアイデアはCongton先生の本『Bayesian Statistical Modelling』から来ているようです。 他のBUGSでの適用例はOhlssen et al. (2007) "Flexible random-effects mode
![[JAGS,Stan] ノンパラベイズ（ディリクレ過程）の実装](https://cdn-ak-scissors.b.st-hatena.com/image/square/2574b41087830df63d2fcbb74551125b12d53478/height=288;version=1;width=512/http%3A%2F%2Fblog-imgs-78-origin.fc2.com%2Fh%2Fe%2Fa%2Fheartruptcy%2F20150329_model1-pi_est.png)
でもPythonは目下絶頂期デスネ、コミュニティーがいいから | カメリオ開発者ブログ
こんにちは、白ヤギでは下手の横好き的なPythonistaのシバタアキラです。 カメリオのような複雑なオンラインサービスを開発提供していく上では、様々な開発言語からミドルウェアそしてハードウェアやモニタリングに至るまで、様々な計算技術を応用しています。開発言語自体はあくまで手段であって目的ではないので、自分たちのマインドシェアの中でも小さくあるべきと思っています。一方で、未だにvim vs emacsなんていう些細な選択肢に関しても「戦争」が起こる様に（起こってない？）なんだかんだいって、ツールというのはエンジニアにとってもデータサイエンティストにとってもとても大切なモノです。 昨年PyConJPのスポンサー（今年もやります！）をして以来、Pythonコミュニティーでコアに活動されている方々とお付き合いさせていただく機会も増え、また自分でもPyData.Tokyoというデータサイエンスに特
モバイルSEOのイーファクター
テクノロジーで お金と経済のあり方を変える デジタル化が進み、時間や空間といった眼に見えない価値もデータとして認識できるようになり、人工知能やブロックチェーンといった新たな技術の誕生により経済のあり方も大きく変わろうとしています。私たちはこれらのテクノロジーを駆使し、世界中に埋もれている価値を有効活用することで、新しい経済を作ることを使命としています。 世界を解き放つ 世界中の誰もがテクノロジーにより様々な制約から解放され、自由に未来を創造できる社会を目指しています。“豊かさ”の概念が多様化する中で、それぞれが“個”としての生き方を追求することで、新しい価値観が醸成され、社会の持続的な発展に繋がると考えています。 Metaps People Quality 「テクノロジーでお金と経済のあり方を変える」ために、社員一人ひとりがどのようなスタンスで働くのか。「世界を解き放つ」ために、日々の業務
なぜデータ解析が必要かをミクロ経済学から考える。 - mirandora.commirandora.com
3月下旬となり、組織では人の入れ替わりがある時期になります。 毎年、この時期前後では、新人(あるいは異動してきた人など)に、 研修で話す機会が多くなる方もいらっしゃるかと思います。私もそうです。 データ解析やモデリング、可視化について、これまで専門ではなかった方に説明する際、 質疑応答で時々出るのが、 「なぜデータ解析が必要なのでしょうか？ 私自身、実際にモノを購入するときに、本日出てきたような数式を意識したことはありません。 データで人の気持ちや行動がすべて決まるとは思えません。 そもそも私は、数字ではなく、面白いアイデアを実現することを仕事としていきたいのです！！」 といったニュアンスのことです。 なぜか、彼らはデフォルト怒っています。 ※そもそも、データで人の気持ちや行動がすべて決まるとは言っていない。 そういった疑問に対して、「い、息吐きすぎです！」と言って後ずさりするのも 全く解
「事業を推進するためのデータを見える化する」データマイニングエンジニアの仕事内容 : LINE HR Blog
LINE株式会社では現在、データマイニングエンジニアの採用に注力しております。今回はデータ分析システムの開発・運用の担当者にデータエンジニアリング業務について聞いてみました。 ――まずは、簡単に経歴から教えていただけますか？ 10年間ほど東工大で教員をしており、2014年にLINEへ入社しました。専門は自然言語処理・情報検索・テキストマイニングです。現在は、データ分析システムの開発・運用を担当している分析プラットフォームチームでマネージャーをしています。 ――分析プラットフォームチームではどのような仕事をしていますか？ どのようなサービスでもそうだと思いますが、運用するときには必ずデータをとっています。アクティブユーザーの推移だったり、売上の変化だったり、KPIだったりと様々です。分析プラットフォームチームではLINEに関わるあらゆる各種ログデータを、サーバーやクライアントから集めデータの
7年働いた時点での私の仕事の極意 - Kengo's blog
最重要 実行に重きを置く やらないで後悔するよりも、やって反省する。 反省は成長を産み生産的だが、後悔は精神の無駄な消費。 時間は有限で貴重な資源だが、たぶん今の段階では行動する前に得るものや結果を予測するのは難しい。 正しい反省の方法とは何か、考え続けること。 「正しく反省するために、何を記録しておくべきか」実行前に明らかにしておくこと。 反省の結果は組織的な何かに落としこむ。組織構造、戦略、静的解析、自動テスト、教育など。意識しないでも巨人の肩に乗れる状況を作ることが、組織の成長につながる。 Done is Better Than Perfect ただし、思考停止の言い訳にしないこと。詰めの甘さを擁護する言葉ではない。詰めの甘さは立場や考え方が違うひと3人くらいに意見を求めればだいたい炙り出せる。 長期的視野を持ちつつ、それに引っ張られない。進展を作ること、現状を少しずつ変えることを意
自作CPU向けCコンパイラをつくってOS動かした話 (CPU実験まとめ) - kw-udonの日記
僕の学科では伝統的に3年の後期に半年かけてCPU実験というものをおこなう。 班で自作のアーキテクチャを設計・実装し、FPGA基板上でMinCaml(OCamlのサブセット)でかかれた課題用レイトレーシングプログラムが動けば単位がもらえるというものである。 レイトレ完動後には、その高速化にはげむもよし、余興としてゲームをつくるもよしで、自作CPU上で色々あそんだりする。 今年は有志で班を結成し、自作CPU上でxv6というOSを動かした。 僕はその班にCコンパイラ係として参加したので、そのことについてかく。 あと、OS移植班全体の成果についても触れる。 わりと長くなってしまったので、結局なにができたんだっていう人は、とりあえず先にこっちに飛んでほしい。 動機 期間は4ヶ月程度、配布されたFPGA基板のうえで動かしたいという制約のもとで移植するOSはxv6を選択した。 このOSはシンプルであるが
Reactがなぜ素晴らしいのか
詳しくはこちらへ → https://www.facebook.com/groups/toretatech/
Kaggle CIFAR-10の話 - デー
以前、Kaggle CIFAR-10 に参加していると書きましたが、これが2週間ほど前に終わりました。コンペはまだ Validating Final Results の状態なのですが、2週間たっても終わらず、いつ終わるのか謎なのと、多分結果は変わらないと思うので先に書きます。 CIFAR-10は、次のような32x32の小さな画像にネコ、犬、鳥など10種類の物体が写っているので、与えられた画像に何が写っているか当てる問題です。 （Kaggle CIFAR-10のデータセットは、通常のCIFAR-10と結果の互換性がありますが、チート防止に画像のハッシュ値が変わるように改変されているのと、テストセットに29万枚のジャンクイメージが含まれています。） 自分の結果は、0.9415 (正解率94.15%)で、Classification datasets results によると、state-of-
BitBootcamp
Mathematics CK-12 Probability and Statistics OpenIntro Statistics A First Course in Linear Algebra - Robert A. Beezer Bayesian Methods for Hackers - Cameron Davidson-Pilon Calculus Made Easy - Silvanus P. Thompson Collaborative Statistics Computational Geometry Concepts & Applications of Inferential Statistics Differential Equations - Paul Dawkins Elementary Differential Equations - William F. Tre
逐次モンテカルロ/(粒子|パーティクル|モンテカルロ)フィルタを実装してみた - My Life as a Mock Quant
このポストの概要 逐次モンテカルロ法 (Sequential Monte Carlo: SMC)/粒子フィルタ(Particle Filter)は、状態空間モデルの状態変数の系列を観測値の系列 のみから推定するアルゴリズム パッケージを使ってもいいんだど、お勉強も兼ねて自分でコード書いてみましたというお話(コアの部分だけならRで30行弱) コードは固定ラグ平滑化にまで対応(自己組織化 or フルベイズでのパラメータ推定系の機能はなし） 状態空間モデルの細かい話は適当な教科書読みましょう 逐次モンテカルロ/粒子(パーティクル)フィルタとは 逐次モンテカルロ法 (Sequential Monte Carlo: SMC)/粒子フィルタ(Particle Filter)は、線形状態空間モデルに対してはカルマンフィルタを使うように、非線形状態空間モデルに対して状態変数の推定を行うアルゴリズムです。具
RcppSMCパッケージを使って逐次モンテカルロ（Sequential Monte Carlo）・粒子フィルタ（Particle Filter)を実行する - My Life as a Mock Quant
前フリ 逐次モンテカルロ・粒子フィルタというのは状態推定*1をシミュレーションに基づいて実行する技でして、最近は「データ同化」なんてワードと絡めて有名になってきている気がしています。アイディアとしてはカルマンフィルタの非線形拡張＆解析ベースではなくシミュレーションベースでの状態推定という感じ。 入門書としては の本がお勧めで、バッチリ6章に粒子フィルタの解説が載っている。 RcppSCMパッケージ このライブラリの計算エンジン自体はC++で実装されてて「 Johansen, 2009, J Statistical Software, 30:6」で提案されたC++ライブラリを使っている模様。そしてそのC++のコードをRcpp経由でRから叩けるようにしているのがこのパッケージだぞとそういうことです。 パッケージのインストール このパッケージを使うためにはRcppSMCパッケージはもちろん、Rc
FKFパッケージを使ってカルマンフィルタ（Kalman Filter）を実行する - My Life as a Mock Quant
カルマンフィルタ自体は以下の状態空間モデルを前提としている。 ...状態方程式 ...観測方程式 （,は標準正規分布に従う乱数） 観測可能（取得可能）なデータはで、それを使って状態方程式（状態変数）の推定や,等の各パラメーターを推定したり、状態変数の予測をしたりする。粒子フィルタの線型版。 なにはともあれRでカルマンフィルタを使うためのパッケージをインストールしておく。 （他にもsspirというのもあるけど、ぱっと見の使いやすさからこれ使ってる） install.packages("FKF") 簡単な例として以下のようなモデルを考える。 このモデルに合わせて、データを作成。は0とした。はの推計精度を分散で指定する。ここではモデルパラメーター,が不明として、それを推定することを考える。（実際にはそれぞれ2と1） library(FKF) ## alpha[t+1] = alpha[t] +
KalmanFilter の動きを可視化する 二次元版 - StatsFragments
こちらのつづき。一次元での動きはわかってきたので、今回は二次元でやってみる + KalmanFilter の予測 F を入れてみる。 二次元への拡張 まず以下の条件で考える。 二変数は とし、それぞれ独立に動く 観測誤差は それぞれの成分で独立 真値の予測, システムの入力はなし ( , ) 真値の誤差は時間変化しない ( ) 真値と観測値は同じ座標系 ( ) ※アニメーション部分のコードはちょっと汚いので省略 / gist に添付。 set.seed(1) # 観測系列のサンプルサイズ n <- 100 # 真の値 x <- c(rep(0, n / 4), seq(0, 10, length.out = n / 4), rep(10, n / 4), seq(10, 0, length.out = n / 4)) y <- c(seq(0, 10, length.out = n / 4
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
人は一ヶ月でエンジニアになれるのか - 詳細解説
言語処理100本ノック 2015
特徴ベクトル変換器を作った話 #dogenzakalt
