統計学的検定に対するある拒絶反応
「この最後の信頼区間の使い方違和感ありません？」と言われて、「仮説検定はいらない（Request for Comments｜ご意見求む）」と言うブログのエントリーを見てみたら、色々と統計学への誤解が積み重なっており、さらにデータが仮説を裏付けないと言う事実に拒絶反応を示していた。色々と問題があるのだが、気付いたところを幾つか列挙してみたい。 1. 仮説検定は基本的に行うべき 問題エントリーで『「施策の効果をテストしたいな」「はい。仮説検定」って、それってのび太くんにとって有益なの？』と言っているが、仮説検定をしないのはむしろ有害に思える。やっても毒にも薬にもならない事もあるわけで、そういう状況を示せ無いようなデータ分析にどれほどの意味があると言えるのであろうか。創意工夫した施策の効果が有意性無し（＝施策の効果があるとは言えない）と言われたら面白くは無いであろうが、必ずしも都合の良い結果が出
データ分析を「させる（依頼する）」側に最低限知っていて欲しい4つの分析コンセプト - 渋谷駅前で働くデータサイエンティストのブログ
世の中データ分析部門を立ち上げる企業が増えてきて、「データサイエンティスト」と名乗ろうが名乗るまいがデータ分析者を置いて様々なビジネス上のデータを分析させるところが目立ってきました。 でも、一方で実際のデータ分析者たちが何をやっていて、どういうアウトプットを出しているのか？について、きちんと理解している人はあまり多くなさそうに見えます。うっかりすると、「金とデータは渡すから良きに計らえ」*1ってところも少なくないかも。。。 それではあまりにもざっくりし過ぎているので、実際のデータ分析者がどんなことをしているのかを、超絶大ざっぱに4つに分けてみました*2。即ち、「回帰・分類・推定・予測」の4つのコンセプトです。今回はこの4つのコンセプトについて、データ分析を「させる（依頼する）」側の人たちに出来る限り分かりやすく説明してみようと思います。 ということで、データ分析を「させる（依頼する）」側の
銀座で働くデータサイエンティストのモデル選択について
『今さら人に聞けない「重回帰分析の各手法の使い分け」 』と言うブログのエントリーがあって、一般化線形モデル（GLM）の使い分け（Rの関数glmとパッケージMASS）の説明がされているのだが、理系実験室から出てきた人のせいか、色々と怪しく感じる所がある。純粋文系プログラマとして問題点を指摘してみたい。 1. 離散データだから最小二乗法が使えないわけではない 全体として、モデルの説明がおかしい。推定モデルの使い分けが良く分かってい無い気がする。問題のエントリーには、『クリック数という「カウントデータ＝離散値データ」』だから『普通の線形回帰』と表現されている一般最小二乗法（OLS）は正しく推定できない可能性があるので、ポアソン回帰モデルや負の二項分布回帰モデルにしようと言っている。しかし、離散データでもプロビットのような二項/多値選択モデルであったり、切り落としのトービット・モデルで無い限りは、
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
プログラマとして30年以上の経験から得た教訓 | POSTD
私は、プログラマとして30年以上仕事をしてきた中で、学んだことがあります。そのいくつかを以下にご紹介します。もっと挙げることもできますよ。 実物を見せないと、顧客の希望は分からない。 このことは最初の仕事で学びました。顧客は、実物を見るまでは、何が本当に必要なのかがよく分かりません。言葉で長々と説明するよりも、機能検証のためのプロトタイプを提示する方が確実に役立ちます。 十分な時間があれば、あらゆるセキュリティは破られる。 現代社会において、セキュリティを保つことは信じられないほどの難題となっています。プログラマは常に完璧を求められますが、ハッカーは1回でもハッキングができれば成功なのです。 セキュリティが破られた場合、事前にその状況に備えた対策を講じているかどうかで結果が変わってくる。 最終的にセキュリティが破られることを想定する場合、その時に起こることに備えて対策を立てておく必要があり
はてな科学ブロガーのまとめ - アレ待チろまん
2014-10-02 はてな科学ブロガーのまとめ ブログ 科学 はてなブロガーまとめを読んだ。このまとめに科学ブロガーが全く入ってなかったのでついまとめてしまった。反省はしている。 はてなブロガーまとめ（再） Tophatenarをベースに僕の独断と偏見に基づいて並べました。抜けてる有名人がいたら教えて下さい。 はてな科学ダイアラーid:NATROM ニセ科学批判で超有名。本も出しているお医者さん。 NATROMの日記 id:scicom 病理医の榎木先生。 科学政策ニュースクリップ id:warbler アンチニセ科学のサイエンスライター。 warblerの日記 id:semi_colon 一世を風靡した超人気生物ブロガー。現在はブログ運営停止中。 過去の蝉コロン 蝉コロン id:active_galactic 宇宙とか物理とかやってる人。 Active Galactic : 11次元
在日韓国・朝鮮人はなぜ帰化をしないのか？
「在日はなぜ帰化しないのか」と言う当初は事実誤認が多かった*1池田信夫氏のエントリーをもとに、なぜか終戦直後の朝鮮人の地位を巡る話が続いたようだ（togetter）。しかし、池田氏のエントリーからそうなのだが、今でも帰化しない人々が多くいることの説明になっていない。また池田氏もその批判者も、当時の複雑な状況は無かった事にしている。 1. 終戦後、全ての在日朝鮮人に日本国籍が与えられなかった経緯 1945年8月の終戦によって朝鮮*2の喪失は予定されたことになった*3が、具体的な処理が確定していなかったので、朝鮮人の日本国籍は保持されていた。政府は処理が確定するまで従来通りの扱いを行なおうとしたが、帝国議会で清瀬衆院議員が少数民族の集団が政治力を持つ事を強く懸念し*4、非日本人になる事を前提とした取り扱いとなっていく。1945年12月の選挙法改正、1947年5月の外国人登録令にはこういう背景が
自称、統計学をやっていますとドヤ顔するものなので - 驚異のアニヲタ社会復帰の予備
赤ちゃんに保湿剤を塗るとアトピー性皮膚炎が減るらしい。 赤ちゃんに毎日保湿剤 アトピー減 生後まもない赤ちゃんの皮膚に保湿剤を毎日塗ると、アトピー性皮膚炎になるリスクを30%減らすことができたとする研究成果を、国立成育医療研究センターのグループが発表しました。 特定の方法にアトピー性皮膚炎の予防効果があると証明できたのは、これが初めてだということです。 この研究を行ったのは、国立成育医療研究センターの斎藤博久副研究所長らのグループです。 グループでは、アトピー性皮膚炎になった家族が1人以上いる、生後まもない赤ちゃん118人を無作為に半分に分けました。 そして、一方のグループの赤ちゃんには、一般の薬局などで売られている保湿剤を毎日、全身に塗り、もう一方のグループでは皮膚の乾燥している部分にのみワセリンを塗りました。 そして8か月後に調べたところ、保湿剤を塗った赤ちゃんのグループでは19人がア
タンポンを使用してみた感想
20代女性、非処女です。タンポンを一箱（8コ）使い切ったのでその話をします。 購入～開封使用したのはユニ・チャームの「ソフィ ソフトタンポン コンパクト レギュラータイプ」という商品。おそらくもっともメジャーな商品で、生理用品コーナーはナプキンは色々な種類がおいてあるけれどタンポンはこれだけ、となっているような所も多いです。コンビニで見かけるとしても「ソフィ」というシリーズのもの。コンパクトというのは、詳しくは後述しますが吸収体を膣内に入れるための筒が、ジュースに付いているストローのように縮こまって売っていて使うときは引き伸ばすというタイプです。レギュラーというのは血を吸収できる量で、ライトとスーパーもあるようです。 観光地のコンビニ（お泊りグッズ関係はやたらと充実していました）で買いました。個数は一番少なくて8コいり1箱（ナプキンのような袋ではなく、紙箱）でした。中には、ナプキンの個包装
藤田晋がムカついたことを正直に日経に書いた結果ｗｗｗｗｗｗｗ - やまもといちろうBLOG（ブログ）
いきなり２ちゃんねる系まとめサイトテイストのタイトルを付けましたが、他意はありません。 派手に炎上しております、サイバーエージェントの藤田晋社長。 面白いので是非お読みください。 私が退職希望者に「激怒」した理由 （藤田晋氏の経営者ブログ） http://www.nikkei.com/article/DGXMZO77749270Q4A930C1000000/ 社員が会社を辞めるのは自由なのに、転職社員をNIKKEIで罵倒し、魅力のなさを公言してしまった藤田晋氏の器 http://blogos.com/article/95604/ たしかに、かさこ氏が書いておられるとおり、ここのところだけ読みますと微妙なところなんですよね。本来のテーマである退職者や企業文化の是非というよりは、藤田さんのアナル基礎土木の問題であり、安全確保のための大規模な建設拡張工事が近隣住民から求められていてもおかしくな
【閲覧注意】 #社畜童謡 が秀逸すぎてｗｗｗ見ていて辛い・・・
よんてんごP @yontengoP 手取りが30 手取りが30 何しよう～♪ 何しよう～♪ 何もしないで 何もしないで 寝ていたい～♪ 寝ていたい～♪ (『グーチョキパーでなにつくろう』) 同僚「朝から何を」 俺「また電車の中で思いついちゃったんだよなぁ… #社畜童謡 #大人の童謡 ってネタを」 2014-10-02 09:16:40 よんてんごP @yontengoP 土日が休み 土日が休み 何しよう～♪ 何しよう～♪ 何もしないで 何もしないで 寝ていたい～♪ 寝ていたい～♪ (『グーチョキパーでなにつくろう』) 同僚「展開同じじゃないですか」 俺「それだけ俺の決意は変わらん、ってことだよ」 #社畜童謡 #大人の童謡 2014-10-02 09:18:07
高齢者の嗅覚機能低下、5年以内の「死期」示唆か 米研究
仏中部オルム（ormes）にある化粧品メーカーの研究室で、製品の臭いを嗅ぐ関係者（2010年2月24日撮影、資料写真）。(c)AFP/ERIC PIERMONT 【10月2日 AFP】高齢者における嗅覚機能の低下は、以降5年間に死亡する可能性を高い確率で示唆する「前兆」であるとした研究論文が、1日の米オンライン科学誌プロスワン（PLOS ONE）に掲載された。 研究論文は「全米社会生活健康加齢プロジェクト（National Social Life, Health and Aging Project、NSHAP」の一環として行われた初の在宅調査の結果を基にしたもので、この調査を通じて年齢57～85歳の調査対象者のうち、嗅覚に関する簡単なテストで正確に答えることができなかった人の39％が、その後の5年以内に死亡していたことが判明している。また、嗅覚機能に軽度の低下が認められた人と健全な状態と判
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ログミーBiz