【雑想】「統計学なんて前時代的倫理観念の遺物は一刻も早く法律で禁止しろ」？ - 諸概念の迷宮（Things got frantic）
最近のネット上における反知性主義の吹き上がり、おそらく21世紀に入ってから表面化してきた「インテリ階層の死」と密接な関係があるのです。 その結果、彼らが「蓋」となって押さえ込んできた魑魅魍魎が… 今回の投稿の発端は以下のTweet 恥ずかしながら知らなかったんですが、かの有名なirisデータセットに関して、著者のロナルド・フィッシャーが優生学に傾倒していたことから、使用を控える流れになってきているんですね。代わりに提案されているのはパルマーペンギンのデータセットだそう🐧。https://t.co/yPtpIBZfwC — Naoki Maejima (@naoki_maejima) 2022年2月8日 くだらないキャンセルカルチャー🔥も将来的に優生学同様嫌われる可能性があるので、ペンギンのデータがずっと使えることを祈るしかない😂 平均への回帰もいつかタブーになるな https://t
Spurious Correlations
correlation is not causation random · discover · next page → don't miss spurious scholar, where each of these is an academic paper View details about correlation #3,022 Violet's Vortex: A Correlative Analysis of the Name Popularity and Fossil Fuel Use in Equatorial Guinea Show GenAI's made-up explanation As more and more people were named Violet, the demand for violet-colored cars skyrocketed. Thi
ファジングと統計学 - Qiita
はじめに 本稿ではファジングのシードスケジューリング問題に対する統計学的なアプローチについてまとめる。統計学、強化学習の基礎、特に二項分布と標本検定および多腕バンディット問題については既知とする。 ファジングとはソフトウェアのバグ(特に脆弱性)を発見するためのソフトウェアテストの一種で、テスト対象のプログラムに多種多様な入力を与えて実行し、何らかの不具合を生じさせた入力を記録していくテスト方式だ。勿論複数の入力が同一のバグ(root cause)を引き起こしている可能性もあるため、これらの記録された入力はファジング後のトリアージというプロセスでバグと1:1に対応する様にDeduplication(重複除去)され、データベースに記録される。この一連の流れをファジングキャンペーンという。 GoogleのOSS-Fuzzの例 ランダムテストとの最大の違いは、ファジングはプログラムを実行した際の状
Bizarre Insights From Big Data
By Quentin Hardy March 28, 2012 8:17 pm March 28, 2012 8:17 pm Sometimes unexpected data sources offer big insights. On Sunday, The New York Times ran my article about Gilad Elbaz, who made a fortune helping Google map the Internet. He is now building a company called Factual, which he hopes will be one of the world’s largest and most accurate repositories of facts. The idea is to have a lot of da
私たちはいかにして環状線で”悪さをする列車”を捕まえたか | プログラミング | POSTD
文：Daniel Sim 分析：Lee Shangqian、Daniel Sim、Clarence Ng ここ数ヶ月、シンガポールのMRT環状線では列車が何度も止まるものの、その原因が分からないため、通勤客の大きな混乱や心配の種となっていました。 私も多くの同僚と同じように環状線を使ってワンノースのオフィスに通っています。そのため、11月5日に列車が止まる原因を調査する依頼がチームに来た時は、ためらうことなく業務に携わることを志願しました。 鉄道運営会社SMRTと陸上交通庁（LTA）による事前調査から、いくつかの電車の信号を消失させる信号の干渉があり、それがインシデントを引き起こすことが既に分かっていました。信号が消失すると列車の安全機能である緊急ブレーキが作動するため、不規則に電車が止まる原因となります。 しかし8月に初めて発生した今回のインシデントは、不規則に起こっているように見えるた
Benford's law - Wikipedia
The distribution of first digits, according to Benford's law. Each bar represents a digit, and the height of the bar is the percentage of numbers that start with that digit. Frequency of first significant digit of physical constants plotted against Benford's law Benford's law, also known as the Newcomb–Benford law, the law of anomalous numbers, or the first-digit law, is an observation that in man
因果関係がないのに相関関係があらわれる４つのケースをまとめてみたよ（質問テンプレート付き） - Take a Risk：林岳彦の研究メモ
どもっす。林岳彦です。ファミコンソフトの中で一番好きなのは『ソロモンの鍵』です*1。 さて。 今回は、因果関係と相関関係について書いていきたいと思います。「因果関係と相関関係は違う」というのはみなさまご存知かと思われますが、そこをまともに論じていくとけっこう入り組んだ議論となります。 「そもそも因果とは」とか「因果は不可知なのか」のような点について論じるとヒュームから分析哲学（様相論理）へと語る流れ（ここのスライド前半参照）になりますし、統計学的に因果をフォーマルに扱おうとするとRubinの潜在反応モデルやPearlのdo演算子やバックドア基準（ここのスライド後半参照）の説明が必要になってきます。 その辺りのガッツリした説明も徐々に書いていきたいとは考えておりますが（予告）、まあ、その辺りをいちどきに説明しようというのは正直なかなか大変です。 なので今回は、あまり細かくて遭難しそうな話には
隠れマルコフモデルの例
隠れマルコフモデルの例 その２ Pythonで隠れマルコフモデルのFilteringの例 Pythonで隠れマルコフモデルのSmoothingの例 隠れマルコフモデルとは、システムがパラメータのわからないマルコフ性を持つとする確率モデルです。マルコフ性とはその過程の将来状態の条件付き確率分布が、現在の状態のみにより決まり、過去のどんな状態にもよらないという特性のことです。ここではこのモデルの例を記します。 ある友達が遠くに住んでいて、毎日何をしたかをあなたに電話で話します。友達は「散歩」「買物」「掃除」の3つのことにしか関心がありません。友達が何をするかはもっぱらその日の天気で決めます。あなたは友達が住んでいるところの天気の明確な情報は持っていません。でも、どんな傾向があるかは知っています。友達が日々電話で話す出来事に基づいて、友達が住んでいるところの天気を推定してみましょう。 天気は離散
東日本大震災ビッグデータワークショップ Project 311に「野良分析チーム」として参加した - 糞糞糞ネット弁慶
概要 当時をデータで振り返った時に、本当に必要なサービスは何だったのか、次の災害に備えるために、今我々はどんな準備をすればよいのでしょうか？ 「東日本大震災ビッグデータワークショップ - Project 311 -」 では震災発生から１週間の間に実際に発生したデータを参加者に提供いたします。参加者はそのデータを改めて分析することによって、今後起こりうる災害に備えて、どのようなことができるかを議論し、サービスを開発することができます。 東日本大震災ビッグデータワークショップ - Project 311 - Googleが主催し，様々な会社から提供されたデータを用いて分析/サービス開発を行うワークショップに@haraponさんと「野良分析チーム」を組んで参加した．ちなみに@haraponさんとはTwitterやはてなブックマークでやり取りする程度の間柄であり，これまで一度も会ったことはなく，最
Excel 高速化ソリューション on PRIMERGY
高性能HPCをもっと手軽に。 用途で選べる、富士通のPCクラスタシステム 0.00 50.00 100.00 150.00 200.00 250.00 300.00 実行時間(sec) 並列数別実行時間 長時間かかる大量のExcel計算を、並列処理で大幅に時間短縮 Excel 高速化ソリューション on PRIMERGY Page 1 of 2 業務にご利用のExcel VBA処理に時間がかかりすぎていませんか？ Windows HPC Server 2008 R2 (HPC Services for Excel 機能) ＋ PCサーバ PRIMERGY 複数台で、 Excel ブックを並列に処理することにより、Excel VBA 処理待ち時間を大幅に短縮できます！ Windows HPC Server 2008 R2 および Excel 2010の導入と、CPUリソースを有効に使うた
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011 2011/02/22 [登壇後エントリ] ：" 「モバゲーの大規模データマイニング基盤におけるHadoop活用」－Hadoop Conference Japan 2011 #hcj2011 で登壇してきました " http://d.hatena.ne.jp/hamadakoichi/20110222/p1Read less
研究者の多くはエラーバーの意味をろくに理解していない - 音風景ブログ
研究者の多くはエラーバーの意味をろくに理解していない 今日、私は認知科学日記の読者がエラーバーをどれだけ理解しているかを問うオンライン投票を開始した――エラーバーとはよくグラフに乗っている、あの小さなI字型の、統計学の賜物である。正しく理解していないだろうということは、大体予想済みである。なぜそんなに自信があるかって? それは2005年、サラ・ベリア(Sarah Belia)らのチームが、最前線の心理学、神経科学、医学ジャーナルに論文を掲載したことがある数百人の研究者を対象に行った研究成果があるからである。彼らのうちエラーバーと有意さの関係について正しい知識を示したのはほんの一握りであった。論文を掲載した研究者たちができないなら、どうしてカジュアルなブログの読者ができることを前提としてよいだろうか? 信頼区間 まずそもそも、問題の解決法を知るため、少々の説明が必要である。信頼区間というコン
“統計の基礎を無視している”Hadoop使いが考えるビッグデータ
Hadoopをバッチ処理の高速化に活用しているノーチラス・テクノロジーズは、ビッグデータのブームに真っ向から異論を唱える。「ビッグデータは中身のないバズワード」と断言する代表取締役社長 神林飛志氏に、その真意を聞いた。 Hadoop＝ビッグデータは大きな誤解 ノーチラス・テクノロジーズは、基幹系システム向けのミドルウェアを手がける国産ベンチャー。Webサービスのように決して派手ではないが、「そもそもダウンすると、飛行機が飛ばないとか、病院で人が死んでしまうとか、電車が動かないとか、生活に影響が出る分野」（神林氏）という、まさにミッションクリティカルな領域のITで、同社の製品は活用されている。 同社の「Asakusa Framework」は、Hadoopを活用した分散処理により、基幹系バッチの高速化を実現する。神林氏は、「Hadoopというと、WebやSNS系、BIやデータ解析での使い方がメ
)
Profiling (computer programming) - Wikipedia
Graphical output of the CodeAnalyst profiler Program analysis tools are extremely important for understanding program behavior. Computer architects need such tools to evaluate how well programs will perform on new architectures. Software writers need tools to analyze their programs and identify critical sections of code. Compiler writers often use such tools to find out how well their instruction
Opinion：君はベイジアン・ネットワークを知っているか？（7/9） - ＠IT
多摩川がタマちゃん騒動で盛り上がっていた2002年9月1日、「ベイジアンネットセミナーBN2002」という研究会が東京一ツ橋の学術総合センターで開かれていた。 ベイジアン・ネットワーク（Bayesian Network）とは、不確かな出来事の連鎖について、確率の相互作用を集計する手法で、知能情報システム構築の有力な手段になっている。「不確実性を扱うための計算モデル」として、認知科学（知能の仕組みや働きなどを解明する科学）、機械学習（経験や学習によって自身が進化するような機械システム）、データ・マイニング（膨大な量のデータの中から特徴や「意味」などを見つけ出す技術。マイニング【mining】とは山から資源などを掘り出す、採鉱／採掘という意味）、ロボティクス（ロボット工学）、ゲノム解析などに応用が広がっている。このセミナーは、産業総合技術研究所（元電子技術総合研究所、経済産業省傘下）が中心にな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
統計的有意性と P 値に関する ASA 声明
After analysing 4,000 films, researchers confirm that Bollywood movies are still crazy sexist
YouTube｜bigdataproject311
Google Prediction API — Google Developers
確率ネットワークと知識情報処理への応用