単なる統計使いを少しだけ誠実にしてくれる「科学と証拠─統計の哲学入門」
戦後、W・エドワーズ・デミングが生産現場に品質管理の概念を持ち込み、最近はデータサイエンティストが名乗る人が大量に蓄積されたデータを分析する事が流行っているので、日本にも学術分野に限らず統計ユーザーは少なく無い。最尤法、階層ベイズ、仮説検定と言った手法が駆使されている。しかし、それらの手法は必ずしも一貫した哲学によって裏打ちされているものではない事を知らない人は多いかも知れない。 道具として統計学を用いている人々の多くは、データへの適合度など実務的な機能や性能に関心が集中し、その背景にある統計哲学には注意は払っていないように思える。しかし、日々の業務としてはそれでいいのかも知れないが、自らが用いている科学的方法論に関心が無いと言うのも不誠実であろう。そこには規範的な問題があるからだ。「科学と証拠─統計の哲学入門」は、統計と言うツールの背景にある哲学を詳しく解説した本で、統計ユーザーを少しだ
ブレインストーミングは役立たず
パリ国立高等鉱業学校のAkin Kazakci博士と他3名の研究者が比較実験を行い、ブレインストーミングで様々な角度から多くのアイデアを出すことは、アイデアの質を高めないと指摘している（Mail Online）。アイディアの量が質に転換するという、ブレインストーミングのキャッチコピーは間違いだったようだ。この結果は来月のDesign Computing and Cognitionカンファレンスで報告されるそうだが、雲を掴むようなアイディアを並び立てる上司にぜひ教えてやりたい結果となっている。 実験は30名の被験者に行われた。被験者は研究開発分野で平均12年の経験を持つ設計技師と工業デザイナーで構成されており、それぞれ3名づつ10グループに分かれて南極を体感できる移動ができて環境にやさしい博物館のデザインを行うと言う曖昧な課題が与えられた。そして、90分間の時間でデザインをA3の用紙に書き出
回帰モデルにおける統計学的な一次式と二次式の選択方法
統計学の教科書のF検定のところなどを読めば書いてあると思うが、線形回帰モデルにおける一次式と二次式の選択は、現代的には統計学的に、つまり機械的に行える。目視で明らかに分からないケースでは、こういう手法が便利だ。 具体例がある方が分かりやすいと思うので、乱数からケースA、Bをプロットしてみた。一次線形、二次曲線、どちらが選択されるであろうか？ 1. 自由度調整済相関係数を見る 重相関係数を見てみよう。ケースAは0.646と0.661だ。しかし変数が多い方が当てはまりが良くなるので、自由度調整を行う。するとケースAは0.622と0.611。ケースBは0.887と0.911。ケースAは一次線形、ケースBは二次曲線だと予想がつく。 2. F検定を行ってみる F検定を行おう。誤差がどれぐらい減ったかを検定する方法で、大雑把に一次式が正しい確率が計算される。ケースAはF値0.61だから44.4%の確率
猫にも錯視がある
► 2024 (11) ► 3月 (7) ► 2月 (3) ► 1月 (1) ► 2023 (71) ► 12月 (7) ► 11月 (2) ► 10月 (4) ► 9月 (10) ► 8月 (6) ► 7月 (6) ► 6月 (8) ► 5月 (5) ► 4月 (2) ► 3月 (6) ► 2月 (9) ► 1月 (6) ► 2022 (88) ► 12月 (3) ► 11月 (3) ► 10月 (7) ► 9月 (5) ► 8月 (9) ► 7月 (8) ► 6月 (9) ► 5月 (8) ► 4月 (8) ► 3月 (10) ► 2月 (11) ► 1月 (7) ► 2021 (64) ► 12月 (5) ► 11月 (6) ► 10月 (9) ► 9月 (4) ► 8月 (7) ► 7月 (10) ► 6月 (2) ► 5月 (3) ► 4月 (3) ► 3月 (6) ► 2月 (
インフルエンザ・ウイルスはタイマー付
► 2024 (11) ► 3月 (7) ► 2月 (3) ► 1月 (1) ► 2023 (71) ► 12月 (7) ► 11月 (2) ► 10月 (4) ► 9月 (10) ► 8月 (6) ► 7月 (6) ► 6月 (8) ► 5月 (5) ► 4月 (2) ► 3月 (6) ► 2月 (9) ► 1月 (6) ► 2022 (88) ► 12月 (3) ► 11月 (3) ► 10月 (7) ► 9月 (5) ► 8月 (9) ► 7月 (8) ► 6月 (9) ► 5月 (8) ► 4月 (8) ► 3月 (10) ► 2月 (11) ► 1月 (7) ► 2021 (64) ► 12月 (5) ► 11月 (6) ► 10月 (9) ► 9月 (4) ► 8月 (7) ► 7月 (10) ► 6月 (2) ► 5月 (3) ► 4月 (3) ► 3月 (6) ► 2月 (
対海賊ロボットはバーベル型
► 2024 (11) ► 3月 (7) ► 2月 (3) ► 1月 (1) ► 2023 (71) ► 12月 (7) ► 11月 (2) ► 10月 (4) ► 9月 (10) ► 8月 (6) ► 7月 (6) ► 6月 (8) ► 5月 (5) ► 4月 (2) ► 3月 (6) ► 2月 (9) ► 1月 (6) ► 2022 (88) ► 12月 (3) ► 11月 (3) ► 10月 (7) ► 9月 (5) ► 8月 (9) ► 7月 (8) ► 6月 (9) ► 5月 (8) ► 4月 (8) ► 3月 (10) ► 2月 (11) ► 1月 (7) ► 2021 (64) ► 12月 (5) ► 11月 (6) ► 10月 (9) ► 9月 (4) ► 8月 (7) ► 7月 (10) ► 6月 (2) ► 5月 (3) ► 4月 (3) ► 3月 (6) ► 2月 (
ベイズ推定を知っているフリをするための知識
最近はベイジアンが増えてきて、実用分野での利用も進んでいるようだ。話題としては知っておきたいが、世間一般には理解に混乱を生んでいるようだ。 ベイズ推定は入門レベルの統計学の教科書ではオマケ的な扱いがされており、実際に伝統的な統計手法を拡張している面が強い。そういう意味では、誤解や混乱があっても仕方が無い。 利用する必要があるのか無いのか良く分からない点も多いのだが、知らないと告白するのも気恥ずかしいかも知れない。自分ではベイズ推定で分析を行わない人が、ベイズ信者と話をあわせるために最低限知っておくべき事をまとめてみた。 1. ベイズ推定とは何か？ ベイズ推定とは、ベイズの定理を応用した推定手法だ。端的に理解するためには、最尤法に事前確率を導入している事だけ覚えれば良い。これで哲学的議論を全て回避してベイズ推定を把握することができる。 下の(1)式ではπ（θ）が事前確率、π(θ|x)が事後確
データマイニング・アルゴリズムのトレンド
HDDの大容量化と分散処理技術の発達でビッグデータの処理が容易になってきたので、ここ数年はデータマイニングが地味なブームになっている（NYT - For Today’s Graduate, Just One Word: Statistics）。2000年代前半のデータウェアハウスのブームではコンセプトだけが先走っていた（大園(2002)）ので、随分と地に足がついた感じだ。しかし人気のアルゴリズムを見ている限りは、まだ十分にデータ分析がされているように思えない。 1. 10年間でソフトウェア的に進歩 地に足がついていると言うのは、ソフトウェア的に色々な面で進歩が見られたことだ。ビッグデータの利用が可能になった事から、応用事例が増えているように思える。 1. 分散処理技術の進歩によるビッグデータの利用 ハードウェア技術の進歩による高速化も著しいが、分散処理技術の進歩はビッグデータの利用を容易に
地震の発生確率について、文系らしく説明してみる
元総務大臣の竹中平蔵氏が、地震の発生確率についてラフに計算した数字をtwitterでつぶやいたので反響を呼んでいる。 この先一年、一ヶ月で考えれば確率は小さいと言いたかっただけなので、適当につぶやいたと思うのだが、『正しい確率計算』に関して錯綜した意見が飛び交っていたので、文系らしく説明してみる。 1. 周期性の有無で確率分布が変わる 地震の発生確率の予測は、まず確率分布を仮定し、過去の発生間隔をあてはめることになる。 ここで周期性が無い場合は指数分布を、周期性が有る場合は対数分布やワイブル分布、BPT分布をあてはめる事になる。 分布が変わると、大きく確率は変化する。特に指数分布と、その他の分布では何倍もの差になるので、どちらを採用するかで世界が変わる。 2. 確率分布はBPT 東海地震の発生確率の予測には、Brownian Passage Timeと呼ばれる確率分布が予測に使われている。
PHPの浮動小数点の精度は･･･あれれ？
どうも最近のPHP（5.2.7と5.3以降）の浮動小数点の処理は、一定以上の桁数で直感的な値を返して来ないようになっているらしい。 浮動小数点は処理系で精度が変わるものだし、実用上は14桁もあれば十分な事が多いが、一部のマニア級PHPerの混乱を招いているようだ。 例1. 1000000000000000.123を四捨五入すると1000000000000000.123になるのは仕様です(｀・ω・´)ｷﾘｯ 詳細は「PHPの新しいround関数にバグをみつけた」に詳しいが、一般的なコンピューティングの常識と反する四捨五入のルールをPHPは持っている。 最初、浮動小数点などそんなものだと思ったのだが、C (gcc 4.4.3)とJava 1.6.0_24とPython 2.6.5は1000000000000000.0を返すので、PHPの動きが奇妙な事が分かる。なお、気付いた人はバグだと報告をし
柏崎刈羽と福島第二の停止中原子炉は早期に運転を再開すべき
東京電力の藤本孝副社長は3月17日に会見で、原発の再開無しでは供給能力は4800万kWにとどまり、夏の電力需要最大6400万kWを下回るとの見通しを明らかにした（毎日jp）。休止中の古い火力発電所や、LNGガスタービンを用いた発電所の新設を計画しているようだが、単純に柏崎刈羽原発と福島第二原発の停止中原子炉の早期運転再開を目指すべきであろう。 1. 小規模LNG発電所新設では間に合わない 現在の電力供給能力は3350万kWなので、4800万kWは停止中の火力発電所の送電再開後の値となる。1600万kW分の差を埋めるには、30万kWのLNG発電所を50基以上設置する必要がある。 一方、柏崎刈羽と福島第二の停止中原子炉7基の発電量は770万kWにのぼり、LNG発電所で22箇所分の発電量となる。女川原発も再開されれば、東北電力から東京電力に行える電力融通も多くなるため、電力不足を大幅に緩和できる
.NETがC++に駆逐される？
Evernoteとロンドン証券取引所（LSE）に共通点があるのだが、何かお分かりであろうか？ Evernote for Windowsはバージョン3.5までは、.NETとWPFで書かれていたが、Evernote for Windows 4.0からはC++のネイティブ・アプリに書き換えられた（Evernote日本語版ブログ）。レスポンスを含めたユーザビリティの向上が目的のようだ。 ロンドン証券取引所は、Windowsと.NETベースのシステムから、Linux上で動くC++ベースのシステムMillennium Exchangeに変更になった（Computerworld.jp）。応答速度やスループット、開発における主導権の保持が目的のようだ。 つまり、どちらも.NETからC++に移行した事例であって、速度向上を一つの目的としている。Evernoteは2010年10月27日、ロンドン証券取引所は2
Javaも計算ができないヤツだった
► 2024 (11) ► 3月 (7) ► 2月 (3) ► 1月 (1) ► 2023 (71) ► 12月 (7) ► 11月 (2) ► 10月 (4) ► 9月 (10) ► 8月 (6) ► 7月 (6) ► 6月 (8) ► 5月 (5) ► 4月 (2) ► 3月 (6) ► 2月 (9) ► 1月 (6) ► 2022 (88) ► 12月 (3) ► 11月 (3) ► 10月 (7) ► 9月 (5) ► 8月 (9) ► 7月 (8) ► 6月 (9) ► 5月 (8) ► 4月 (8) ► 3月 (10) ► 2月 (11) ► 1月 (7) ► 2021 (64) ► 12月 (5) ► 11月 (6) ► 10月 (9) ► 9月 (4) ► 8月 (7) ► 7月 (10) ► 6月 (2) ► 5月 (3) ► 4月 (3) ► 3月 (6) ► 2月 (
IPv6間に合わなかったね
毎日jpやGihyo.jpに転載もされた『IPv4アドレス枯渇。その意味と恐らくこれから起きること』という記事の後半で、「IPv6間に合わなかったね」について議論をしている（Geekなぺーじ）。枯渇しないでIPv6が普及したら、IPv6の必要性を実感できないという論調なのだが、もう少し現実的かつ技術的に考察してみたい。 1. IPv4枯渇前に、IPv6に対応できたもの IPv6は1995年に最初の仕様が定められ、2000年までに主な仕様が固められた。10年以上の歴史があり、以下のように基幹技術は十分に成熟している状態だ。この点においては、IPv4枯渇以前に、IPv6の成熟が間に合ったと言えるだろう。 1.1. ネットワーク機器 ケーブルやハブ、無線LANのAPなどのL2以下の層の機器は元から問題ない。ルーターなどのL3以上の機器は対応が必要だが、家庭用を含めて対応製品が大半になって来ている
Javaはスクリプト言語より速い･･･のか？
『プログラミング言語人気TOP10の簡易解説』という記事が人気を呼んでいたのだが、軽快な語り口で面白い読み物だが、語弊がありそうな部分がある。その中で特に、「（Javaは）実行速度はCに及ばないもののスクリプト言語よりは数十倍速い」とある部分が気になったので、簡単な例で検証してみた。 1. Python、PHP、Java、Cで不適切な速度比較を行う 最初にコーディングが不適切な場合にプログラミング言語の速度比較を行うと、通説と異なる結果になる事を示したい。 Ubuntu Linuxで、オブジェクトをなるべく使わずに、順列の整数を100万個生成し、ランダムにシャッフルし、クイックソートを行ったときの経過時間を、timeコマンドで計測したものだ。ソート前、ソート後に配列の内容を、", "で連結して標準出力に書き出している。また、PythonはAPIをなるべく使ったもの（*無し）と、なるべく使わ
気持ちは分かるが足音が気になる動画
► 2024 (11) ► 3月 (7) ► 2月 (3) ► 1月 (1) ► 2023 (71) ► 12月 (7) ► 11月 (2) ► 10月 (4) ► 9月 (10) ► 8月 (6) ► 7月 (6) ► 6月 (8) ► 5月 (5) ► 4月 (2) ► 3月 (6) ► 2月 (9) ► 1月 (6) ► 2022 (88) ► 12月 (3) ► 11月 (3) ► 10月 (7) ► 9月 (5) ► 8月 (9) ► 7月 (8) ► 6月 (9) ► 5月 (8) ► 4月 (8) ► 3月 (10) ► 2月 (11) ► 1月 (7) ► 2021 (64) ► 12月 (5) ► 11月 (6) ► 10月 (9) ► 9月 (4) ► 8月 (7) ► 7月 (10) ► 6月 (2) ► 5月 (3) ► 4月 (3) ► 3月 (6) ► 2月 (
嘘だといってよ、ドコモ。HT-03Aを見捨てないよね？
HT-03A（欧米ではHTC Magic）は、もっさり端末として人気が無い。これは、2009年7月10日発売の端末で、当時のAndroid OS（1.5/1.6）の完成度が低かったことも影響している。しかしハッカーに売れていたのか、以前から野良Android 2.2（コード名Froyo）が動く端末でもあった。今や非公式ROMイメージをインストールするための端末になりつつある（とりあたまさんのおぼえがき）。 2010年6月に、仏通信事業者SFRが2.2へのアップグレードを予告して、HT-03Aユーザーに期待を持たせた。しかし、公式バージョンアップは中々され無いため、キャリアが見放した端末だと思われはじめた。 ところが何があったのだろうか。12月14日に英ボーダフォンがバージョンアップを実現した（Engadget Mobile）。インドでもアップグレードがされたらしい（Gadgets and
老舗SNSのmixiが何かおかしい
日本を代表するソーシャル・ネットワーキング・サービスのmixiだが、最近は業界での地位が低下しているように感じられる。会員数や収益力でももちろん、その提供サービスの強化においても、迷走を感じるものが多い。 1. SNS市場での地位低下 近年はFacebook、GREE、DeNAが主な競合者になり、特にGREEと比較されることが多いmixiだが、売上で3倍、粗利益で4倍、営業利益で11倍の差をつけられている。 mixiが広告収入、GREEがゲーム内課金に依存した収益モデルであることが収益性に差をもたらしているが、今のところ2,000万人超で競っているとはいえ、2010年7月から会員数もGREEの方が多くなっている。また、GREEと比較するまでもなく、mixiのPVは低下しており、2010年7～9月期の四半期決算は売上や利益も前期を下回った（In the looop）。 2. 新機能に模倣が多
Javaが好きなの嫌いなの？auの方針転換にやや呆れる
ケータイ・アプリは、今やごく一般的なものとなっている。しかし、各社で取り組み方に違いがあり、NTT DoCoMoのiアプリ（DoJa，Star）、ソフトバンク・モバイル（SBM）のS!アプリ（旧V!アプリ）は互換性を保ちつつ発展してきたが、KDDI auは方針転換が激しく右往左往しているように感じる。先日報道されたEZアプリの方針変更は、約8年をかけてもとの状態に戻ったと言え、混迷が際立っている。 1. 変遷するauのアプリ開発プラットフォーム 2001年秋モデルから、J2ME/MIDP（現Java ME）をベースにしたezplus（現EZアプリ(Java)）により、auでアプリが作れるようになった。公式コンテンツプロバイダと非公式アプリ作者向けのプラットフォームで、公式プロバイダには電話帳等も操作できる特殊なAPIを提供しており、2003年秋モデルまでにPhase 1、2、3と進化した。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
十年後の自動車にドライバーは不要？イタリアから中国まで自動運転のバンが走りきる
