統計的因果推論と因果探索について｜M3 Data Science Blog
こんにちは。エムスリーデータ分析グループの中島です。 本記事ではマーケティングやデータサイエンスの文脈で重要度が高まっている統計的因果推論への足掛かりをデータ分析グループの業務と結び付けながらご紹介したいと思います。 1. はじめに「A→Bの因果関係がある」とは、Aへ介入する（Aを変化させる）ことよって、要因Bを変化させることができることを意味します。 具体例で考えると、投薬（A）の有無によって病気の治癒率（B）が変化する場合、投薬→治癒率の因果関係があるといえるわけです。 このような因果関係をデータを活用して解き明かそうとするのが統計的因果推論の目的ですが、大別するとさらに次の２つに分類されます。 (1) 因果の方向を既知のものとして因果の大きさを評価(因果推論) (2) 因果の方向の決定・探索(因果探索) これらの基本的な考え方と手法について紹介をしたいと思いますが、その前に重要な概念
Komiflo on Twitter: "【国内人気エロマンガ統計】エロマンガ読み放題サービスKomifloの集めたデータを基に、2019年の都道府県別人気ジャンルを発表しちゃいます！あなたの住む街ではどんな作品が人気でしょう？https://t.co/bcWLqFkfYl https://t.co/XYYlHeIxwL"
【国内人気エロマンガ統計】エロマンガ読み放題サービスKomifloの集めたデータを基に、2019年の都道府県別人気ジャンルを発表しちゃいます！あなたの住む街ではどんな作品が人気でしょう？https://t.co/bcWLqFkfYl https://t.co/XYYlHeIxwL
食べログ3.8問題を検証 - クイックノート
先日、twitter上で食べログの星の数について、 ある問題が話題になりました。 食べログの闇として話題になったその問題とは、 「評価3.8以上は年会費を払わなければ3.6に下げられる」 というものです。 食べログは飲食店についての口コミを集めるサイトで、 その評価は実際のユーザーによって形成されるものとして広く認知されています。 専門的なグルメリポーターでもなく、 一般の人々の素直な感想を集めることで、 その飲食店のリアルな価値が知れると期待して、 利用しているユーザーも多いでしょう。 それだけに、 「食べログが評価を恣意的に操作しているかもしれない」という話は、 瞬く間にネットで話題となりました。 さて、この話は実際に行われていることなのでしょうか。 食べログでは、当然評価点は公開されているので、 このような恣意的な操作があれば、 何らかの形で偏りが見つかるはずです。 ということで、食
アイマスにおける格差について - いはらいふ
はじめに SS3Aが楽しかった。おかげで喜多日菜子が非常に気になっている。 そんなシンデレラガールズであるが、SSR4週目やスシローの報酬などでまた声付き・声待ち問題が再燃している気がする。 階級間格差の問題は元々マルクス経済学をメインにやっていた自分にとってはかなり身近な話題なので今回は「格差」をテーマにシンデレラガールズおよびミリオンライブ！を研究する。 格差の指標-ジニ係数 ジニ係数（ジニけいすう、英: Gini coefficient）とは、主に社会における所得分配の不平等さを測る指標である。 Wikipediaより 基本的には所得分配の不平等ということだが今回は参加楽曲数およびSSR実装数の不平等について計算していく。ジニ係数の計算はローレンツ曲線という曲線を基にしているが計算過程を説明してもわかりにくいのでとりあえず図を使って説明すると下の図のようになる。 図1.ミリシタSSR
1ヶ月で統計学入門したので「良かった本」と「学んだこと」のまとめ - ぴよぴよ.py
前回の「ゲームプログラマからデータサイエンティストに転職しました」 の記事でもお話したとおり、5月からデータ解析する人になりました。 とはいえ、データ解析に関しては未経験。 少しでも不安を減らすために、4月の有給消化期間は統計学のお勉強しました。 今回はおすすめしてもらった中で読んで良かった本の紹介、そして読んだ本の簡単なまとめを書いて行きたいと思います。 ※前提: 4月時点の自分の知識に関して 自分は大学は情報科学を専攻していたが、難しい数式は苦手 統計学は1コマ分受講していたが、単語を覚えている程度でかなりあやうい まず一番最初に読みたい本 「完全独習 統計学入門」 「簡単に統計学の全体像がつかめる入門書はないか」とTwitterで相談したら、こちらの本を数名の方が薦めて下さった。 完全独習 統計学入門 作者: 小島寛之出版社/メーカー: ダイヤモンド社発売日: 2006/09/28メ
標準偏差とは何か！その求め方と意味を図解で徹底解説
ここでは高校数学で登場し、統計学を学ぶ上でとても重要な役割を担う「標準偏差」について、図解を駆使し、その求め方と意味について解説していきます。 標準偏差の求め方や意味を理解するには、以下の4つのSTEPを踏めば簡単に理解することができます。 標準偏差は「式を覚える」のではなく「イメージ化」することがとても重要です。 4つのSTEPを本質的なイメージで捉えることで「標準偏差とは何か」や「標準偏差はどうやって求めるのか」がスッキリ頭に入ってきますので、ぜひ最後までお付き合い下さい。 標準偏差の求め方 標準偏差を求める式がこちらになります。 いきなりかなり難しい式が登場してきました（汗 この式を覚えることはなかなか厳しいですよね。 ただ、この式の記号のひとつひとつをイメージ化しながら読み解くことで、この難しい式が実はとてもストーリー性のある面白い構造をしていることが分かってきます。 ここではその
出版学会（活字離れ）資料
日本出版学会春季研究発表会（2015年）発表資料（完成版）です。公開まで時間がかかったことをお詫びします。Read less
LASSOでpixivのイラスト閲覧数に対する「萌え要素」効果を分析してみた - Reports
概要 目的: 人を惹きつける萌え要素を知りたい 方法: pixivのタグと閲覧数（PV）データを使って、人気のある（PVが上がりやすい）萌え要素タグを調べた 結論: 残念な美人こと足柄さんはPVの女王。ギャップ萌えとエロ要因がPVに効きそう。 （※: 画像はゆるこた様の "ゆっくりかんむす" の足柄さんを使用しています: 【素材配布】ゆっくりかんむすで第六駆逐隊とみんな！ / ゆるこた さんのイラスト - ニコニコ静画 (イラスト)） はじめに 例えば眼鏡やネコミミ、メイドといった萌え要素はキャラクターの人気を左右する大きな要因の一つであり、どのような萌え要素を持ったキャラクターを採用するか？ はゲームやアニメ、漫画・イラスト・動画、広告などのコンテンツにおいて重要だと考えられます。 ところが萌え要素は非常に多様であり、見る人の趣向や萌え要素の組み合わせによってその意味や効果は大きく異ると
ケーキに３回だけ刃を入れてできるだけ公平に分割したい話 - アジマティクス
今日は楽しいパーティです。 白雪姫は、円形のケーキを作りました。 白雪姫 円形のケーキに上から１回だけ包丁を入れると、最大２分割できます。 ２回包丁を入れると、最大４分割までできます。 では、３回包丁を入れると最大で何分割できるでしょうか。そのまま考えると、６分割でしょうか？ 上図のように切れば、最大で７つに分割することができます。 ちなみに回包丁を入れると最大分割、回だと、回だと、そして回だと最大個のピースに分割できることがわかっています。なるべく多く線が重なるように切ればいいのです。実際にやって確かめてみたい感じありますが、しかし今回の本題はそこではないのでまたこんどにしましょう。 白雪姫は、王子様からもらった大切な包丁をあまり使いたくなかったので、ケーキに３回だけ包丁を入れて７つに分割し、それを７人のこびとたちに下図のように配ることにしました。 こびとたち しかし、このような切り方で
R言語徹底解説を読む (1) ようこそRプログラミング - 僕らはRを愛しすぎてる
この記事が想定する読者層 もしあなたが「プログラマー」ならば、この記事はまるで不要かもしれません。 ここで言うプログラマーとは、たとえば以下のような習慣を持っている人です。 ほとんど同じ処理をソースコード中に2回以上書いていたら違和感を感じる 出力結果が変わらなくても、実行速度や理解しやすさのためにソースコードを書き直すことがある Gitなどのバージョン管理システムを使うことができ、過去のソースコードを「日付の含まれたファイル名でバージョンごとに別ファイルとして保存しておけばよい」とは考えない 動作テストを自動化し、ソースコードを書き換えてもそれぞれの関数の挙動が意図したものになっているかを確認できる この記事は、ひょんなことからRに出会い、コードをコピペで動かせるようになり、 「いつかコピペじゃないコードが書けるようになりたい」 「他のプログラミング言語もできるようになりたい」 とぼんや
Pythonで統計学を学ぶメリットは？勉強の手順も解説
Pythonで統計学を勉強するメリット 統計学を学ぶにあたって、Pythonを利用するメリットを確認しておきましょう。 近年の統計業務は、Pythonを使ったアプリケーションで行うケースが増えており、Web上のノウハウや書籍が充実しています。これらを活用することで、統計学の知識が乏しい状態でも、Pythonを切り口として学習を進めやすくなっています。 煩雑な計算を省略できる Pythonは科学計算処理に必要なライブラリが充実しています。Pythonのライブラリには、統計で用いられる専門的な計算式が内包されており、基礎的な考え方さえ理解していれば、具体的な計算式を知らずとも実践的な統計を実行可能です。もちろん読書や座学でも学習は可能ですが、Pythonを利用することで「煩雑な計算の理解」に時間を取られずにすむため「統計を使ってできること」をダイレクトに理解し易くなるでしょう。 データが簡単に
企画書で使える！無料で統計データが手に入るサイト11選｜SUKIMANO
市場調査の結果など、客観的な統計データがあると企画書やプレゼン資料の信頼感がぐっとアップしますよね。 しかし、統計データを企画書やプレゼンの資料として使いたいと思っても、個人でできる調査には限りがありますし、本格的に調査するとそれなりに費用や時間がかかるのがネックです。 実はネット上には無料で統計データを公開しているサイトがあるので、企画書やプレゼンのテーマに沿った資料が手に入るなら活用しない手はありません。 無料で統計データが閲覧できるサイトを11個まとめましたので、企画書やプレゼンの資料に活用してみてはいかがでしょう。 ①総務省統計局 出典 http://www.stat.go.jp/index.htm 統計データといえば総務省統計局です。 国勢調査、人口推計、住宅・土地統計調査、家計調査、全国消費実態調査、小売物価統計調査、労働力調査などなど、さまざまな統計データを無料で閲覧できます
経験から学びすぎることの危険 ～ゆらぎある事象の原因分析について | タイム・コンサルタントの日誌から
1973年、第四次中東戦争が勃発した。イスラエルに対してアラブ国側が先制攻撃をしかけて始まったこの戦争は、緒戦段階でエジプト軍の地対空ミサイルが効果を上げ、イスラエル空軍機を多数撃墜した。戦争は結局、米国の後押しを得たイスラエル側が、ある程度まで押し返して、わずか2週間ほどで終わる。ただ、この時の余波で第一次石油ショックが起こり、油価の暴騰とエネルギー供給危機に、日本を含む西側諸国は大きな動揺を経験する。 イスラエルの側も、それまで過去の戦争ではアラブ側を圧倒していたのに、大きく面目をつぶした。とくに空軍の損失は甚大で、しかも損失の出方は偏っているようにみえた。たとえば、同じ基地から飛び立った二つの飛行中隊のうち、片方は4機を失ったが片方は無傷だった。このため、損害を被った飛行中隊のどこが悪かったのか見つけようと、調査が開始されていた。しかし一方の中隊がとくにすぐれていると考えるべき理由は
ソフトウェアのための統計学 – 後編 | POSTD
次のステップ 統計学とエンジニアリングを統合する方法はたくさんあるので、うまく始められるように幾つかご紹介しましょう。 計測ツール 統計学の基本に焦点を当ててきましたが、そもそも、どうやって関連するデータセットを生成すればいいのでしょうか？ 私たちの答えは、コンポーネントの計測ツールを構造化することです。しかるべき所に正しいフックを使用すれば、私たちが問題をデバッグするために残業しても、パフォーマンスを向上させるために予備のサイクルがある時でも、データは必要な時に得られます。 PayPalのPythonサービスの堅牢性の多くは、信頼性の高いリモートロギング基盤によるものです。そしてこれは rsyslog と似ていますが、より強力なものです。それでも、データを上流に送信する前に、このプロセスは内部の指標を収集する必要があります。メジャーリリースがもう間近なので、2つのオープンソースプロジェク
「統計学と機械学習の違い」はどう論じたら良いのか - 渋谷駅前で働くデータサイエンティストのブログ
何かこんなメディア記事が出ていたようです。 これを読んで色々な人がツッコミを入れまくっている模様ですが、この記事の不思議なところは「完全に間違った説明というわけでもないのに何故か（両分野に詳しい）誰が読んでも猛烈な違和感を覚える」ところなんじゃないかなぁと。 正直、これはライター・インタビュアー・コメンテーター・編集者の誰のせいなのかは全く分からないんですが、ツッコミ入れられまくっている内容について色々あげつらってもあまり建設的でないので、ここでは記事中で本題として取り上げられている「統計学と機械学習の違い」についてちょっとコメントしてみようと思います。 あ、もちろん僕がこれから書くコメントも別に正しいとは全く限らないので、おかしいところや間違ってるところがあったらバンバン突っ込んでいただければ幸いです*1。そしてガチ勢向けのコメントでもないので何卒悪しからず。 統計学はデータを「説明」す
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新型コロナウイルスの国別感染者数（中国以外）
日本統計学会創立75周年記念出版『21世紀の統計科学』(全3巻) 増補HP版 (2012年1月)