海外のオタクが日本のアニメ400本を観て”主人公が教室のどこに座っているか”を統計的に分析した結果が興味深い→｢主人公は窓際の最奥に座りやすい｣Kenji Iguchi @needle 「アニメ400本観て主人公の席の位置の統計取った」すげえ根気。 実に約3分の1が窓際最奥かその一個前。一方で、廊下側の前から2番目に座ってる主人公が一人もいない！ reddit.com/r/anime/s/1nJb…
「蓮舫氏は盛り上がったのになぜ？」「石丸氏は若者頼りではなかった？」「小池氏の強さの秘訣」人流データで見えた都知事選候補の本当の「集客力」｜SlowNews | スローニュース
「蓮舫氏は盛り上がったのになぜ？」「石丸氏は若者頼りではなかった？」「小池氏の強さの秘訣」人流データで見えた都知事選候補の本当の「集客力」 都知事選の勝敗を分けたのは何でしょうか。多くのメディアや評論家が様々な分析をしていますが、基本は各社の出口調査のデータをもとにした、「若者に支持された」「無党派層の票を何割取り込んだ」といった分析です。 一方、今回の選挙では街頭演説について「あれだけ盛り上がっていたのになぜ敗れたのか」「あの候補のSNSでの人気ぶりは本当なのか」などの声が上がっていますが、一般に言われていることは定性的な感想のようなものばかりで、定量的に推しはかるデータはありませんでした。 そこで今回、ソフトバンクグループで「人流データ」の分析に長けた企業「Agoop」に分析を依頼。スマートフォンの位置データから、実際にどんな人がどの候補の街頭演説を、どのように聞いたのかをデータで明ら
「仕事中にコーヒーを飲むと寿命が延びる」という記事への反応を見たら、「何事も鵜呑みにしちゃいけない」ことがよ～く分かった
Kenn Ejima @kenn 自分みたいなひねくれた統計野郎は、こういうニュースを見るとまず逆の相関を考えます。 つまり、「コーヒーを飲む→寿命が伸びた」ではなく「健康な人にコーヒーを飲んでいる人が多かった」だけの可能性を検討します。 ・健康的な生活をしている人がコーヒーを好む傾向があるだけでは？ ・不健康な生活をしている人はコーヒーよりもタバコでストレス緩和していて、そちらが寿命を縮めてるのでは？ ・コーヒーを煎れるために何度も立って歩くことのほうがコーヒーの成分よりも効果が大きいのでは？ ・肝臓が悪い人はコーヒーを好まなくなるので、コーヒーを飲むというグループにそもそも健康な人が集まっているだけ（選択バイアス）では？ ・寿命を縮めるほどハードな仕事の人は毎日コーヒーを何杯も飲む余裕がない、という現象の代理指標を観測しているだけでは？ 同じデータを与えられても、それを解釈する統計的な
統計検定®︎準１級は実務で役に立つのか？
タイトルの結論は、「役に立つ」です。 役に立つか立たないかの議論は一切せず、本記事では、如何に統計や数学が実社会で役に立つかを紹介します。 はじめに こんにちは。ZENKIGENデータサイエンスチーム所属の廣田です。原籍はオムロンソーシアルソリューションズ株式会社 技術創造センタですが、社外出向でZENKIGENに所属しており、数理最適化や機械学習を用いたデータの分析業務、それらの結果に基づいた顧客への提案をしております[1]。 出向先であるZENKIGENの同僚にも、原籍のオムロンの同僚にも、統計検定®の準1級や1級を持っている方がいて、私も負けじと準1級を受験しました。結果、統計検定®準1級に合格し、優秀成績賞までいただくことができました。 統計検定®合格証と優秀成績賞 試験対策を通じて、改めて統計学の考え方は有用と感じました。この手の検定試験は物事を体系的に学ぶきっかけになるため、私
『因果推論』（金本拓：オーム社）は因果推論に留まらず現代的なマーケティング分析手法まで網羅したバイブル - 渋谷駅前で働くデータサイエンティストのブログ
因果推論: 基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ 作者:金本 拓オーム社Amazon 著者の金本さんからご指名でご恵贈いただいたのが、こちらの『因果推論 ―基礎から機械学習・時系列解析・因果探索を用いた意思決定のアプローチ―』です。正直に白状しますと、因果推論とタイトルにつく技術書はここ数年でゴマンと出版されており、本書も紙冊子で頂戴したものの僕はあまり期待せずにページをめくり始めたのでした（ごめんなさい）。 ところが、ほんの数ページめくっただけでその内容に僕は仰天しました。グラフィカルで実務家にとっての分かりやすさを重視した因果推論の解説と実践にとどまらず、現代的なマーケティング分析では必須の種々の手法についてまで懇切丁寧に解説とPythonによる実践例が付された本書は、文字通り「マーケティング分析実務家にとってのバイブル」になり得る素晴らしい一冊だと直感し
新卒向け「統計学の基礎」100ページ超 SaaS企業が無料で資料公開
資料では、統計学がどんな学問なのか、統計学を学ぶことにどんな意義があるのかという初歩から解説。その上で統計学を「記述統計学」と「推計統計学」に大別し、それぞれの特徴や手法、注意点を説明している。 今回の無料公開は、ブレインパッドで働く有志のデータサイエンティストが技術資料などを外部に発信するプロジェクト「OpenBrainPad」の一環。「統計学をこれから学ぶ人も復習する人もぜひ利用してほしい」（ブレインパッド）という。同プロジェクトでは、過去にはプログラムのバージョンを管理するシステム「Git」のハンズオン（実際に手を動かして学ぶ）資料なども公開している。 関連記事 総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート 総務省が「誰でも使える統計オープンデータ」を開講。統計オープンデータを活用したデータ分析の手法を解説する無料講座だ。 AIの基礎をZoomで講義 新人研修用
総務省統計局 データサイエンス・オンライン講座 社会人のためのデータサイエンス入門
統計データを用いた分析事例を知り、 統計リテラシーを学ぶ ・大人がデータサイエンスを学ぶべき理由 ・統計データからわかること① ・統計データからわかること② ・統計データからわかること③ ・統計リテラシーの重要性 ・統計を利用する際の注意点 データ分析に必要な統計学の基礎を学ぶ ・データの種類 ・代表値～平均・中央・最頻値 ・ヒストグラムと相対度数 ・四分位・パーセンタイル・箱ひげ図 ・分散・標準偏差 ・相関関係 ・回帰分析 ・標本分布 ・信頼区間 データの見方と 適切なグラフの選び方を学ぶ ・統計表の見方 ・比率の見方①－クロスセクションデータ－ ・比率の見方②－使い方と注意点－ ・時系列データの見方① ・時系列データの見方② ・グラフの選び方① ・グラフの選び方② ・グラフを作る時・読む時の注意点 誰もが使える公的統計データの取得方法と 使い方を学ぶ ・公的統計とは ・公的データの入手
総務省「社会人のためのデータサイエンス演習」リニューアル開講 無料で学べる
総務省は10月4日、無料のオンライン講座「社会人のためのデータサイエンス演習」をリニューアルして開講した。AI技術などの最新動向を踏まえ、一部を改訂した。開講期間は12月13日まで。 2016年の開講からのべ5万7000人が受講した講座。データサイエンスに携わる専門家や大学教授が、データサイエンスを基礎から教える。 MOOC講座プラットフォーム「gacco」で、1回10分程度の講座を5～7回で提供。さらに、補講・演習（10分程度×11回）もある。 リニューアルで最新トピックスを追加したほか、仮説検定や統計解析ソフトを使ったデータ分析方法を紹介するなど、内容を一部刷新した。 登録すれば誰でも無料で受講できる。受講登録は12月5日まで。 関連記事 総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート 総務省が「誰でも使える統計オープンデータ」を開講。統計オープンデータを活用したデ
データサイエンティストは何を勉強すべきか：「教養」と「必須」と「差別化」と - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Wokandapix from Pixabay) 個人的な観測範囲での話ですが、データサイエンティストという職業は「21世紀で最もセクシーな職業」として刹那的な注目を集めた第一次ブーム、人工知能ブームに煽られて火がついた第二次ブーム、そして「未経験から3ヶ月で人生逆転」ムーブメントと折からのDXブームに煽られる形で沸き起こった第三次ブームを経て、何だかんだで社会に定着してきた感があります。 で、このブログを始めた頃からの連綿と続くテーマになっていますが、いつの時代も話題になるのが「データサイエンティスト（になるに）は何を勉強すべきか」ということ。7年前から恒例にしてきた「スキル要件」記事では、基本的には「どれも必要な知識（学識）」であるという前提で分野・領域・項目を挙げてきました。少なくとも、最初の3回ぐらいはそういう認識でスキル要件記事を書いていた気がします。 ところ
17万人の育児データから、赤ちゃんの特長や個人差について調査してみた | Lidea(リディア) by LION
息子が爆誕しました！ 「くらしとココロに、彩りを。」でお馴染みのLideaをご覧の皆さんこんにちは。 ライターのヨッピーです。 今日は皆さんにお知らせがあります。 実は……、 かわいいかわいい息子が爆誕してしまいました。本当にありがとうございます。 「お前に息子が誕生したことと、くらしとココロの彩り、何が関係あるの？」と聞かれれば「さあ？」としか答えられないのですが、息子氏が爆誕したことによって、酒をかっ食らってゲームをして寝るだけみたいな、荒れた日々を送ってきた僕ですら家事だの育児だのを頑張るようになってくらしに彩りが出てきました。 実は僕、子どもが生まれる前から、Twitterなんかで「育児、大変！」「子育ては地獄や！」みたいな意見がたくさん流れてくるのを見ていたので、子どもが生まれることに対してかなりビビっており、爆誕前から育児本を読み、時短家電を買いあさり、義両親の手を借りるため義
『「誤差」「大間違い」「ウソ」を見分ける統計学』は既に統計学を学んだ人がさらなる理解の深みと多様さを求めて読むべき「副読本」 - 渋谷駅前で働くデータサイエンティストのブログ
「誤差」「大間違い」「ウソ」を見分ける統計学 作者:デイヴィッド・サルツブルグ共立出版Amazon しばらく前に共立出版様からご恵贈いただいたのがこちらの『「誤差」「大間違い」「ウソ」を見分ける統計学』。お気付きの方もいらっしゃるかもしれませんが、原著者デイヴィッド・ザルツブルグは『統計学を拓いた異才たち―経験則から科学へ進展した一世紀』で知られる生物統計学者で、その彼の近著です。なお本書の訳者の一人竹内惠行氏は『統計学を拓いた〜』の翻訳も手がけており、同じチームによるいわば「続編」的な一冊と言って良いかと思います。 前著は割と分厚い「統計学史」についての「読み物」という雰囲気の強い一冊でしたが、本書はそれに比べると古今東西の統計学がキーワードとなった幅広い分野における実例を挙げつつ、同時に統計学の具体的なポイントについての解説を加えていくというスタイルで書かれており、いわば統計学テキスト
「全数調査なら何でもわかる」という誤解 - 間違えがちな母集団とサンプリングそしてベイズ統計 - - ill-identified diary
この文章は pandoc-hateblo で tex ファイルから変換しています. PDF 版はこちら 2021/10/15 追記: 後半のベイジアンブートストラップに関する解説はこちらのほうがおそらく正確です ill-identified.hatenablog.com 概要挑発的なタイトルに見えるかも知れないが, 私はしらふだしこれから始めるのは真面目な話だ — 正直に言えばSEOとか気にしてもっと挑発的なタイトルにしようかなどと迷ったりはしたが. 「全数調査できれば標本抽出の誤差はなくなるのだから, 仮説検定は不要だ」という主張を見かけた. いろいろと調べた結果, この問題を厳密に説明しようとすると最近の教科書には載ってない話題や視点が必要なことが分かった. ネット上でも勘違いしている or よく分かってなさそうな人をこれまで何度か見かけたので, これを機に当初の質問の回答のみならず関
Googleの混雑状況グラフではスーパーは混雑していないはずなのに老人で混雑していた理由
雲葉＠中原電洒区 @kumoha101 スーパーへ行ったら年金支給日なせいか年寄りだらけ。でもグーグルの混雑状況グラフは「さほど混んでません」 スマホを持ってない人が多いとデータに反映されない罠
データサイエンス初学者のための実践的な学習環境 「データサイエンス100本ノック（構造化データ加工編）」をGitHubに無料公開 | 一般社団法人データサイエンティスト協会
一般社団法人データサイエンティスト協会（所在地：東京都港区、代表理事：草野 隆史、以下データサイエンティスト協会）は、構造化データの加工について実践的に学ぶことができる無料の学習環境「データサイエンス100本ノック（構造化データ加工編）」をGitHubに公開しました。 「データサイエンス100本ノック（構造化データ加工編）」は、データサイエンス初学者を対象に、データの加工・集計、統計学や機械学習を駆使したモデリングの前処理等を学べるよう、データと実行環境構築スクリプト、演習問題をワンセットにしています。 近年、データ活用の重要性についての認知が広がる中で、書籍やWebサイトなど、データ分析のスキル向上に役立つ情報源も多く提供されています。一方で、実践するための「データ」や「プログラミング実行環境」を持ち合わせていないことも多く、「実践力」を身につける機会が限られていました。特に、「構造化デ
若き統計学者の英国: いかにしてマクロ経済学はオワコンになったか
マクロ経済学という分野は、残念ながらもう所謂オワコンになってしまった。正しく言うと、実を言うとDSGEはもうだめです。突然こんなこと言ってごめんね。でも本当です。こんな感じだろう。 結論から言うと、データを見るふりをして実は全くデータを見ておらず、はっきりいってモデル化に失敗したからだ。とくに予測能力が兎角ないのが致命的だったと思う。予測能力がない結果、モデル・理論を通して将来の政策談義を結局は出来ないので、政策提言すらまともにできず、役立たずの烙印を押された。政策評価・提案等の役目は統計的手法を上手く用いている、応用ミクロの研究者が主に担うことになった。 そもそもの始まりは、合理的期待形成仮説というバカげた仮定に基づいて、数学音痴がmathinessにまみれたリアルビジネスサイクル(RBC)理論などという、さらにバカげた理論を推し進めた点であろう。それに呼応してニューケインジアンモデルが
いつまで若者は「海外離れ」をしているのか、あなたは何を捨てますか - ネットロアをめぐる冒険
世の中うまくいかないことはたくさんありますが、調べかけていたことについて、先に記事を出されることほど悔しいことはありません（長めのマクラ）。 ハフポス（正確には新潮社フォーサイト）の以下の記事が話題になっていました。 最近では特に若者の「内向き志向」が指摘されている。海外に出かけることを好まないというのだ。（中略） 20代のパスポートの新規取得率は、1995年に9.5％だったものが、2003年には5％に落ち込み、その後、6％前後で推移。2017年には若干上昇したものの、6.9％だ。取得率で見れば、明らかに低迷している。 日本の若者が気付けない自らの「貧困」。海外に出ない、その裏事情 | ハフポスト どこかで聞いたような若者の「内向き志向」を憂う記事なのですが、このパスポートの新規取得率についてツッコミを入れようかと思っていたところ、大変すばやく「More Access! More Fun」
食べログ3.8問題を検証 - クイックノート
先日、twitter上で食べログの星の数について、 ある問題が話題になりました。 食べログの闇として話題になったその問題とは、 「評価3.8以上は年会費を払わなければ3.6に下げられる」 というものです。 食べログは飲食店についての口コミを集めるサイトで、 その評価は実際のユーザーによって形成されるものとして広く認知されています。 専門的なグルメリポーターでもなく、 一般の人々の素直な感想を集めることで、 その飲食店のリアルな価値が知れると期待して、 利用しているユーザーも多いでしょう。 それだけに、 「食べログが評価を恣意的に操作しているかもしれない」という話は、 瞬く間にネットで話題となりました。 さて、この話は実際に行われていることなのでしょうか。 食べログでは、当然評価点は公開されているので、 このような恣意的な操作があれば、 何らかの形で偏りが見つかるはずです。 ということで、食
アベノミクスの「成果」を示すデータ集 - モノシリンの３分でまとめるモノシリ話
さて，選挙も近づいてきたということで，アベノミクスの成果を示すデータを貼り付けていこうと思う。 選挙のたびに「経済」が強調されてきたのだから，有権者にとってアベノミクスの成果を確認することは必要不可欠である。 まずはツイッターで盛大にバズったこのグラフから。アベノミクス前の2012年を100とした賃金と物価と消費の推移である。 データ元：厚労省，総務省 消費税増税と円安により，物価が6年間で6.6％も上がった（赤）。 その一方，名目賃金は2.8％しか伸びなかった（青）。 だから実質賃金は，アベノミクス前と比べて3.6％も落ちた（緑）。 そして，実質世帯消費動向指数は9.3％も落ちた（黄色）。 日銀によると消費税増税による物価上昇効果は2％だそうだ。 残りの4.6％はアベノミクスがもたらした円安が最も影響しているだろう。 （なお，2015年に原油の暴落があったおかげで円安による物価上昇の勢い
「国際的に日本の統計に信頼が損なわれるおそれ」雇用保険や労災保険で過少支給も | 注目の発言集 | NHK政治マガジン
厚生労働省が労働時間や賃金を不適切な手法で調査していたことの影響で、雇用保険や労災保険が本来の額より少なく支給されたケースがあり、その総額は現時点で少なくとも数億円規模に上る可能性があることが分かりました。総額はさらに増えるとみられ、厚生労働省はさかのぼって差額を支給する方向で検討しています。 「毎月勤労統計調査」と呼ばれるこの調査は、賃金や労働時間について厚生労働省が毎月、全国の事業所を対象に行っていますが、従業員が500人以上の大規模な事業所についてはすべて調査することになっていたにもかかわらず、都内ではおよそ３分の１の事業所を抽出して行っていました。 政府関係者によりますと、これによって、調査結果をもとに算出される雇用保険の失業給付や労災保険が本来の額より少なく支給されていたケースがあり、その総額は現時点で少なくとも数億円規模に上る可能性があるということです。 また、同様の手法は15
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
えるエル on Twitter: "東大が無償でPDF公開している，統計学会の75周年記念出版『21世紀の統計科学』の3冊 1と2は実際の統計データを用いて，各事例への統計学の応用手法，3は機械学習の人なら馴染み深い統計計算を解説 下手な市販の本を買うよりは，この3… https://t.co/w2cSVIxmUI"
