素人でも1ヶ月 Causal Impact で遊んだら、統計的有意差が見えるようになった話 - ブログ - 株式会社JADE
こんにちは。2024年5月にJADEに入社した江越です。 前職でデータ加工を生業としていた関係で、現在はデータ分析に関わるサポートをメインに取り組んでいます。……とはいえ、法学部出身ということもあり、統計やデータ分析に関しては「素人に毛が生えた程度」の知識しかありません。 今回は、そんな統計素人の私が Causal Impact という分析パッケージに1ヶ月間触れてみた結果、施策の効果を統計的かつ定量的に説明できる手段が得られた経験をシェアしたいと思います。 【もくじ】 Causal Impactとの出会い 効果検証について持っていた課題感 Causal Impact を知る前の効果検証手段 上記の説明の何が問題なのか？ 実際に遊んでみる Causal Impactとは一体何者だ！ 何をすれば良いか整理してみる inputとthroughを用意して実行してみる 統計的有意差が見える……見え
フィットネスクラブの退会理由が統計の専門家によって「スタッフのコミュ力の高さ」だとわかったと聞いて統計学すげーっとなった話…「それ」コミュ力低くない？」「コミュ力とは？」の反応も
焼鳥どんオーナー日垣 @higakiyakitori 統計学って凄いなぁ思ったのは、フィットネスクラブの退会理由は長年、何と相関があるのか謎に包まれていましたが、統計の専門家の調査により、退会理由と相関があるのは、まさかの「スタッフのコミュ力の高さ」だということがわかったこと。こんなこと統計でなければ突き止められない。コミュ力高いスタッフがおったらあかんかったんかーい！という結果に。コミュ力高いスタッフがいると常連と仲良くなりすぎて、新規客が疎外感を感じて、何となく居心地が悪くなり退会してしまうというのが理由のようでした。
1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita
はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量（最小値、最大値、平均、分散、四分位数）などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検
因果推論とグラフ理論 - エクサウィザーズ Engineer Blog
こんにちは。数理最適化ギルドでエンジニアをしている加藤です。 ある自社プロダクトの開発を通じて因果推論について勉強する機会がありました。因果推論は統計の分野ですが、その中で数理最適化の技術が使えることを知り、とても面白かったのでその内容をシェアしようと思います。具体的には組合せ最適化問題のひとつである最小カット問題が、因果推論のタスクの一部である識別可能性に利用できるという話をします。 前半は因果推論についての概説で特に予備知識は仮定していないです。後半は計算時間やネットワークフローなどのアルゴリズムを知っていると読みやすいと思います。 因果推論とは 因果推論の目的 統計的因果推論とは事象の間の因果効果を実験データや観測データから推定することを目的とした統計学の一分野です。単に因果推論といった場合は統計的因果推論を含むより広い概念を指すことがありますが、簡単のため以下では因果推論といえば統
「モラリスト×エキスパート」を育む立正大学データサイエンス学部の『データサイエンティスト赤ずきん』がヤバい
リンク 立正大学データサイエンス学部 2021年4月開設 立正大学データサイエンス学部 2021年4月開設 立正大学データサイエンス学部 2021年4月開設『データサイエンス鬼退治図絵 データサイエンティスト桃太郎』 5 users 426 鈴木 正朝 @suzukimasatomo 立正大学の素晴らしい広告。しかし、この赤ずきんはいただけない。顔識別システムによる犯罪者予備軍の検知は保安処分と背中合わせだ。赤ずきんこそ狼ということになる。データサイエンティスト養成は日本の急務であるが最低限の法学知識を教育プログラムに入れておこうず。 ris.ac.jp/ds/ad/lp1/stor… 鈴木 正朝 @suzukimasatomo 情報理工学的視点があるからこそ解明できる情報法制というところもあるので、実は法学は遠い学問ではなく意外と親和性があるとも言える。こういう勉強を大学でやっていけばど
立正大学「データサイエンス赤ずきん」問題に関して : やまもといちろう 公式ブログ
燃えたあと、すぐに該当コンテンツが削除されたので、私も「あっ、すぐ問題を理解したので降ろしたのだな」と思っていたところ、北陸大学の山本啓一先生が世界的にも犯罪抑止のために人工知能が利活用されているよという指摘をされていたので補足をしたいと思います。 「データサイエンティスト赤ずきん」が炎上した理由、現在の犯罪予防のレベルに関して、日本社会があまりに無知であるとしか思えない。犯罪予知AIも世界各地で導入されている（京都府警も導入してたはず）。DefenderXもオリンピック等のイベントで導入済み。 — 山本 啓一 (@kyamamoto) March 29, 2022 私も本件では犯罪抑止目的の人工知能利活用については完全な利害関係者のため、なるだけ中立的に解説を書きたいと思いますが、データ利活用推進派としての意見であることはご留意ください。 まず、山本啓一先生ご指摘の内容はもっともで、20
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概
「暴力性を出せばモテる」説は本当なのか検証してみた｜すもも｜note
オタク君は心が通うことが何より大事だと思ってるけど、女子からすると心が通うことより暴力性のが大事だからな。「理解者」になるのをやめて女を殴れ。 — 小山晃弘（狂） (@akihiro_koyama) September 10, 2021 Twitter上では「暴力性を出せばモテる」説が支持されている。とりわけ過激な主張をする小山氏（2021年11月7日11時現在、フォロワー数25,702）と、エビデンスを提供するrei氏（2021年11月7日11時現在、フォロワー数64,773）の影響は大きいと考える。 しかしなぜこれほどにまで「暴力性を出せばモテる」説が支持されるのだろうか。 「暴力性を出せばモテる」説が支持される背景（まとめ） ① 記憶に残りやすい体験を過剰に見積もる認知バイアス ② モテ努力を諦めた者の”最後の砦”として ③ ナンパ師界隈の性暴力的手法の肯定のため ④ 「男性のアプロ
政府統計の総合窓口(e-Stat)のAPIを使ってみよう - Qiita
e-Statでは政府が提供する様々な統計データをXMLやJSONで取得するAPIを使用できます。 APIの利用登録と動作テスト １．下記のURLからAPIの利用申請をします。 http://www.e-stat.go.jp/api/regist-login/ ２．APIを登録申請が完了すると「メールアドレス」と「パスワード」でログインが可能になります。 ３．ログイン後、再度ログイン画面に行くと「利用者情報変更／削除」と「アプリケーションIDの取得」がおこなえる画面が表示されます。 利用者情報変更では、登録時に指定したデータを変更することができます。 ４．appIDの発行を行う。 「アプリケーションIDの取得」画面で名称とURLを入力して、「発行」ボタンを押すとappIDが取得できます。 urlは存在しない場合は「http://localhost/」等を入力してください。 appIDは3個ま
ほぼYoutubeだけで合格する、統計検定２級 - Qiita
統計検定２級受験に向けていろいろ勉強しましたが、これでいいんじゃないかって勉強方法をお伝えします。 必要なものはPCと本１冊です。 学習方法 まず、公式問題集を買いましょう。 公式問題集で出題範囲を確認し、出題される分野を確認しましょう。 該当の分野について、統計WEBでざっくりと理解しましょう。 統計WEBで理解が浅い、もしくは理解できない分野についてはこちらのチャンネルがおすすめです。イケメン講師がわかりやすく教えてくれます！ ※7でYoutubeチャンネルもこのタイミングで見てもOKです。 それでは公式問題集を解きましょう。 公式問題集の解説だけでは理解できない場合、上記の統計WEBに解説がありますので、併せて確認しましょう（ただし、誤植が多いのであまりにおかしい箇所は気にしないように）。 6でも理解できない、もしくはより理解したい場合、こちらのYoutubeチャンネルがおすすめです
統計WEB － 統計学、調べる、学べる、BellCurve（ベルカーブ）
ブログ 2024/7/5 2024年6月の統計WEBのページビュー数 2024年6月月は、145万PVとなりました。昨年同月比で 98.5％ となっています。 2022年7月から2024年6月月までの2年間について... 詳しく見る ブログ 2024/6/11 2024年5月の統計WEBのページビュー数 2024年5月は、145万PVとなりました。昨年同月比で 104.5％ となっています。 2022年6月から2024年5月までの2年間について、... 詳しく見る 書籍紹介 2023/3/29 文系の私に超わかりやすく統計学を教えてください！ 『マンガでわかる統計学』シリーズの著者、高橋信先生が執筆した教養書です。 リスキリングの潮流の中で、教養のひとつとし... 詳しく見る 書籍紹介 2023/2/9 マンガでわかる統計学 統計学を勉強するための取っ掛かりとしてはとても良い本です。漫画な
WebサービスのA/Bテストや機械学習でよく使う「確率分布」18種を解説 - paiza times
主な確率分布の関連図 こんにちは、吉岡（@yoshiokatsuneo）です。 Webサービスを運営していると、利用状況を分析・予測したり、A/Bテストなどで検証したりすることがよくあります。 データを一個一個見ていてもよくわからないので、データ全体や、その背景の傾向などがまとめて見られると便利ですよね。そんなとき、データの様子を表現するためによく使われているのが「確率分布」です。 学校の試験などで使われる偏差値も、得点を正規分布でモデル化して、点数を変換したものです。 今回は、Webサービスなどでよく使われる確率分布18種類を紹介します。 それぞれ、Webサービスでの利用例やPythonでグラフを書く方法も含めて説明していきます。コードは実際にオンライン実行環境paiza.IOで実行してみることができますので、ぜひ試してみてください。 【目次】 正規分布 対数正規分布 離散一様分布 連続
食べログ3.8問題に終止符を打つ
import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import json import glob import math from pathlib import Path from collections import Counter from sklearn.linear_model import LogisticRegression from sklearn.metrics import accuracy_score from sklearn.metrics import confusion_matrix from sklearn.metrics import roc_auc_score from sklearn.model_selection imp
データ分析の不思議、シンプソンのパラドックスを統計的因果推論から考える - Unboundedly
今回は統計学で有名な「シンプソンのパラドックス」という問題について紹介したいと思います。簡単にいえば、同じデータでも分析の仕方によって全く矛盾したように見える結果が得られるというお話です。データだけ見ると、信じがたいような直感に反する現象がおきるので頭の体操としてとても面白いです。 あまりに有名なパラドックスであるため日本語でも解説がいくつか出ていますが、人によって言っていることが違っていたり、不完全であったりします。多くはシンプソンによるオリジナルの論文を読んでないことから起因するのだと思います。 例えばシンプソンのパラドックスを交絡の問題だと捉える人は多いですが、個人的に不完全だと思います（間違いではない）。このように誤解が広まった歴史的背景も含めて、詳しく書いていきたいと思います。ちなみにアニメのシンプソンズはこの問題と全く無関係です。 そもそもシンプソンのパラドックスとは？ シンプ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
神戸市さん、データ利活用しすぎ……またまたやってくれました！ 無料で誰でも使える「統計ダッシュボード」拡充。新たに「日本の地域別将来推計人口」と「住民基本台帳人口移動報告」を公開【地図と位置情報】
定期的に休憩する従業員は生産性が高い Slackが働き方調査
【新卒研修資料】基礎統計学 / Basic of statistics
e-Stat 政府統計の総合窓口
もやし（@w_coast_0330）さん / X
データ分析入門 / tokupon-ds2022
