みなさまは"The Causal Revolution" (因果革命)という言葉を聞いたことがあるでしょうか？ 私は今月(2021年6月)に初めて知りました。Google Trendsでもデータ不足によりトレンドが表示されません。 つまりまだ全然マイナーな概念で、聞いたことがないほうが自然かと思われますが、これは「来る」と確信したため本記事を投稿しました。この確信の根拠の箇所を記事中で太字で書いた他、最後にもまとめたため、本記事を読む価値がありそうかの判断には先にそちらを読んでもらってもいいかもしれません。しかしながら、因果革命ないし統計的因果推論は学ぶ価値のある分野です。本記事を読まなくても下記に挙げた書籍を未読の方はぜひ一読してみてください。Qiitaでも因果推論についての記事はいくつもあります。しかし、私が感動した点を明示化した記事は見当たらなかったため本記事を投稿しました。 この記
マンガでわかるHCI: 公衆衛生とデータ可視化の歴史｜マンガでわかるHCI（ヒューマン・コンピュータ・インタラクション）
さて、世界は今コロナ一色ですね。 日本では少し落ち着きを取り戻してきたみたいですが、アメリカでは - 大統領は、コロナをChinese Virusと呼び出したり - 若者たちはオレたちゃ重症化しねぇとフロリダのビーチに押しかけたり - 暴動が起こると予想して、身の危険を感じる人々が銃を買い求めたり といった、なかなかカオスなことになってます。笑 ちなみに、著者はアメリカのPhD学生で、現在アメリカに住んでます。この夏は、シアトルのMicrosfot Researchにインターンに行く予定だったんですが、ボーイングがチャプター11して、シアトルの街が失業者に溢れかえるんじゃないかと若干心配してました。なんとかそこは免れたようですが、ただ逆に、インターン自体がリモートになりそうな勢いですが。笑さて、今回は、そんな公衆衛生に少し関連した話です。 公衆衛生とデータ・ビジュアライゼーションところで、
【書評】「仕事ではじめる機械学習」を読んで、機械学習プロジェクトの大変さを知った夏 | DevelopersIO
どうも。DI部@大阪オフィスの玉井です。 仕事ではじめる機械学習という本を読んだので、久しぶりに書籍エントリを投下します。この本はとってもとってもとってもとってもとってもとっても大スキよ ダーリン I like you. ダーリン素晴らしいので、ぜひこの気持ちをみなさんに伝えたいと思いました。 この本を読もうと思った理由 今後、機械学習を扱う製品やサービスが増えてくるのではないか、と思ったから 現在、私は製品サポートエンジニアとして、データ分析に関係する製品やサービス（Tableauとか）のサポートや導入を行っています。機械学習は触れたことは一切ありません。また（少なくとも現時点では）機械学習エンジニアに転向する予定もありません。 ところで、データ分析関係の製品やサービスっていうのは、それはもうすごい勢いで色々なものがリリースされています。弊社ではTableauやAlteryxといった製品
統計学を哲学する 作者:大塚 淳発売日: 2020/10/26メディア: 単行本（ソフトカバー） 本書は応用統計学にも造詣の深い科学哲学者大塚淳による統計学の哲学の入門書になる．序章では本書について「データサイエンティストのための哲学入門，かつ哲学者のためのデータサイエンス入門」だとある． これまで読んだ統計学の哲学についてはソーバーの「科学と哲学」がなかなか面白かった．本書ではソーバー本では扱っていなかった因果推論や深層学習についても論じられていて，そのあたりも勉強したいと思って手に取った一冊になる． 序章 統計学を哲学する？ 序章では本書のねらいと構成が書かれている．ねらいとしては，上記の入門書というだけでなく，「統計は確固とした数理理論であり，そこに哲学的思弁が入り込む余地はない」とか「統計は単なるツールであり，深遠な哲学とは無縁だ」とかいう誤解を解きたいということが挙げられている．
みなさまは"The Causal Revolution" (因果革命)という言葉を聞いたことがあるでしょうか？ 私は今月(2021年6月)に初めて知りました。Google Trendsでもデータ不足によりトレンドが表示されません。 つまりまだ全然マイナーな概念で、聞いたことがないほうが自然かと思われますが、これは「来る」と確信したため本記事を投稿しました。この確信の根拠の箇所を記事中で太字で書いた他、最後にもまとめたため、本記事を読む価値がありそうかの判断には先にそちらを読んでもらってもいいかもしれません。しかしながら、因果革命ないし統計的因果推論は学ぶ価値のある分野です。本記事を読まなくても下記に挙げた書籍を未読の方はぜひ一読してみてください。Qiitaでも因果推論についての記事はいくつもあります。しかし、私が感動した点を明示化した記事は見当たらなかったため本記事を投稿しました。 この記
なぜあなたのA/Bテストはうまくいくのか？A/Bテストの分析で注意すること | CyberAgent Developers Blog
概要 同じ介入を比較するA/Aテストで統計的に有意な差が出てしまうケースがある その原因は、A/Bテストの指標の設計に失敗していることかもしれない この問題の対処法としてユーザベースCTR、デルタメソッド、クラスターロバスト標準誤差を紹介する これらの手法は実務で運用する上では一長一短 はじめに AI事業本部Dynalystの伊藤、小売セクターの藤田(@6km6km)です。 DynalystはReal Time Biddingと呼ばれる広告オークションにおいて広告枠の買付を行うプラットフォーム（DSP: Demand Side Platform）です。DSPでは、ユーザに広告を表示する際に複数あるクリエイティブの候補からひとつクリエイティブを選ぶ必要があり、その選択ロジックにバンディットアルゴリズムを用いています。（参考リンク1, 2） 以下では、バンディットアルゴリズムのA/Bテストをす
こんにちは。システム部の大澤です。 普段は北米版あすけんのアプリを開発しています。 今回はこちらの記事にインスパイアを受けて、askenでもやってみたいと思いました。 developers.cyberagent.co.jp 今後、askenに入社するエンジニア（シニアエンジニアを想定）にオススメする1冊について、アンケートを取ってまとめました。 エンジニア全員からアンケートに答えていただいたので結果をすべて、載せました。 設計、エンジニアリング 現場で役立つシステム設計の原則 ～変更を楽で安全にするオブジェクト指向の実践技法 https://www.amazon.co.jp/dp/477419087X/ref=cm_sw_em_r_mt_dp_1VATC0ETF72J8V6V5R9E 特定の技術分野に依らない設計の基本が学べるから。 asken社内でも著者の増田さんを招いて勉強会を開催して
『大塚(2020)「統計学を哲学する」を読む』
光栄にも大塚淳先生より新著「統計学を哲学する」(名古屋大出版会: 以下「本書」)を御恵投いただきました。御礼に替えて、簡単に内容を紹介し議論をしていこうかと思います。特に本書が導入した「存在論」「意味論」「認識論」という三つの区別の意義を大久保の視点から論じます。最後に、私が関心を持った今後の展開について言及します。 ・はじめに 科学哲学とは、どのような分野なのだろうか。もちろん私が考えるにはあまりにも大きすぎる問だが、他の人に紹介するなら「科学における概念や論争を分析すること」あるいは「ある学術的主張の背後で暗黙的に措定されている前提を分析すること」と答えるかもしれない。本書の著者がTwitter述べた通り、 Jun Otsuka@junotk_jp あと哲学っていうと論理が及ばないところを棍棒で殴り合う、っていうイメージがあるみたいだけど、それは全くの誤解ですね。むしろ私のイメージする
統計学はやはり人類には早いと思う 仕事で数理統計学を勉強していて、趣味で統計検定1級を取ろうとしているのですが、 今日は統計的検定の話をしようと思っています。 というのも、これが僕の無知によるものなのか、それとも世間一般に言われる誤解なのかはわからないんですが、 統計的検定ってそもそも一体何であるのかについて、よく理解できた形で 議論をしている場面に出会ったことがあまりないと思ったからです。 この記事ではどうにか「検定するには母集団に対する仮説を持つことが重要ですよ」とか「仮説がふんわりしたところで検定すると危ないですよ」とか話しますが、 具体的に「母集団に対する仮説を雑に決めたことで大きな損失を得た事例」をよく知らないので、 説得力に欠ける話になっています。大きな損失を得た事例持ってる方いたら教えてくだし。 どこまでを話すか？ 実際、統計的検定や、その結果の判断軸などについては完成した合
本記事は，自然言語処理 Advent Calendar 2019 - Qiitaの１日目の記事です． はじめに 今回の記事では，去年末ごろからPythonとCythonだけでチマチマ作った形態素解析器Taiyakiをベースに，形態素解析器の解説をしようかなと思います．この形態素解析器の完成はまだ程遠いんですが，ひとまず簡単な形態素解析はできるようになったのでここでお披露目しておきます．本記事は実質，Double-Arrayの辞書引きと最小コスト法に基づく形態素解析器の解説記事となっています． なぜ今更に形態素解析器を作ったかと問われると困ってしまうのですが，NLPerなら１つぐらい自作しても良いのかなってことと．形態素解析がどう動いているかって意外と知らなかったのが動機です．解説内容間違えてる可能性はあるので，見つけた方はコメント欄でご指摘いただけると嬉しいです． 作っているものは下記リポ
医学領域専門書出版社の金芳堂です。 このマガジンでは、新刊・好評書を中心に、弊社編集担当が本の概要と見どころ、裏話をご紹介し、その本のサンプルとして立ち読みいただけるようにアップしていきたいと考えております。 どの本も、著者と編集担当がタッグを組んで作り上げた、渾身の一冊です。この「編集後記」を読んで、少しでも身近に感じていただき、末永くご愛用いただければ嬉しいです。 ◆ ◆ ◆ ■書誌情報 『感染症疫学のための データ分析入門』 編著：西浦博（京都大学医学研究科環境衛生学教授） A5判・240頁 ｜ 定価：4,180円（本体3,800円＋税） ISBN：978-4-7653-1882-2 取次店搬入日：2021年10月08日(金) 感染症の患者数はどのように推移するのか。感染症疫学は何を根拠にどのように考えるのかを明らかにする ◆ ◆ ◆ ■編集後記 金芳堂に至る道は険しく急峻な坂道であ
ITスキルロードマップ roadmap.sh がすごい。Data Analyst について対応する本をまとめた - Qiita
ITスキルロードマップ roadmap.sh がすごい。Data Analyst について対応する本をまとめた機械学習データ分析キャリアデータアナリティクスデータアナリスト Developer Roadmapsというサイトがすごいです。ITエンジニアの分野別にスキルアップのロードマップが示されています。 言語、基盤、アプリ、かなり網羅されています。 ということで、AI and Data Scientist Roadmap について書きましたが 今回は Data Analyst Roadmap です。 雑感 このロードマップの続きにAI and Data Scientistがあり、Data AnalystをData Scientistの前段階的に位置付けているのが疑問。Data AnalystとData Scientistは並ぶものではないでしょうか。 そして、ビジネス、ドメイン知識や分析目
ABEMAにおけるA/Bテスト運用への取り組み | CyberAgent Developers Blog
はじめに ABEMAデータテクノロジーズの梅田と作花、秋葉原ラボの和田です。 今回は、ABEMAにおける全社的なA/Bテスト運用への取り組みについて紹介していきます。 A/Bテストとは？ A/B テストとは、同じウェブページについて複数のパターン（A と B）を用意し、それらをランダムに表示して成果を調べるテストのことです。 Google オプティマイズ 公式ドキュメント 弊社の例でいうと、「アプリUIの変更」「コンテンツのレコメンドロジックの変更」「キャンペーンの実施」などが行われた際にA/Bテストを実施し、施策の是非を判断します。 関連記事を以下に記載します。 参考) 「AbemaTV」のデザインは「A/Bテスト」にどう向き合うか？ 取り組みの背景と目的 従来の社内で実施されるA/Bテストにおいて、下記の課題がありました。 A/Bテストの結果が見やすい形でまとまっておらず、組織としてナ
「研究仮説が正しい確率」について | Sunny side up!
※記事についてリプライを頂いたので、いくつか追記をいれました。 Twitterで豊田先生の新しい本のタイトルについて議論がいろいろ出ているようです。 瀕死の統計学を救え！ ―有意性検定から「仮説が正しい確率」へ― 統計学が瀕死かどうかはさておいて、TLを見る限り「仮説が正しい確率」という言葉について議論が出ていて、気づいたら心理統計界隈の人も（そして僕も）名指しで批判されていて、あららという感じです。 特に黒木さんから批判されているのですが、 #統計 5つ上で引用した清水裕士さんの誤りについては私が既に指摘済みで、それに対する清水さんの反応はhttps://t.co/5l8P6h3jxp で読めます。面倒になったので私の側が途中でコメントするのをやめてしまったのですが、清水さんはまだおかしな考え方から抜け出せていないと私は判断しています。 — 黒木玄 Gen Kuroki (@genkur
英語教育研究の査読で困った！サドコマシリーズ第三弾！とてもご好評いただいております！シェアしてくださると嬉しいです！ このシリーズについては↓ kusanagi.hatenablog.jp こんにちは，草薙です！第３弾では，英語教育研究において頻繁に見られる「検定を多数繰り返している論文」（多重検定論文）についての私見を述べます。はっきり言って，この問題は深刻です。英語教育研究の発展を妨げるもののランキングがあったら，漏れなく5位には入るでしょう。そのため，今回の記事は特に長いです。なにせ，このシリーズの中で一番気合を入れて書いてますから。 さて，統計的帰無仮説検定において，検定の繰り返しはよくないこととして広く知られています。英語教育研究においても，1990年代後半から現在に至るまで，検定の多重性の問題は一部の研究者によって繰り返し指摘されてきました。しかし，2020年においても検定の多
こんにちは。現在、私はPythonやらJuliaやらを使ってデータ分析をしているのですが、最近、自分の所属部署にも新入社員が入ってきて、後進の育成をする立場になりました。そこで、「このページにあるやつが良かったよ」と言って済ませられるように、データ分析を仕事にするまでに実際に役に立ったなと思う教材・参考になったサイト・書籍等を、これまでの経験をもとにまとめていきます。 私自身、プログラミングも統計学も全く知らない状態から独学してきたので、「データ分析を仕事にしたいけどなんのスキルもない！」という悩みのある初学者の参考になればと思います。 注1: 日本語と英語が読めるのが前提条件になります 注2: ググって1分で解決できる問題については掲載してません 例えばjupyterのインストール方法とか Kaggle Learn 機械学習コンペサイトのKaggleが提供している、機械学習に最低限必要な
University of the Peopleを卒業してコンピュータサイエンスの学士号を取りました(仮) - Journal
先日AY2024-Term3を終えて卒業要件単位数を満たすことができました。今はまだ卒業申請中なので「仮」としている。ディプロマを手にするまでは実感が湧かなそうだけれど日に日に記憶が薄れていくので振り返りを。 清々しい気分で見物した今年の牡丹 目次 CS 2204 Communications and Networking CS 2301 Operating Systems 1 CS 3307 Operating Systems 2 CS 4402 Comparative Programming Languages CS 4407 Data Mining and Machine Learning さいごに CS 2204 Communications and Networking OSI参照モデル、TCP/IPモデルの各レイヤーの役割とそこに使われているプロトコルやアルゴリズムを一通り学ん
昨今、AIをはじめとしてデータ分析に関する話題をニュースで見かけることが増えました。それによって、データ分析について学習したいと考えている方も多いのではないでしょうか。 データ分析の基礎となるのが統計学であり、統計に関する知識や活用力を評価する試験として「統計検定」があります。 統計検定に合格すれば統計に関する確かな能力を有していることの証明となり、就職や大学院への入学などでもアピールすることもできます。 この記事では、80,000 名以上の受講生に AI・データサイエンスの教育を行ってきたキカガクが、統計検定について詳しくお伝えします。 検定の詳細や取得のメリット、学習方法について解説していきます。ぜひ最後までご確認ください！ 目次 統計検定とは？ 統計検定の概要 統計検定取得のメリット 統計検定の試験概要と学習方法 統計検定 4 級 統計検定 3 級 統計検定 2 級 統計検定準 1
「AIや機械学習を導入して、会社のDXを進めたい」。そのためには大量のデータが必要なことは分かっているが、実際に必要なのはどんなデータなのか、そのデータをどうやって分析すれば仕事に活用できるのかが分からなくて困っているーー。そんな悩みを抱えるビジネスパーソンを対象に、データサイエンスの教育プログラムを提供する株式会社データミックスの代表取締役・堅田洋資氏が、データ活用方法を伝えるセミナーを開催しました。取得できるデータの数が膨大になり、デジタルに限らずリアルの世界すらもデータ化できる時代。しかし、ただ溜まっただけのデータの分析に意味はなく、そこには意図が必要だと語ります。 拡大し続ける「データ」の範囲 堅田洋資氏：データとは、端的に言うと材料です。何かを知るための材料なんですけども、おそらくみなさん、それなりに闇が深いのはご理解いただいているんじゃないかと思います。 私が社会に出たときに、
統計学は、一見するとなんの法則も無いかのようなデータから、何らかの傾向を見つけるための学問です。その有用性から、ビジネス、とくにマーケティングでは広く活用されています。 統計学には、複雑な計算が伴うため、使いこなせる人は多くないでしょう。しかし、エクセルを使えば、だれでも手軽に統計処理を行うことができます。 この記事では、代表的な統計処理を、エクセルの分析ツール、または関数を用いる方法に分けてご紹介します。 統計分析とは？エクセルを使ってできるって本当？ ばらつきのある複数の要素が集合したデータから、何らかの特徴を見出すための学問が統計学です。また、いくつかの標本を抽出・分析することで、実際には取得が難しい母集団の特徴を把握するためにも、統計学が活用されています。 近年では、企業と顧客・消費者の間に多くの接点が生まれ、膨大なデータを企業が蓄積できるになりました。こうしたデータは「ビッグデー
アジャイルサムライ
Technical Notes ▼ IDE ▼ IntelliJ PhysicalSimulation ▼ mechanics ▼ 質点の運動 DataMining ▼ 時系列データ分析 ▼ ホワイトノイズ（白色雑音） models ▼ GARCH モデル 自己回帰モデル（AR モデル） ARCH モデル 見せかけの回帰 特異スペクトル変換 単位根過程 定常過程 ウェーブレット変換 Network ▼ ssl-server-certificate ▼ CSR ルート証明書 ネットワーク用語 Management ▼ 心理的安全性 オートクライン効果 QC 7つ道具 external-and-internal-career.md キャリア・アンカー 計画的偶発性理論 振り返り 権限移譲 Others ▼ Software ▼ Slack Jekyll Tex 数式 Principle ▼ ソ
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト はじめに 2020年、あけましておめでとうございます。年末に自分自身を振り返ろうと思ったのですが、結局データ分析と勉強しかしていないわけで、書籍を振り返ろうと思うに至りました。私の知り合いのデータサイエンティストはだいたい全冊持っているであろうと思われますが、良い本だと思うので思い出していただければ幸いです。 1.『ベイズモデリングの世界』（岩波書店） 基本的に階層ベイズモデルを使って、個体ごとの異質性を考慮した分析手法が提案されています。前半はオムニバス形式で様々な
祝！藤井聡太新棋聖 驚くべき勝率に隠された不利な状況をデータで読み解く - 統計解析ソフト JMP ブログ
2020年7月16日、ついに藤井棋聖が誕生しました。私はあまり将棋が強くありませんが、明るいニュースがない昨今、棋聖戦の挑戦権獲得の前からどうなるか注目していました。 藤井棋聖になるまでの道のりで、多くの対戦がなされていますが、実は相当不利な状況で多くの勝ち星を挙げているのです。今回はそこをデータで考察してみましょう。 公式戦の勝敗 まずは、藤井棋聖の、2016年度のデビューから棋聖獲得までに戦った公式戦の勝敗をまとめてみます。 183勝34敗で、勝率84.3%と堂々たる成績です。プロ棋士では、たとえ1年間の成績でも80%以上の勝率を残すのは非常に難しいと言われています。 先手、後手の割合 今度は、公式戦の先手（番）と後手（番）の割合を同様にまとめてみます。 一般に将棋では、後手は先手に比べ若干不利だと言われています。棋士の先手後手は振り駒（歩を振り放ってランダムに決める方法）や、対局ごと
統計学が初めての（苦手な）人のための役立つ話
これまでのゼミを振り返って、ゼミ生に繰り返し話している事柄はおそらく役立つことでしょう。ここでは3つの話題に絞ってネット上のお薦め解説記事を紹介します。1つめは「仮説検定」です。統計学初学者がつまずく定番と言えます。2つめは、呪われた言葉「サンプル数」です。統計学やデータ分析の専門家を目指すのであれば、「サンプル数」という言葉の使い方には注意しなければなりません。3つめは「合計特殊出生率」です。合計特殊出生率には2つの種類があるというお話しです。 1．仮説検定 仮説検定、有意水準、統計的に有意、などの言葉は多くの統計学初学者の鬼門となっています。 その重要性からネット上には多くの解説がありますが、以下は初学者にも分かりやすいと思われるお薦めのページです（易しい順）。 「仮説検定とは？初心者にもわかりやすく解説！」AVILEN Trend 「検定の基本的な考え：仮説検定」 「有意性検定の考え
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今起きている革命、「因果革命」とは - Qiita
書評 「統計学を哲学する」 - shorebird 進化心理学中心の書評など
今起きている革命、「因果革命」とは - Qiita
【2022年】askenエンジニアがオススメする本をまとめてみた - asken テックブログ
統計的検定とか有意とか考えれば考えるほど何もわからない - と。
ゼロから作った形態素解析器Taiyakiで学ぶ形態素解析 - The jonki
編集後記『感染症疫学のための データ分析入門』｜株式会社 金芳堂
【サドコマ③】検定めっちゃ繰り返してる…【検定の多重性】 - 草薙の研究ログ
未経験からデータ分析を仕事にするまでに役に立った教材をまとめていく - Qiita
統計検定とは？1級取得者が難易度とメリットを徹底解説！
機械学習やAIは「安定した世界」でしか使えない 新型コロナ以後の未来予測が難しい理由
エクセルを用いた統計処理のやり方って？分析ツール・関数を使った方法を紹介！｜Udemy メディア
2019年に読んだデータ分析系の本の振り返り（21+1冊） – かものはしの分析ブログ