Palantirが想像以上にSIerだった件｜ミック
ソフトウェア企業のIPOとしては史上最高額をつけたSnowflakeをはじめとして、Asana、Sumo Logic、Unityなど、2020年の秋はコロナ禍を受けた前半の鬱憤を晴らすかのように、ソフトウェア企業のIPOラッシュとなった。多くがクラウドの機動性を活かしたモダンなSaaSで、スケーラビリティのあるビジネスモデルで急成長を遂げた企業である。その中に一社、異彩を放つ企業がある。 Palantir – Paypal創業者ピーター・ティールが率いるデータ解析企業である。Palantirは、その極端な秘密主義とペンタゴンやCIAとの強い結びつきによって、様々な「神話」のヴェールを纏っている。ビンラディンの居場所を特定するのに決定的な役割を果たした（Palantirはこの噂を否定も肯定もしていない）とか、バーニー・マドフの逮捕に貢献したというのは、よく語られるエピソードだ。 Palant
画像は『総務省統計局「社会人のためのデータサイエンス演習」講座PV』より 総務省は9月28日の14時から、実践的なデータ分析の手法を学習できるとうたう、データサイエンス・オンライン講座「社会人のためのデータサイエンス演習」を開講する。登録料および受講料は無料。 本講座では、ビジネスや行政での活用を想定しており、社会人や大学生に向けて、ビジネスや業務上での分析事例を中心に実践的なデータ分析（統計分析）の手法をわかりやすく解説するという。前提条件は表計算ソフトMicrosoft Excelの基本的な操作ができること。 『総務省統計局「社会人のためのデータサイエンス演習」講座PV』より 講師は、総務省統計局の會田雅人氏、総務省統計局の阿向泰二郎氏、株式会社電通の佐伯諭氏、東京大学の松尾豊氏、株式会社ブレインパッドの奥園朋実氏、株式会社ブレインパッドの今津義充氏、日本航空株式会社の渋谷直正氏、株式
EVENT | 2023/08/10 世界でアクセス数の多いウェブサイトトップ100をマップにしてみたら、意外な勢力図が見えてきた 文：岩見旦 あらゆる国の人が、インターネットを通じて利用しているウェブサイト。検索したり、動画を見たり、SNSを楽... 文：岩見旦 あらゆる国の人が、インターネットを通じて利用しているウェブサイト。検索したり、動画を見たり、SNSを楽しんだり、その用途は千差万別。 果たして、世界中でどのウェブサイトが最も見られているのだろうか。ウェブサイトのトラフィック情報分析ツール「SimilarWeb」の情報を元に、Visual Capitalistが制作した、2019年に集計された世界でアクセス数の多いウェブサイトトップ100のマップを紹介する。 世界中の人が最も見ているウェブサイトはこれだ！ こちらのマップをご覧いただきたい。2019年6月の月間アクセス数を、サービ
統計1級に合格したぜ！惰眠です。 2022年11月20日の統計検定1級の試験（数理・応用（医薬生物学））に合格しました。 数理の方では、成績優秀との評価も頂けました。 統計１級、数理応用とも一発合格していた！！ 数理の方では優秀にも入っていた、よかったよかった マジで安心しています pic.twitter.com/bJR4q5LCxV — 惰眠 (@5882353i) 2022年12月19日 これは数学の授業のない理系の大学3年生が統計1級とかいう積分RTA祭に挑み、一発合格を果たすまでの感動秘話です。 統計1級という試験について 数理・応用に共通の性質 統計数理の性質 統計応用の性質 ぼくの受験体験 対策 統計準１級に合格している人向け いきなり統計１級に挑戦する人向け 確率分布曼荼羅つくり 過去問演習 本以外の便利な記事・動画 知識を得るもの 茨城大学の新納先生の資料 はじめての統計学
－－－－－ 日本人の平均身長は、明治時代からの栄養・衛生状態の改善により、ここ100年間で約15cm伸びています。しかし、その身長の伸びが近年止まってしまったどころか、逆に低身長化の傾向にあるという事実をご存じでしょうか？ 厚労省「国民健康・栄養調査」のデータを基に、2005年以降の年代別平均身長の推移がこちらです。 20-40代の男性の平均身長は、ほぼ170㎝を超えています。50代でも2017年にはじめて170㎝を突破しました。ですが、18-19歳男子の身長が直近2年連続低下し、170㎝に達しないという低身長化が見られます。微差ではありますが、50代のおっさんに10代の若者の身長が逆転されたということです。 ちなみに、かつてバブル時代、モテる男の要素は三高「高身長・高学歴・高収入」などと言われたりもしたもんですが、今の50代とは、バブル時代に20代だった人達です。現代では四低「低姿勢（威
日本が公表する新型コロナウイルス感染者数に対し、有用性に疑問を投げかける声が統計の専門家から出ている。シカゴ大の山口一男教授（社会統計学）は本紙の取材に「実際には感染しているのに把握されない『暗数』の割合が大きく、統計がゆがんでいる」と指摘した。その上で「各国の状況との比較や政策の判断には使えない」との見方を示している。 日本では感染者数の公表値が最近増えているが、世界各国と比べて圧倒的に少なく、海外メディアなどから「不可思議」とみなされている。欧米など各国は世界保健機関（ＷＨＯ）が呼び掛けた検査の徹底を進めた結果、感染者の把握が急増しているからだ。 山口氏は日本の増加率が他国と比べて極端に低い理由を「検査数を絞ったことで感染者を把握できていないからで、この結果（水面下の）感染を拡大させた」と主張する。「検査数を制限することでどの程度感染者数が少なく出るかの情報がなく、他国との比較もできな
【北京共同】新型コロナウイルス感染症の被害が最も深刻な中国湖北省武漢市で、10日に行われた習近平国家主席による視察に合わせ、症状の残る多数の患者が隔離を急きょ解除され、一部の感染検査も停止されたことが19日、分かった。隔離施設の医師が共同通信の取材に、武漢市の状況改善は欺瞞だと告発した。 医師は、習氏への配慮から対策成功アピールのため治療中の患者数を意図的に減らしていると指摘した。中国で現場の医師がこうした告発を行うのは異例。中国政府は武漢で18日に新規感染者が0人になったと発表したが、医師は政府の集計は「信頼できない」と断言した。
問題設定 有意差検定 交絡因子の存在 線形重回帰によるモデル化 回帰係数の推定 回帰係数の仮説検定 補足など 残差の分布について 他の交絡因子について データの生成方法について 参考文献 @tkanayama_です。最近「計量経済学*1」と「効果検証入門 *2」を読んだので、せっかくなので実際に手を動かすことによって理解の整理をしたいと思いました。 www.yuhikaku.co.jp gihyo.jp そこで今回は、人工データを用いて「ボールの性能と捕獲確率」の関係性を効果検証してみました（人工データの生成方法は記事の末尾に記述しました）。 問題設定 今は昔、モンスターボールしか存在せず、スーパーボールが世の中で出回り始めたばかりの頃、オーキド博士が「スーパーボールは本当にモンスターボールより捕まえやすいのか？」という仮説を検証しようとしています。 そこでオーキド博士は世界中のトレーナー
マイナンバーカードが廃止された理由を調べるため、総務省が全国12の市と町を抽出して調査したところ、先月の1か月間に本人の希望などを理由に廃止されたおよそ250件のうち、4割近くが自主返納だったことが明らかになりました。 これは18日開かれた立憲民主党のマイナンバーカードをめぐる合同会議で、総務省の担当者が明らかにしました。 マイナンバーカードの本人の希望による廃止は、先月1か月間で全国でおよそ2万件あったことが分かっていますが、カードに新しい住所を追記する余白がなくなり、再発行のため返納する例なども含まれていました。 このため、総務省が全国12の市と町を抽出して聞き取り調査を行ったところ、先月1か月間に本人の希望などを理由に廃止されたカード247件のうち自主返納されたものは4割近くにあたる97件でした。 残る150件は再発行するために返納したケースや、外国人が在留期間の満了前に期間を短縮し
心理学者。キングス・カレッジ・ロンドンの精神医学・心理学・神経科学研究所の講師。2015年に科学的心理学会（アメリカ）の「期待の星（ライジンング・スター）」賞を受賞。『タイムズ』『ワシントン・ポスト』『ワイアード』などに数多く寄稿し、BBCラジオなどの出演もある。 Science Fictions あなたが知らない科学の真実 スタンフォード監獄実験はイカサマだった！ 権威ある心理学研究の100件のうち、再現に成功したのはたったの39％!? 科学の信頼性を根底から揺るがす「再現性の危機」に迫る真実の書、日本上陸！ 科学における不正・怠慢・バイアス・誇張が起きる仕組みを多数の実例とともに解説。既存の本で知ったウンチクを得意げに語る人に読ませたい、真実の書。 バックナンバー一覧 「すべての科学研究は真実である」と考えるのは、あまりに無邪気だ――。 科学の「再現性の危機」をご存じだろうか。心理学、
ベイズ深層学習(3.3~3.4)
筑波大HCOMP研究室の勉強会資料です． 内容はベイズ深層学習(著 須山敦志）の3.3から3.4節です． 日本一（誇張）ベイズ線形回帰の計算を丁寧に書いたつもりです． 本に誤記の"可能性"があります．（自分の計算が間違っている可能性もある.) 違うとかあれば連絡ください．
Review 経済・財政、環境・資源・エネルギー 国土交通省「建設工事受注動態統計」問題を紐解く(上) December 16, 2021 EBPM 経済政策 リアルタイムデータ 経済データ:Review 本問題について取り上げた、朝日新聞社「国土交通省による基幹統計の不正をめぐる一連のスクープと関連報道」が、2022年度日本新聞協会賞に選ばれました。 ▼朝日新聞社・伊藤氏の受賞報告寄稿に、平田主席研究員のコメントが掲載されております。 https://www.pressnet.or.jp/journalism/award/2022/index_7.html （2022年10月11日） はじめに 12月15日の朝日新聞朝刊の報道によると、2019年の厚生労働省の毎月勤労統計（毎勤統計）の不正問題に続き、今度は国土交通省で不正が疑われる統計問題が発覚した。毎勤統計問題は政府からの給付金に影響
注意 この記事はとあるツイートを話題にしていますが、筆者にツイート内容、およびツイートされた方を蔑む意図は一切ありません。 筆者は統計、およびプログラミングに関してはまだまだひよっこです。したがって誤った見解や拙いコードを書いている可能性がありますが、お気づきの際は是非コメントにてご指摘ください。 背景 あけましておめでとうございます！ 正月休みもあけ仕事も始まりましたが、みなさまいかがお過ごしでしょうか。 さて、正月早々、とあるツイートが反響を呼びました。 プログラミングスクール通ってるかどうかとかどうでもよくて、この年末年始にコード全く書いていない人はエンジニア向いてないんじゃないですかね、それぐらい好奇心が必要な職業だと思うけど 賛否両論あったこのツイートですが、内容はさておき、私はあることが気にかかりました。 「果たしてこの年末年始、コードを書いた人はどのぐらいいるのだろうか」 本
こんにちは。MackerelチームでCRE(Customer Reliability Engineer)をしているid:syou6162です。主にカスタマーサクセスを支えるデータ基盤の構築や、データ分析を担当しています。 意思決定をする際には不確実性がつきまといますが、不確実性を信頼区間という形で考慮して意思決定を行なおう、という話をします。 この記事ははてなエンジニア Advent Calendar 2020の4日目の記事です。 前日はid:dekokunさんによるGoogle Cloud の Associate Cloud Engineer 資格を取得するためにした勉強でした。 数字のバラ付きを考慮して意思決定したいケース: NPSでの事例 統計学を使って数字のバラ付きを考慮する: 信頼区間 NPSの信頼区間をSQLで計算する まとめ 数字のバラ付きを考慮して意思決定したいケース: N
心理学者。キングス・カレッジ・ロンドンの精神医学・心理学・神経科学研究所の講師。2015年に科学的心理学会（アメリカ）の「期待の星（ライジンング・スター）」賞を受賞。『タイムズ』『ワシントン・ポスト』『ワイアード』などに数多く寄稿し、BBCラジオなどの出演もある。 Science Fictions あなたが知らない科学の真実 スタンフォード監獄実験はイカサマだった！ 権威ある心理学研究の100件のうち、再現に成功したのはたったの39％!? 科学の信頼性を根底から揺るがす「再現性の危機」に迫る真実の書、日本上陸！ 科学における不正・怠慢・バイアス・誇張が起きる仕組みを多数の実例とともに解説。既存の本で知ったウンチクを得意げに語る人に読ませたい、真実の書。 バックナンバー一覧 「すべての科学研究は真実である」と考えるのは、あまりに無邪気だ――。 科学の「再現性の危機」をご存じだろうか。心理学、
新型コロナウイルスの影響で中止続きだった民放キー局（日本テレビを除く）の社長定例記者会見が約三カ月ぶりに再開した。各局ともおおむね四、五月の「ステイホーム」期間中、視聴者の在宅率が上がり多くの人に見られていたが、経営の根幹であるＣＭ収入は大ダメージとなる衝撃的な数字を記録したという。 （原田晋也） 「精査はしていないが、過去最大クラスだろう。われわれは普通、２％や３％下がったら『大変だ！』と言っているのに、それが３０％や４０％も落ちているわけですから」。八日のＴＢＳの定例会見で、佐々木卓（たかし）社長はＣＭ収入についてこう言及した。 テレビＣＭには、番組と一体となった枠で放送し、特定の視聴者層に見てもらいやすい「タイムＣＭ」と、番組の合間などさまざまな時間に流される「スポットＣＭ」がある。ＴＢＳによると、同社の四月のスポットＣＭ収入は前年比で７７％台、五月が５９％台だったという。
＊この記事は統計学や機械学習を専門としていない学生が書いた主観的なまとめ記事です。間違いが含まれている可能性があります。 統計学・機械学習を学んでいると、たくさんの手法や考えが出てきてよくわからなくなります。 特に自分が何かに取り組んでいるときには、今やっている手法が全体から見てどういうものなのか、より良い手法が無いのかが気になってしまいます。 まるで地図を持たず森の中を彷徨っているような感覚です。 そこで、統計学・機械学習で使われる概念や手法を自分なりにまとめて頭を整理したいと思います。 以下のような図になりました。 以下にそれぞれを説明します。 数理科学 統計学・機械学習のベースとなる学問です。 主に解析学、代数学、幾何学からなります。 微分積分学と線形代数学が基本になってるのは言うまでもないと思います。 その他に個人的に関わりが深いと思う分野を３つ挙げます。 確率論 大数の法則(中心
30分で理解するセイバーメトリクスの教科書 - 野球を統計的に楽しもう - Lean Baseball
このブログをはじめた当初に「大好きな野球のデータ分析をもっと知ってほしい」というモチベーションでこんな記事を書きました. shinyorke.hatenablog.com 執筆・公開した5年前（2014年）と比べ, 野球に限らず, スポーツ界隈全体で公開データが増えた. 例えばこれとか（スポーツ以外も含む）. 野球に限らず, 様々な技術革新により, 扱うデータの種類・量が爆発的に増加（例：Baseball Savant）. データサイエンス・機械学習といったキャリアを歩む・志望して学習をする方が増え, 「そうだスポーツでやってみよう」という流れも盛ん. と（大変好意的な意味で*1）目まぐるしく状況が変わってきているのでここで改めて, セイバーメトリクス（含むスポーツの統計学）とは何か？ かんたんなセイバーメトリクスとむずかしいセイバーメトリクス 何をどう学べばよいのか？のヒントなど を最新
2021 年開発者 エコシステムの現状このレポートは、今年で 5 回目となる JetBrains 実施の年次開発者エコシステムアンケートの結果をまとめたものです。183 の国または地域から 31,743 人の開発者にご協力いただき、開発者コミュニティの展望を導き出しています。 テック産業の最新のトレンドと、ツール、テクノロジー、プログラミング言語に関する興味深い情報、およびプログラミング業界のその他の事実をご覧ください。
日本、中国など海外の新型コロナウイルス変異株の状況は？アメリカで急激に広がるXBB.1.5の特徴は？（忽那賢志） - 個人 - Yahoo!ニュース
2023年1月現在、日本は第8波の真っ只中にあり、感染者も増え続けています。 新しい変異株が流入することで、さらに感染者の増加につながる可能性があります。 現在の日本や海外での変異株の状況についてご紹介します。 日本では現在もBA.5が主流日本での変異株の移り変わり（https://covariants.org/より作成） オミクロン株が世界に現れたのは2021年11月ですが、約1年経過した現在もオミクロン株の亜系統が99.9%を占めており、オミクロン株以外の系統の変異株はほとんど見つかっていません。 日本では、第6波が起こった2022年1月頃からオミクロン株BA.1が主流となり、その後BA.2に置き換わり、第7波の初期からBA.5に置き換わっています。今も日本ではBA.5が半分以上を占めているという状況です。 東京都の変異株の割合の推移（東京都. モニタリング項目の分析. 令和5年1月5
今月はモデルナワクチンの2回目接種*1やら仕事でも負荷の高い分析業務やら、はたまた執筆*2やらでネタ切れなのもあってあまりブログ記事を書けていなかったので、最近話題になった件について簡単に論じてみようかと思います。元ネタはこちらです。 これはイスラエルで公表されたCOVID-19ワクチンの重症化防止効果に関する統計について、いわゆる「シンプソンのパラドックス」が見られるのでそれを補正する必要があると指摘するブログ記事です。この件について僕が引用しながらボソッと放言したところ、思いの外大きな反響があったのでした。 イスラエルで起きている、「ワクチンが効いていないように見える」シンプソンのパラドックス。年齢で調整するとこうなるという分かりやすい解説https://t.co/gQrATCNzS7 pic.twitter.com/JI8Gq8h0Lk— TJO (@TJO_datasci) 202
リンク 立正大学データサイエンス学部 2021年4月開設 立正大学データサイエンス学部 2021年4月開設 立正大学データサイエンス学部 2021年4月開設『データサイエンス鬼退治図絵 データサイエンティスト桃太郎』 5 users 426 鈴木 正朝 @suzukimasatomo 立正大学の素晴らしい広告。しかし、この赤ずきんはいただけない。顔識別システムによる犯罪者予備軍の検知は保安処分と背中合わせだ。赤ずきんこそ狼ということになる。データサイエンティスト養成は日本の急務であるが最低限の法学知識を教育プログラムに入れておこうず。 ris.ac.jp/ds/ad/lp1/stor… 2022-03-24 11:04:51 鈴木 正朝 @suzukimasatomo 情報理工学的視点があるからこそ解明できる情報法制というところもあるので、実は法学は遠い学問ではなく意外と親和性があるとも言
国連特別報告者の発言に外務省が抗議 アンケートの中には、フェイクニュースと言ってもいいくらいに、無茶苦茶なものも少なくありません。そのようなデータの信ぴょう性を検証するに当たっては、その出所がどこなのかについて必ず確認すべきです。出所が明らかでなかったり、分析がいい加減だったりするアンケートの結果が独り歩きすると、とんでもないことになってしまいかねません。しかし残念ながら、繰り返し同じようなことが起きています。 「日本の女子学生の13％が援助交際を経験」 これを聞いて、ショックを受けた人も少なくないでしょう。それも国連の特別報告者が発言したとなれば、本当なのだろうと思ってしまっても無理もない話です。しかも当初は通訳のミスで、13％を30％と訳してしまったというおまけつきでした。しかし、その後の報道で、これが根拠のないデータであることが明らかになったのです。 この発言をしたのは児童売買や児童
経済の動向をみる上で欠かせない統計データ。中国では、過去最悪となっていた若者の失業率が7月分から公表停止になるなど、不都合ともいえるデータの更新が止まっている。 実際に、どのくらいの数が止まっているのか。今回、番組取材班が徹底調査。すると、習近平氏が国家主席に就任した2013年以降、さまざまなデータの更新が止まっていることが判明した。独自検証で見えてきた、中国統計データの実態とは――。 （NHKスペシャル シリーズ調査報道・新世紀File1 中国“経済失速”の真実 取材班） 取材班はまず、中国の国家統計局が発表する統計データを調べてみた。 中国は景気回復の勢いが鈍化し、若者の間で雇用に対する不安が広がっている。2018年から発表されてきた年齢別の失業率は、都市部の16～24歳が今年6月に過去最悪を記録するなどして、注目を集めていた。 しかし、国家統計局は8月、「年齢層別の失業率については、
VR人口増加により“メタバースで生きていく”は現実になりつつある？「VRChat」の同時接続数は10万人を突破、人口は5年で約7倍に。統計データで見るメタバースの今を解説
『メタバースは終わった』… 一時の劇的なメタバースブームも一旦の落ち着きを見せ、各種メディアではそんなショッキングな見出しも目立つ2024年の昨今ですが、実際のメタバース人口はブームによりどのように変化したのでしょうか？ また、そのうち日本人はどれくらいの割合を占めるのでしょうか？ ユーザーの性別や年齢構成はどうなっているのでしょうか？ 本記事では、メタバースの革命性を論じた著書『メタバース進化論（技術評論社）』で「ITエンジニア本大賞2023（翔泳社）」を受賞し、MoguLive VTuber Award 2023「今年最も輝いたVTuber」にも選出された筆者「バーチャル美少女ねむ」が各種統計データを元に徹底解説します。約5,500字、書き下ろしです！ 文／バーチャル美少女ねむ 2024年元日、VRChatの同時アクセスが「10万人」を突破メタバースの定義については識者からさまざまなも
以前、『結局、統計モデリングとは何なのか』という記事を書きました。 この記事は、その名の通り、「そもそも」何が統計モデリングで、何が統計モデリングではないのかということを扱った記事です。 今回は、「統計モデリングとは何か」を理解した方に向けて、実際に「統計モデリング力」を鍛えるためにはどうするかを書いていきたいと思います。 この記事の目的と対象者 上記でも述べたようにこの記事の目的は、どのように「統計モデリング力」を鍛えるかを書くことです。 統計学に入門するところから、高度な統計モデルを扱えるようになるまでの勉強法について書いています。 したがって、統計初心者からそれなりに理解している人までの幅広い層が想定読者となります。 ところどころで、プログラム言語で実際に手を動かしながら学ぶタイプの本を紹介することもありますので、そういった本を読むためにはPythonまたはRの知識が必要になります。
個人投資家ボロ負け説 - 小型株投資の日記
昔、日経が7,000円台の頃があって、アベノミクスがあって、色々あって、コロナあって、色々あって、今や4万円近いわけですけども、実は個人投資家はあんまり儲かってないっていう説があるらしい。 そんなバカことがあってたまるか、と思いまして、一応確認してみました。 財務省の確定申告のデータがまとめてあるサイトから、株式譲渡に関する資料をグラフにしました。 青が申告者数、30～60万人くらいで、なんとなく上向きトレンドのように見え、参加者は増加傾向。 オレンジは還付申告した人数で、増加傾向。これは、昨年以前に累損があって、今年は利益が出たって人かな？ その一方、緑が納税申告した人数（たぶん、累損が無くて今年も儲かった人）ですが、12～22万人で推移していて、とても緩やかに増加。 ここで、緑の納税申告者の所得は2022年で3.74兆円、それに対してオレンジの還付申告者は0.4兆円となっているので、い
国の実態調査で、孤独を感じることが「しばしばある・常にある」と回答した人は、全体の5％で、それぞれの年代では30代が最も高く7％でした。国の担当者は「若い世代で孤独感の高まりがうかがえるので、対策を推進したい」と話しています。 国は、孤独や孤立の実態を把握するため、去年12月からことし1月にかけて、全国の16歳以上の2万人を対象に実態調査を行い、56％にあたる1万1218人から回答を得ました。 どの程度、孤独だと感じることがあるか尋ねたところ、 ▽「しばしばある・常にある」が5％ ▽「時々ある」が16％ ▽「たまにある」が20％だった一方、 ▽「ほとんどない」は41％ ▽「決してない」は18％でした。 「しばしばある・常にある」と回答した人は、それぞれの年代では30代が最も高く7％でした。 また、孤独感に影響を与えたと思う出来事については、 ▽「家族との死別」が27％ ▽病気やけがなど「心
Apache ArrowのPMC（Project Management Commitee、プロジェクト管理チームみたいな感じ）のメンバーの須藤です。 みなさんはApache Arrowを知っていますか？Apache Arrowは数年後にはデータ処理界隈で重要なコンポーネントになっているだろうプロジェクトです。データ処理界隈に興味がある人は知っておくと役に立つはずなので1年ほど前にApache Arrowの最新情報（2018年9月版）をまとめました。この1年ですごくよくなったので2019年9月現在の最新情報を紹介します。 私は、PMCの中では唯一の日本人1で、コミット数は2番目に多い2ので、日本ではApache Arrowのことをだいぶ知っている方なはずです。Apache Arrowの情報は日本語ではあまりないので日本語で紹介します。 ちなみに、英語ではいろいろ情報があります。有用な情報源は
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 通勤電車のなかで私が勉強する用のシリーズ第5弾です。今回は統計的検定についてまとめておこうと思います。 【これまでのシリーズへのリンク】 ・[数理統計学]統計的推定のまとめ ・[数理統計学]正規分布から導かれる分布(カイ二乗分布/t分布/F分布)の期待値と分散の導出まとめ ・[数理統計学]連続型確率分布の期待値と分散の導出まとめ ・ [数理統計学]離散型確率分布の期待値と分散の導出まとめ 目次 統計的仮説検定 検出力 一様最強力検定 ネイマン-ピアソンの基本定理 不偏
![[数理統計学]統計的検定のまとめ – かものはしの分析ブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/a787dca9147676db06027eb58bb689b8fa4eb62b/height=288;version=1;width=512/http%3A%2F%2Fkamonohashiperry.com%2Fwordpress%2Fwp-content%2Fuploads%2F2018%2F08%2Fanimal_kamonohashi.png)
P値のトリセツ
オープンな日本語埋め込みモデルの選択肢 / Exploring Publicly Available Japanese Embedding Models
株式会社電通（本社：東京都港区、社長：佐野 傑）は本日、日本の総広告費と、媒体別・業種別広告費を推定した「2023年 日本の広告費」を発表した。詳細は下記のとおり。 ＜2023年 日本の広告費の概況＞ ◆2023年の総広告費は、通年で7兆3,167億円（前年比103.0%）となり、1947年の推定開始以降、前年に続き過去最高を更新した。上半期（1-6月期）は、新型コロナウイルス感染症（以下、新型コロナ）の5類感染症移行に伴うリアルイベントの開催数増加や国内外の観光・旅行の活性化などにより回復がみられた。下半期（7-12月期）は、夏から秋にかけての猛暑や中東問題などの影響を受けたものの、社会・経済活動の活発化に伴い「交通・レジャー」「外食・各種サービス」「飲料・嗜好品」を中心に広告需要が高まった。進展する社会のデジタル化を背景に増加傾向が続くインターネット広告費や人流の活発化に伴って増加した
このnoteは、さとなおさんの「来年の９月７日から、日本の本当の下り坂が始まる」をデータという棍棒で殴ります。 あまりにバズって情緒的な反応をしている方が多かったので、こういう見方もありますよ、という記録を残そうと思います。 主な反論点は以下5点、目次の通りです。4点は参照されている国立社会保障・人口問題研究所や家計調査など1次データを確認して、さとなおさんの主張に対して反論しています。1点は個人の暴論です。お許しください。 反論１：日本の人口は毎年100万人ずつ減っていくさとなおさんは週刊現代の記事からグラフを引用して「日本の人口は、40年で4000万人減る」と結論付けられています。 まず、このデータは本当か調べてみました。 その結果、国立社会保障・人口問題研究所の将来推計人口データから作成したようです。生データは以下のページを参照ください。 最新の結果はどうなっているでしょうか。参照元
【都道府県別】人口あたりの新型コロナウイルス感染者数の推移
日本全国の都道府県別，人口あたりの新型コロナウイルス感染者数（感染確認例）の推移です．下部の地域ボタンまたは凡例（スマホは「凡例」ボタンで表示）をクリックすると都道府県の表示，非表示の切り替えができます（地図のクリックで表示，折れ線グラフのラベルをクリックで非表示も可能）．グラフのポイント上にカーソルで情報がポップアップ，クリックで強調，ドラッグで移動，マウスホイールでズーム．縦軸の初期表示は対数です．「縦軸」ボタンで通常スケールに切り替え可能です．「表示都道府県をURLに保存」ボタンを押すと，現在表示中の都道府県をブックマークで保存できます．「厚労省」「NHK」にチェックを入れて左のボタンでデータを選択すると，厚労省，NHK集計のデータも見ることができます．（NHKの集計は2022/9/27，厚労省および当サイトの集計は2023/5/8で終了しました） 【おことわり】御利用は各自の責任で
下水サーベイランス／札幌市
インフルエンザ対策に関しては、下記のページをご覧ください。 インフルエンザの知識と予防（札幌市保健所のページ） ※1【下水中のウイルスRNA濃度】 定量PCR法によって検出された下水1リットルに含まれるウイルスの遺伝子数（コピー）であり、この値が大きいほど下水の処理区域内に感染者が多く存在していると推定されます。 この調査では、降雨による影響を補正した、1週間に測定したすべての検体の幾何平均値（相乗平均値）を示しています。 ※2【下水からの検出率】 1週間に分析した下水検体数のうち、ウイルス遺伝子が検出された（検出限界93コピー/L）検体数の割合であり、この値が大きいほど感染の面的な広がりが進行していると推定されます。 なお、「不検出」とは、ウイルスが全く存在しないということではなく、検出限界（ウイルスの有無を判定できる最小値）未満であったことを示しています。 ※3【定点医療機関の患者報告
BASIC STUDY | AVILEN AI Trend
全人類がわかるデータサイエンス 基礎
先日オンラインセミナーで交絡に関するレクチャーをしました。 合計1000人以上に参加していただき、ありがとうございました。 当日の講義資料を公開します。 交絡とは何か、どうやって調整変数を選ぶか、（観察データ分析をする限り必ず生じる）未調整交絡があるというシチュエーションでどのように結果を解釈するかなどについて話しました。 大学の授業で習う教科書的な知識と、実際のデータ分析を行ううえで直面する問題とのギャップを埋めるような実践的な知識をご提供するべく、意識したプレゼンテーションです。 そのほかにも因果推論に関係する講義資料を公開しています。 合わせてご参照ください。
RからPythonへのお引越しでわかること - Jupyterと世界の野球から理解する - Lean Baseball
サムネイルがまんま結論の一部です&タイトルでビビッと来たアナタ（+野球好き）が対象読者です. ちょっとやりたいことがあって, やりたいこと⚾のサンプルがたまたまRだった このあと自分で分析したりなにか作るんやったらPythonでやりたい せや！RからPythonに移植しちゃえば良いンゴ ってことで, 粛々とRからPythonに移植した時に気がついた事をサラッと書きたいと思います. 最初に断っておくと, RよりPythonが優秀（またはその逆）だから書き換える！って意味ではありません！ どっちが優秀だの, 好みは何だのといった所は（必要と思った箇所を除き）触れないのでご了承ください.*1 というわけで, 変に力んだりマウントを取ること無く, ごゆるりとおくつろぎながら読んでもらえると幸いです. TL;DR 数式を意識しながら読んだり, 統計的にいい感じにしたい時はRの方がしっくりくる. 一方
前回「ベイズ統計学に関する議論を整理する」では、できるだけ中立的な視点で書くことに注力し、伊津野なりの結論については特に書かなかった。今回のエントリでは、様々な見解や調べた結果を元に私見を書く。 もちろん、伊津野は専門家ではなく、情報や理解が不足する部分については想像で補ったため「それはおかしい」と感じられる点もあるだろう。そのような記述を見つけたら、単に批判を書くのではなく、なぜ問題だと思うのか、自身のブログやTwitterなどで他の人間にも理解できるように論点を明確に書くようにしてほしい。うんこの投げ合いはうんざりだ。それに、コメント欄に批判や反論を書かれても、伊津野の理解力では適切な回答ができるとは思えない。広い範囲に意見を投げかけた方がより専門的な回答が得られ生産的だろう。*1 前置きが長くなったので本論に移ろう。 まず先に結論を述べる。現在、ベイズ統計学は「（頻度主義とは異なる）
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
総務省、社会人データサイエンス演習が無料に 講師は松尾豊氏ら | Ledge.ai
世界でアクセス数の多いウェブサイトトップ100をマップにしてみたら、意外な勢力図が見えてきた｜FINDERS
統計１級（医薬生物学）に合格した話 - i5882353iの日記
10代の若者の身長低下がとまらない？｜荒川和久／独身研究家・コラムニスト
＜新型コロナ＞「感染者統計にゆがみ」 シカゴ大・山口一男教授 日本の少数検査に苦言：東京新聞 TOKYO Web
武漢の改善、欺瞞と医師が告発 習氏視察で隔離解除、検査停止 ｜ 共同通信
ポケモンを題材に因果推論を実践してみる - kanayamaのブログ
マイナンバーカード 本人希望で廃止のうち自主返納は4割近く | NHK
【統計学「p＜0.05」に下げる方法】統計好きでも意外と知らない「p値ハッキング」の中身
国土交通省「建設工事受注動態統計」問題を紐解く(上) | 研究プログラム | 東京財団政策研究所
「エンジニアに向いている人」はGitHub user内にどれぐらいいるのか - Qiita
数字のバラ付きを考慮して意思決定する技術 - Hatena Developer Blog
【「0.05」の謎】統計学好きでも意外と知らない「統計的に有意」の本当の正体
民放、衝撃のＣＭ収入減 「ステイホーム」期間中、「スポット」不振 ３〜４割下落：東京新聞 TOKYO Web
統計学・機械学習を自分なりに概観してみた - Qiita
インフォグラフィック: 2021 年開発者エコシステムの現状
シンプソンのパラドックスのはなし - 渋谷駅前で働くデータサイエンティストのブログ
「モラリスト×エキスパート」を育む立正大学データサイエンス学部の『データサイエンティスト赤ずきん』がヤバい
｢女子学生13％が援助交際｣の嘘が生まれた理由 国連すら見落とすデータのデタラメ
“経済失速”が叫ばれる中国 相次ぐデータ公表停止の謎 | NHK | WEB特集
「JavaとCの長年の覇権は終わった」プログラミング言語の人気指標でPythonがついに1位に【やじうまWatch】
統計初心者が統計モデリング力を鍛えるための勉強法 - Qiita
「孤独を感じることがある」年代では30代が最高 国の実態調査 | NHK
Apache Arrowの最新情報（2019年9月版） - 2019-09-30 - ククログ
[数理統計学]統計的検定のまとめ – かものはしの分析ブログ
2023年 日本の広告費 - News（ニュース） - 電通ウェブサイト
さとなおさん「日本の本当の下り坂」にデータで反論したので、何らかコメントを頂ければ幸いです｜松本健太郎
「教科書が教えてくれない『交絡』の話」の講義資料を公開しました - Unboundedly
なぜ統計学には主義が必要なのか - hidekatsu-izuno 日々の記録
automaton-media.com
l.smartnews.com
miwa4.nk.awe.jp
b.hatena.ne.jp
news.yahoo.co.jp
news.yahoo.co.jp