2021 Web Almanac
Web Almanac HTTP Archiveの年次報告書 ウェブの状態レポート 私たちの使命は、HTTP Archiveの生の統計やトレンドを、ウェブコミュニティの専門知識と組み合わせることです。Web Almanacは、実際のデータと信頼できるウェブの専門家に裏付けられた、ウェブの状態に関する包括的なレポートです。2021年版は、ページコンテンツ、ユーザー体験、パブリッシング、配布などの側面を網羅した24の章で構成されています。 探索を開始 注目の章 WebAssembly WebAssembly […] はウェブのエコシステムに非常によく統合されているので、多くのウェブサイト所有者は、すでにWebAssemblyを使っていることにさえ気づかないかもしれません。彼らにとっては、他のサードパーティのJavaScript依存関係と同じように見えます。
新型コロナ重症化リスクファクター分析 XGBoost+SHAPによるEDA - JMDC TECH BLOG
JMDC データサイエンティストの齋藤です。 データ分析の第一歩、EDA（探索的データ分析）にどう取り組んでいますか？ 予測のための機械学習の話はよく聞きますが、EDAのための機械学習はあまり目にしないと感じるので、 今回は実務における「XGBoost+SHAPによるEDA」の実践例を取り上げてみたいと思います。 題材は２０２１年７月にリリースした「新型コロナウイルス感染時の重症化リスクファクターに関する分析結果」です。 https://www.jmdc.co.jp/wp-content/uploads/2021/07/news20210709_2.pdf このブログの内容はテクニカル中心ですが、分析結果自体も面白いのでレポートもご覧いただけると嬉しいです。 XGBoost+SHAPでEDAする理由 分析デザインの概要 Feature Importance SHAP XGBoost+SHA
データサイエンティストとは何か論争にAI(gpt-2)で終止符を打とうとした話 - Qiita
みなさん、こんにちは！ こちらは「ABEJA AdventCalendar 2021」 の15日目の記事です。 データサイエンティストとは？ いきなりですが、データサイエンティストとは何でしょうか？ 私自身、データサイエンティストとして働いていますが、最近よく「データサイエンティストになるにはxxxxのスキルが必要だ」とか「データサイエンティストとはxxxxだ」みたいな論争話題をよく聞きます。 データサイエンティストという職業をよく耳にするようになってから、まだ時間も経っていないですし、今後どうなっていくのかも分かりません。 そんな中、データサイエンティストになるべく、データサイエンティストとして今後もキャリアを続けていけるようになるべく、各々がキャリアについて考えているので、色々な意見が出てくるのは自然なことかもしれません。 しかしまぁよく分からないですよね。 ということで、人々による議
今起きている革命、「因果革命」とは - Qiita
みなさまは"The Causal Revolution" (因果革命)という言葉を聞いたことがあるでしょうか？ 私は今月(2021年6月)に初めて知りました。Google Trendsでもデータ不足によりトレンドが表示されません。 つまりまだ全然マイナーな概念で、聞いたことがないほうが自然かと思われますが、これは「来る」と確信したため本記事を投稿しました。この確信の根拠の箇所を記事中で太字で書いた他、最後にもまとめたため、本記事を読む価値がありそうかの判断には先にそちらを読んでもらってもいいかもしれません。しかしながら、因果革命ないし統計的因果推論は学ぶ価値のある分野です。本記事を読まなくても下記に挙げた書籍を未読の方はぜひ一読してみてください。Qiitaでも因果推論についての記事はいくつもあります。しかし、私が感動した点を明示化した記事は見当たらなかったため本記事を投稿しました。 この記
書籍「計算社会科学入門」第9章 統計モデリング
書籍「計算社会科学入門」第9章 統計モデリングのチュートリアル資料です。 https://www.amazon.co.jp/dp/4621305964Read less
CTR予測における確率補正について - MicroAd Developers Blog
はじめに こんにちは. マイクロアドで機械学習エンジニアをしている福島です. 主に広告のClick Through Rate (CTR)予測やReal-Time-Bidding (RTB)の入札最適化を担当しています. 今回はマイクロアドでのCTR予測における確率補正について紹介したいと思います. はじめに CTR予測とは 問題1 学習データが不均衡 問題2 機械学習モデルの出力を確率として扱うのは不適切な場合がある 問題3 学習データの信頼度が高くない CTR予測における確率補正 アンダーサンプリングによって生じたバイアスの除去 Isotonic Regressionによる確率補正 確率補正の効果検証 終わりに CTR予測とは RTBでは下図のように, 広告主とメディア間でリアルタイムにオークションが開催され, オークションに勝利した広告がメディアに表示されます. マイクロアドでは現在オ
1年以上も検出できなかった「史上最大級の高度な攻撃」、同じ弱点は世界中に
1年以上も検出できなかった「史上最大級の高度な攻撃」、同じ弱点は世界中に：この頃、セキュリティ界隈で（1/2 ページ） 米連邦政府機関や大手企業がSolarWindsの管理ソフト経由でサイバー攻撃を受けた事件は、調査が進むほど事態の深刻さと影響の大きさが浮かび上がっている。信頼できると思っていた取引先が踏み台にされたサプライチェーン攻撃は、厳重なセキュリティ対策に守られたはずの組織でさえ見抜けなかった。同じような弱点は至る所にある。 一連の事件が発覚したのは2020年12月。だがSolarWindsのこれまでの調査によれば、最初の不正アクセスは2019年9月に発生していた。同年10月にリリースされた同社の管理ソフト「Orion」の更新版には実験的な攻撃コードが仕込まれ、2020年2月にはフル機能を装備したマルウェア「Sunburst」が導入されて、3月から同マルウェアの拡散が始まった。 S
t-SNE 解説 - Qiita
Visualizing Data using t-SNE をまとめます。 t-SNE とは SNE (Stochastic Neighbor Embedding) t-SNE (t-Distributed Stochastic Neighbor Embedding) 大規模データへの適用 t-SNE の弱点 t-SNE とは t-SNE は、次元圧縮の手法で、特に可視化に用いることを意図しています。 データの局所的な構造をうまく捉えることができるだけでなく、さまざまなスケールのクラスタなど、大域的な構造も保った可視化ができる点が特徴です。 SNE (Stochastic Neighbor Embedding) 最初に、t-SNE の基となる手法である SNE (Stochastic Neighbor Embedding) を紹介します。 SNE では、元の空間での点同士の近さが、圧縮後の点
機械学習や統計学を「社会実装」するということ - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 最近になって、こんな素晴らしい資料が公開されていたことを知りました。 この資料自体は著者のMoe Uchiikeさんが東大での講義に用いられたものだとのことですが、その内容の汎用性の高さから「これは全ての機械学習や統計学を実務で用いる人々が必ず読むべきドキュメント」と言っても過言ではないと思われます。 正直言ってこの資料の完成度が高過ぎるのでこんなところで僕がああだこうだ論じるまでもないと思うので、内容の詳細については皆さんご自身でまずは上記リンクから精読していただければと思います。その上で、今回の記事では「機械学習や統計学を『社会実装』する」ということがどういうことなのかについて、この資料を下敷きとした上でさらに僕自身の経験や見聞を加えて考察したことを綴ってみます。 機械学習や統計学と、社会との「ギャップ」 機械学習や統計学を、社会に「馴染ませる」
Twitterのリプライを可視化するシステム登場 「たくさんに見える誹謗中傷、実は少数の人から」が分かる
Twitterで自分や他者に送られてきたリプライを可視化するシステム「リプライユーザ可視化システム」（β版）が開発されました。「炎上時にTwitterで多くの人から攻撃されているように見えても、実は全体から見ると少数」ということが分かるシステムです。 ねとらぼアカウントの分析結果 このシステムは東京大学大学院准教授で計算社会科学を研究している鳥海不二夫（@toritorix）さんが開発。「炎上に加担する人は1.5％程度しかいない」という研究結果を受けて、「たくさんに見える誹謗中傷が実は全体から見ればごくわずかな人々の手によるものだ、といいうことを分かりやすく可視化するため」開発したとしています。 利用方法は、サイトにアクセスして「Start Mention Analyzer」からTwitterアカウントを連携。「自分へのリプライを確認する」から自身のアカウントに送られたリプライの一定期間の
地方自治体CDNサーベイ2019(暫定、速報版) | J-Stream CDN情報サイト
地方自治体サーベイ2017 調査概要 対象 都道府県および市町村のホームページサイト数：約1700集計日2019年10月15日 CDN利用(全サイト配信)：119サイト(7%)2017年に比べ17サイト増加 CDNシェアFQDN(サイト)単位ではIncapsulaがトップシェア、次にIIJ、J-Stream、その他 補足 CDN利用率は都道府県により大きく異なる。CDNを積極的に活用している県（岩手県、神奈川県、新潟県）では、都道府県のサイト(例：神奈川県)においてCDNが利用されており、市町村単位でのCDN利用率も高い。 現状として、 地方自治体のCDN利用については、市町村レベルでの取り組みではなく、都道府県レベルでの取り組みが必要 となっている。 CDNを使用している自治体ページ一覧 北海道札幌市青森岩手岩手県八幡平市、一関市、釜石市、久慈市、二戸市、大船渡市、奥州市、陸前高田市、滝
機械学習で入ってはいけないデータが混入する「リーケージ」とその対策
機械学習で入ってはいけないデータが混入する「リーケージ」とその対策：もう失敗しない！製造業向け機械学習Tips（1）（1/2 ページ） 製造業が機械学習で間違いやすいポイントと、その回避の仕方、データ解釈の方法のコツなどについて、広く知見を共有することを目指す本連載。第1回では「リーケージ」について取り上げる。 ⇒連載「もう失敗しない！製造業向け機械学習Tips」バックナンバー 筆者はデータサイエンティストとして、機械学習自動化プラットフォーム「DataRobot」の導入サポートをさまざまな製造業のクライアントに提供してきました。本連載では、その経験に基づいてお話させていただきます。 機械学習が使われる製造業特有の分野は、物性予測、工程管理、予防保全、故障予測、要因分析など多岐にわたります。しかし筆者は、それらの多くで同様のミスが繰り返されていることに気が付きました。これらの間違うポイント
「“統計的に有意差なし”もうやめませんか」 Natureに科学者800人超が署名して投稿
「統計的に有意差がないため、2つのデータには差がない」──こんな結論の導き方は統計の誤用だとする声明が、科学者800人超の署名入りで英科学論文誌「Nature」に3月20日付で掲載された。調査した論文の約半数が「統計的有意性」を誤用しており、科学にとって深刻な損害をもたらしていると警鐘を鳴らす。 「統計的に有意差がない＝違いがない」は間違い 例えば、ある薬の効能を調べたいとする。統計学では一般的に「仮説検定」を行って薬を与えたグループとそうでないグループを比較し、薬効の指標となる何らかのパラメータに統計的有意差があるかどうかを見る。仮説検定は、2つの事象の差異が偶然生じたものかどうかを統計的に結論付けるものだ。 もし、統計的有意差がある（薬を与えた群のパラメータの方が有意に大きい）なら「薬には効能がある」という結論を導けるが、有意差がなかった場合はどうだろうか。 「統計的有意差がある＝薬効
データ分析の不思議、シンプソンのパラドックスを統計的因果推論から考える - Unboundedly
今回は統計学で有名な「シンプソンのパラドックス」という問題について紹介したいと思います。簡単にいえば、同じデータでも分析の仕方によって全く矛盾したように見える結果が得られるというお話です。データだけ見ると、信じがたいような直感に反する現象がおきるので頭の体操としてとても面白いです。 あまりに有名なパラドックスであるため日本語でも解説がいくつか出ていますが、人によって言っていることが違っていたり、不完全であったりします。多くはシンプソンによるオリジナルの論文を読んでないことから起因するのだと思います。 例えばシンプソンのパラドックスを交絡の問題だと捉える人は多いですが、個人的に不完全だと思います（間違いではない）。このように誤解が広まった歴史的背景も含めて、詳しく書いていきたいと思います。ちなみにアニメのシンプソンズはこの問題と全く無関係です。 そもそもシンプソンのパラドックスとは？ シンプ
誤った図解から学ぶロジスティック回帰の性質 - ill-identified diary
発端 www.datasciencecentral.com というData Science Central の記事が, "A good reminder that Data Science Central is completely insane" https://t.co/68esZTv88d— mat kelcey (@mat_kelcey) 2018年5月22日 (Data Science Central が完全にデタラメであることを思い出させてくれる好例) とひどい言われようである. 何がおかしいのかPython で同様の図を作ってみる. boundary の関数が何なのかはわからないが, 忖度してロジスティック曲線 を使って表してみた*1. 一方で, よく見かけるロジスティック回帰の図解はこれだろう. なにかがおかしい. ロジスティック回帰は2通りに分類するものだから, 目的変数
仮説検証とサンプルサイズの基礎 - クックパッド開発者ブログ
パートナーアライアンス部 森田です。有料会員の獲得施策や、それに関わるサービス内動線の最適化を担当しています。 記事の対象 仮説検証を通じて何かを改善をしたいと思っている人 仮説検証の際に「どれくらいのデータを集めたら良いか」分からない人 はじめに 仮説検証とは「仮説を立て、それを証明するためのデータを集め、真偽を確かめること」です。今回は仮説検証を行う際の手順と、その検証に必要なサンプルサイズの考え方を説明します。サンプルサイズの話のみ関心があるかたは、前半を飛ばし「サンプルサイズの決め方」を読んでください。 目次 記事の対象 はじめに 目次 仮説検証のつくりかた 1. 仮説をたてる 2. 施策/KPIを考える 3. 仮説検証後のアクションを決める 4. 対象を決める 5. サンプルサイズを計算する サンプルサイズの決め方 答えを先に サンプルサイズを決める二つの要素 「二つの平均値」と
階層ベイズモデルとWAIC - StatModeling Memorandum
この記事では階層ベイズモデルの場合のWAICとは何か、またその場合のWAICの高速な算出方法について書きます。 背景 以下の2つの資料を参照してください。[1]に二種類の実装が載っています。[2]に明快な理論的補足が載っています。 [1] 階層ベイズとWAIC (清水先生の資料です、slideshare) [2] 階層ベイズ法とWAIC (渡辺先生の資料です、pdf, html) モデル1 資料[1]にあるモデルを扱います。すなわち、 ここでは人数、は人のインデックスです。は個人差を表す値になります。このモデルにおいてはを解析的に積分消去することができて、負の二項分布を使う以下のモデル式と等価になります。 ここでは予測として（WAICとして）2通り考えてみましょう。 以降では事後分布による平均を、分散をと書くことにします。 (1) を持つが、追加で新しく1つのサンプルを得る場合 この場合に
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
統計的因果推論への招待 -因果構造探索を中心に- - SlideShare
統計表における機械判読可能なデータ作成に関する表記方法案
世界最多のトラフィックを占める動画サービス、YouTubeではなく実はあのサービスと判明【やじうまWatch】
