デジタル庁のデータ分析基盤「sukuna」｜デジタル庁
はじめまして。デジタル庁ファクト＆データユニット所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト＆データユニット」ファクト＆データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており（参考：デジタル庁 - 組織情報）、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト＆データユニットも
1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita
はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量（最小値、最大値、平均、分散、四分位数）などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検
「もはや昭和ではない」男女共同参画白書（令和4年版）が面白いからみんな読んでみて！ 今は子無し世帯がマジョリティ - 斗比主閲子の姑日記
先月、男女共同参画白書が公表されて色んなところで取り上げられていたので、週末にざっと目を通しておきました。 男女共同参画白書 | 内閣府男女共同参画局 時間がない人は概要版だけでも読んでみるといいですよ。とても興味深いデータが揃っているし、関わった人（内閣府男女共同参画局）の問題意識も伝わってきます。 まず、概要版の表紙にしたって、 左から、料理に携わる男性と子ども二人、選挙に出る女性、おしめを変える男性、実験に携わる女性と子ども二人の構図です。ここからも何を目指しているものかよく伝わってきますよね。気になって過去の男女共同参画白書の概要版の表紙を遡ってみましたが、このようなイラストを挿入していたのは今年だけでした。 今回の特集は人生100年時代における結婚と家族という野心的な内容です。 ここのページで強調されている、 家族の姿が変化しているにもかかわらず、男女間の賃金格差や働き方等の慣行
「NHK全国ハザードマップ」を公開した理由 34テラバイトのデータと格闘 - NHK
34テラバイトのデータと格闘して「全国ハザードマップ」を公開した理由 5月下旬に公開を開始したNHKの「全国ハザードマップ」。川の氾濫による洪水リスクを中心に掲載し、多くの方に活用頂いています。 ⇒「NHK全国ハザードマップ」の紹介記事はこちら 一方で、「市町村が出しているハザードマップがあれば十分だ」「リスクを網羅していない不完全なマップの公開は良くない」「NHKではなく国が取り組むべき仕事ではないか」といった意見も頂きました。 今回なぜ、このような取り組みを行ったのか。どうやってデータを収集して地図を作ったのか。詳しく説明します。 なぜ「デジタルデータ」を集めたのか？ 私たちはこれまで「ハザードマップを見て下さい」という呼びかけを、テレビやラジオのニュースや番組、ネット記事、SNSなどで繰り返してきました。 なぜなら、自分の暮らす場所のリスクを知ることが、災害から命を守るスタートだから
「ゲーム実況でストーリーのオチを見た後、そのゲームをプレイしたくなるか」。ある研究者のTwitterアンケートが反響、その結果は - AUTOMATON
ホーム ニュース 「ゲーム実況でストーリーのオチを見た後、そのゲームをプレイしたくなるか」。ある研究者のTwitterアンケートが反響、その結果は ゲーム研究者・下田紀之氏が募ったあるアンケートが反響を呼んでいるようだ。その内容はずばり、「物語が重要な作品において、ゲーム実況でそのストーリーをまるごと見た後、そのゲームをプレイしたくなるか？」というアンケートだ。 【UPDATE 2022/5/26 13:40】 タイトルに、アンケートの形態がTwitterを利用したものであることを追記。あわせて本文を調整。 ゲーム実況は、今や定番人気コンテンツのひとつであるほか、公式的な“市民権”をも得てきている。規約さえ守れば、大手メーカー作品でも収益化も可能なゲームは多い。ゲーム実況コンテンツそのものにバリューが生まれ人気が出たことで、ゲーム実況をされることが販促につながりつつあるというのが、こうした
厚労省が公式データ修正→「ワクチン有効」は嘘でした…の衝撃。｜森田 洋之
国の統計で未接種と比べ、接種済の方が陽性になる割合が低いことが示されています。未接種者と接種者では感染対策意識に差があるので割り引く必要がありますが、県の高齢者施設の調査でも、3回目接種済の高齢者の方が感染割合が低く、行動に差が無い層であることを考えると予防効果は実証されています https://t.co/2emNjdf0o2 pic.twitter.com/Ps3TlThLpB — 熊谷俊人（千葉県知事） (@kumagai_chiba) April 25, 2022 ということなのですが…なんと！このデータが「インチキ」だったと、厚労省が正式に公表したのです。 厚労省は毎週、ワクチンに関するデータを公開するのですが、さる5月11日の発表から重大なデータ修正。 で、その結果がこちら。 出典：第83回（令和４年５月11日） 新型コロナウイルス感染症対策 アドバイザリーボード https:/
総務省「誰でも使える統計オープンデータ」無料オンライン講座スタート
総務省は1月11日、データサイエンスのオンライン講座「誰でも使える統計オープンデータ」を、MOOC講座プラットフォーム「gacco」で開講した。社会人・大学生に、統計オープンデータを活用したデータ分析の手法を解説する講座で、3月7日まで受講できる。 週約3時間×4週間の内容。政府統計の総合窓口「e-Stat」、総務省と統計センターが提供する統計GIS、API機能などを使い、データ分析の手法を学べる。 講師は「統計学が最強の学問である」の著書で知られる統計家の西内啓氏や、総務省統計局の担当者など。 2017年6月に初開講して以来、断続的に開講し、のべ約2万8000人が受講した講座。 関連記事 政府が「ワクチン接種状況ダッシュボード」公開 性別や都道府県別に可視化 政府が、全国の新型コロナワクチンの接種状況を一覧にまとめた「ワクチン接種状況ダッシュボード」を公開。統計情報をまとめたCSVやJS
統計の入門講座が無料に、京大メソッドでデータサイエンス関連教員が担当 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
論理プログラミング言語Logicaでデータサイエンス100本ノック
Googleが発表したOSSプロジェクトである論理プログラミング言語Logicaを使って、データサイエンス100本ノック(構造化データ加工編)の設問を解きながらどのような言語かを確認していく。 (BigQueryのクエリとして実行していく) 最初に、プログラミング言語Logicaの特徴を纏めておく。 論理型プログラミング言語: このカテゴリではPrologが有名 SQLにコンパイルされる: 現状BigQueryとPostgreSQLに対応 モジュール機構がある: SQLと比較した強み コンパイラはPythonで書かれている: Jupyter NotebookやGoogle Colabですぐ始められる Colabでチュートリアルが用意されているので、まずこちらからやると良いと思う。 コードの見た目は関係論理の記述に似ている。 事前に、データサイエンス100本ノックのテーブルデータをBigQu
全国民に配るべき！総務省が示した「データ入力の統一ルール」｜Excel医ブログ
2020年12月、総務省より 【機械判読可能なデータの表記方法の統一ルール】が策定されました。 統計表における機械判読可能なデータの表記方法の統一ルールの策定 https://www.soumu.go.jp/menu_news/s-news/01toukatsu01_02000186.html 2020年11月に河野太郎 行政改革担当大臣のツイートが話題となりました。 その後正式に統一ルールが公開された形です。 各省庁がネット上で公開する統計を機械判読可能にするために、データの表記方法を統一させます。「政府統計の総合窓口（e-Stat）」で本日から１２月１日までの間、表記方法案に関する意見照会を行います。研究者をはじめ、皆様のご意見をお待ちしています。https://t.co/h07tCTDazc — 河野太郎 (@konotarogomame) November 25, 2020
異常検知入門と手法まとめ - Qiita
異常検知について勉強したのでまとめておきます。 参考文献 下記文献を大いに参考にさせていただきました： [1] Ruff, Lukas, et al. "A Unifying Review of Deep and Shallow Anomaly Detection." arXiv preprint arXiv:2009.11732 (2020). [2] 井手. "入門 機械学習による異常検知―Rによる実践ガイド" コロナ社(2015) [3] 井手,杉山. "異常検知と変化検知 (機械学習プロフェッショナルシリーズ)" 講談社サイエンティフィク(2015) [4] 比戸. "異常検知入門" Jubatus Casual Talks #2(2013) [5] Pang, Guansong, et al. "Deep learning for anomaly detection: A rev
総務省が無料データサイエンス講座を開講、松尾豊氏ら講師に | Ledge.ai
画像は『総務省統計局「社会人のためのデータサイエンス演習」講座PV』より 総務省は9月29日から、実践的なデータ分析の手法を学習できるとうたう、データサイエンス・オンライン講座「社会人のためのデータサイエンス演習（外部サイト）」を開講している。登録料および受講料は無料。閉講日時は12月7日の23時59分。 本講座では、ビジネスや行政での活用を想定しており、社会人や大学生に向けて、ビジネスや業務上での分析事例を中心に実践的なデータ分析（統計分析）の手法をわかりやすく解説するという。前提条件は表計算ソフトMicrosoft Excelの基本的な操作ができること。 『総務省統計局「社会人のためのデータサイエンス演習」講座PV』より 講師は、総務省統計局の會田雅人氏、総務省統計局の阿向泰二郎氏、株式会社電通の佐伯諭氏、東京大学の松尾豊氏、株式会社ブレインパッドの奥園朋実氏、株式会社ブレインパッドの
食べログ3.8問題を検証 - クイックノート
先日、twitter上で食べログの星の数について、 ある問題が話題になりました。 食べログの闇として話題になったその問題とは、 「評価3.8以上は年会費を払わなければ3.6に下げられる」 というものです。 食べログは飲食店についての口コミを集めるサイトで、 その評価は実際のユーザーによって形成されるものとして広く認知されています。 専門的なグルメリポーターでもなく、 一般の人々の素直な感想を集めることで、 その飲食店のリアルな価値が知れると期待して、 利用しているユーザーも多いでしょう。 それだけに、 「食べログが評価を恣意的に操作しているかもしれない」という話は、 瞬く間にネットで話題となりました。 さて、この話は実際に行われていることなのでしょうか。 食べログでは、当然評価点は公開されているので、 このような恣意的な操作があれば、 何らかの形で偏りが見つかるはずです。 ということで、食
2019年版：データサイエンティスト・機械学習エンジニアのスキル要件、そして期待されるバックグラウンドについて - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) この記事は、以前の同様のスキル要件記事のアップデートです。 正直言って内容的には大差ないと思いますが、今回は2つ新たな軸を加えることにしました。一つは「ジュニアレベル（駆け出し）」と「シニアレベル（熟練職人）」とで分けるということ、もう一つは「データ分析以外の業界知識（ドメイン知識）」にも重きを置く、ということです。 というのも、空前の人工知能ブームが予想よりも長く続いていることで、人材マーケットを観察する限りではデータサイエンティスト・機械学習エンジニアとも求人数が高止まりしているように見えるのですが、その結果としてこのブログの過去のスキル要件記事で挙げたような「完成されたデータ分析人材（熟練職人）」に限らず「駆け出し」でも良いからデータ分析人材が欲しいという企業が増えているように感じられるからです。 その一方で、かつては主にwebマーケティング業界
統計のモデルと機械学習のモデル、どう使い分ければよいのか - Qiita
以前、「結局、機械学習と統計学は何が違うのか？」というポストの中で「統計と機械学習の違い」について、手法や技術的な側面から簡潔に説明していた記事を紹介しました。 今回は、もう一歩先に進んで、それでは、統計と機械学習のモデルがあった時、どう使い分ければいいのか」について簡潔にまとめられていた記事、"Road Map for Choosing Between Statistical Modeling and Machine Learning" を紹介したいと思います。 以下、要訳。 Road Map for Choosing Between Statistical Modeling and Machine Learning by Frank Harrell - Link 統計モデルはデータ生成のメカニズムに確率を持ち込み、大抵の場合は未知の値を持つ解釈可能なパラメータ（例えば予測変数の影響（係
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
もやし（@w_coast_0330）さん / X
じゅじゅ on Twitter: "ネット上にある、完全無料で勉強になる有益なコンテンツまとめました。 （お金/資産形成、Excel、仕事術、資料作成、英語、ファイナンス、統計・データ分析、プログラミング、ITなど） GWでなにか勉強したいな～、と思っていた方はぜ… https://t.co/wHbkKFUnFM"
全国130万件の交通事故マップ-みえない交差点-プレミアムA：朝日新聞デジタル
Japan: COVID-19 Public Forecasts
『アメリカの平均賃金が一ヶ月で7.9％も急上昇した！？』 低賃金労働者の35％が無職になった為
