データエンジニアリングの基礎
データエンジニアリングとは、組織内外で日々生成されるデータを蓄積し分析するためのデータシステムを構築し維持管理することであり、急速に注目を集めている分野です。近年ではデータエンジニアリングを支えるツールやクラウドサービスが成熟し、組織へのデータ利活用の導入は容易になりましたが、明確な指針のないままデータシステムの構築を進めると費用と時間を無駄に費やすことになります。本書は「データエンジニアリングライフサイクル」を軸にデータシステムの要件を整理することで、組織の「データ成熟度」に応じたデータシステム構築の指針を与えます。またデータエンジニアの立ち位置を明確にし、組織内でデータエンジニアが果たすべき役割を示します。 まえがき Ⅰ部 データエンジニアリングの基礎と構成要素 1章 データエンジニアリング概説 1.1 データエンジニアリングとは何か 1.1.1 データエンジニアリングの定義 1.1.
7～8月の山岳遭難 統計開始後最多738件 死者 行方不明者61人に | NHK
女性は1泊2日の登山ツアーに参加してガイドらと10人余りで白馬岳などを縦走し、2日目、山頂から下山するため「白馬大雪渓」に向かう途中に、崩れやすい岩が多い登山道でよろけて転倒し、10メートルほど滑落しました。 全身を強く打ったうえ頭から出血していたため自力で下山できなくなり、要請を受けて出動した救助隊員などに背負ってもらって下山したということです。 救助された女性 「コロナ禍の間は登山に行くのを控えていて、外出自粛期間が終わり、行きたかった山にようやく行ったものの、体力がかなり落ちていると感じました。行動時間が長く疲れが出て、集中力が落ちていたのだと思います。自分の体力に見あったツアーを選択すべきでした。幸い命に関わる事故にならず軽いけがですみましたが、多くの方のお世話になりご迷惑をかける結果となり、自分自身の一瞬のミスの重さを感じています」
仕事でつかえるデータ分析の基礎｜きゅーい / koyo
データ分析という言葉に身構えてしまう人は多いのですが、実際はそんなに怖いものではありません。一般的な業務内であれば専門的な知識が必要とされるケースは少ないですし、四則演算が出来れば大体対処できます。 このエントリでは、データ分析に苦手意識がある人やデータ分析の初心者の方に向けて、データ分析の基礎となる部分を解説します。 ※ このエントリは若手ビジネスパーソン向けに行ったデータ分析の講義をもとに書かれています [対象読者] - データ分析に苦手意識が強い人 - データ分析のタスクを依頼されたが、何をやればいいかわからない人 - スキルアップしたい若手ビジネスパーソン - 数学が嫌いすぎてデータを見ることすら嫌な人 [得られること] - データ分析の基本的な考え方 - 簡単なデータ分析の手法 データ分析が難しいと感じてしまうワケデータ分析というと、複雑なデータを難しい数式をこねくり回してさらに
Twitterから流出したとみられる約2億件のデータについてまとめてみた - piyolog
2023年1月5日以降、2億件を超えるTwitterアカウントのデータを公開したと主張する投稿がハッカーフォーラムで行われていたことを複数の報道機関が報じました。*1ここでは関連する情報をまとめます。 自分が影響を受けたのかを確認するには 約2億件のデータに自分のメールアドレスが含まれているか（影響対象か）はHave I been pwnedを使って確認することが可能。 メールアドレス入力後に「pwned?」をクリックし、「Twitter (200M)」と表示された場合は、今回のデータに含まれている。（それ以外のリークに含まれていた場合は別のリーク情報も表示される。） メールアドレスがリークデータに含まれていた場合にTwitter (200M)が表示。 Twitter APIの脆弱性より流出したデータと主張 Twitter APIに第三者が他人のアカウント情報を取得できる脆弱性が2021年
ロシアの最新兵器はどこへ消えたのか、統計数字の謎を暴く 野ざらしで錆びて使用不能、他国へ横流し、分解され売却・・・ | JBpress (ジェイビープレス)
東部では、ロシア軍が果敢に何度も攻撃するもののウクライナ軍に撃破されている。 南部では、両軍の砲撃は続いているが、ウクライナ軍は攻勢準備中で、ロシア軍は防御のための壕を構築している。 この期間のロシア軍の損失（ウクライナ軍参謀部発表）をみると、兵器の種類によって、損失の多い時期が異なっている。 基本的には侵攻当初が最も多いのだが、その後減少して、7か月後から増大しているものもある。また、兵員の損失も同じような傾向がある。 この増減は、主に戦いの様相が変わったことによるものである。 地上軍の戦車・装甲車、火砲など、および兵員の損失に区分して、損失の変化と理由、充足の可能性および今後の戦闘の予測について考察する。
“ひきこもり” 初の大規模調査 見えてきたものは | NHK
人口およそ70万の東京・江戸川区がひきこもりの可能性がある15歳以上のおよそ25万人を対象に初めて大規模な調査を行いました。 その結果、14歳以下の不登校の子どもなどと合わせ、区内に9000人余りのひきこもりの人がいて40代が最も多く、女性が男性よりも多いことなどがわかりました。 専門家は「潜在化したひきこもりが行政につながったという点で、新たなひきこもり支援の在り方としても注目される」としています。 区民70万人の76人に1人がひきこもり 江戸川区の調査は、およそ70万の区民のうち、14歳以下は不登校の情報が把握できているとして除き、15歳以上の区民のうち、給与収入で課税がない人や介護や障害など行政サービスを利用していない人がひきこもりの可能性があるとしておよそ18万世帯の24万6000人余りを対象に去年、初めて行い、8日その結果を発表しました。 調査は用紙を郵送する形で行われ、回答がな
総務省、きょうから「社会人のためのデータサイエンス入門」を無料開講 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
匿名データから個人の特定に成功、精度は50％以上 英ICLやTwitter社らが匿名化の欠陥を指摘
Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 英Imperial College London（ICL）とUniversity of Oxford、スイスのUniversita della Svizzera italiana、Twitter UK、イタリアのUniversity of Naples Federico IIによる研究チームが発表した「Interaction data are identifiable even across long periods of time」は、スマートフォンなどから匿名で収集する個人間の交流データなどから50％以上の確率で個人を特定できることを実証し、匿名化の欠陥を指摘した論文だ。 現在、多数の
再帰的な構造のデータの同値性判定はどうしたらいいか - 貳佰伍拾陸夜日記
数日前にTwitterで, JavaScriptのオブジェクトに対する===の挙動が初心者には難しいみたいな話を見かけた. 発端や周辺の議論をちゃんと追いかけてないからとくに出典は貼らない. たぶん元々の話は「へぇ, こういう挙動なんだ, 簡単ではないね」くらいの話だったのかもしれない. 自分のタイムラインの観測範囲では「そうだそうだ, (参照の同一性ではなく)同値性にしとけばいいのに」と思っている人もそれなりにいそうに見えた. 個人的にも同値性が簡単に確認できるとよい気はするものの, 「なんでそうしないんだ, オブジェクトの中身を確認していくだけだろ!」みたいな簡単な話ではないことも知っているため, 以下のようなツイートをしたのだった. JavaScriptのオブジェクトの同値性、再帰的な構造とか作るとぜんぜん自明じゃないんだよなぁ。リンクの構造は違うけどプロパティを辿ったときのパスはど
MongoDBの本番データを使って安全に動作確認できるようにする - STORES Product Blog
最初に こんにちは、STORES ECチーム、SREグループ所属の渋谷です。皆さんは本番データを使って動作確認や検証することがありますでしょうか？ 我々も、稀ではありますが本番と同等のデータで動作確認や検証する場合があります。今回は、直近で本番のデータで動作確認を行いたいことがあったので、それらを行うために用意したデータの作成方法について紹介したいと思います。 データを安全に使う さて、本番データにはお客様からお預かりした大切なデータが含まれます。それら大切なデータを動作確認や検証にそのまま使ってしまうと、不要な人間が閲覧できてしまったり、データの流出、意図しない保管、メールの誤送信など様々なリスクが発生します。それらを発生させないために、個人情報や閲覧されてはいけないデータはマスクし、安全に使えるようにする必要があります。 やったこと MongoDBのデータをダンプする 弊社のEC事業で
《特別開講》社会人のためのデータサイエンス入門
2021年1月12日開講予定の「誰でも使える統計オープンデータ」にさきがけて、「社会人のためのデータサイエンス入門」を特別開講いたします。 本講座では入門編として、統計学の基礎やデータの見方・データの取得方法などを学べます。統計学の基礎を学ぶことにより、活用編である「誰でも使える統計オープンデータ」もより効果的に受講することができますので、この機会にぜひ2講座併せてご受講ください。 「誰でも使える統計オープンデータ」はこちらのページをご参照ください。 講座内容 今、ビジネスの現場では、統計的な思考力によって様々な課題を解決していく能力、すなわち"データサイエンス"力の高い人材が求められている。このようなことを踏まえ、本コースでは"データサイエンス"力の向上を目指し、事例なども踏まえ、データ分析の基本的な知識を学ぶ。 コースは4つの部分に分かれている。第1週では、社会でデータがどのように活用
「国勢調査、書きましたか？」未提出者の１００％が無回答
５年に１度実施される国勢調査について、当初の回答期限だった７日時点で未提出だった人を対象に実施した意識調査（オンライン）で、その後に国勢調査を「提出した」「提出していない」と回答した人はそれぞれ０％で、質問に答えない「無回答」が１００％に達した。 調査はＳＮＳ上で「国勢調査を書いていない」という趣旨の書き込みをしていた２千アカウントを対象に行った。新型コロナウイルス感染拡大防止の観点から、オンラインのみで行ったため、単純に比較できないが、回答が全くなかったのは調査開始以来初めて。 今回の調査結果について、国勢調査に詳しい京都大学統計調査学部の坂本義太夫教授は「提出義務のある国勢調査すら書かない人たちが、義務でも何でもない意識調査に答えるはずがない」と分析する。 国勢調査の未回収率は回を重ねるごとに上昇しており、１５年に行われた前回は１３．１％だった。回収率を上げるため、総務省は回答期限を２
航空機からの気象観測データ半数以下に 技術開発に遅れも | 注目記事 | NHK政治マガジン
新型コロナウイルスの影響で航空便の欠航が相次ぐ中、気象庁が航空機から受け取る気象観測データも半数以下に減少しています。気象庁は現状の予報などに大きな影響はないものの「今の状態が長引けば、今後の予報精度を上げる技術開発に遅れが出るおそれがある」としています。 気象庁は日本などを飛行している航空機から、上空の気温や風速、それに風向きといった観測データを受け取っています。 観測データはことし３月上旬ごろまでは、１日およそ８万件で推移していましたが、航空便の欠航が増えた３月中旬から急激に減り、今月22日にはおよそ３万件と半数以下となっています。 気象庁は気象衛星などの観測データも活用していることから、現状の予報に大きな影響はないとしています。 一方で、航空機の観測データは予報精度を向上させるための技術開発に重要な役割を果たしているということで、気象庁は「データが少ない状態が長引けば、今後の技術開発
ZOZOTOWNを支えるリアルタイムデータ連携基盤 - ZOZO TECH BLOG
こんにちは、SRE部MA基盤チームの谷口（case-k）です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 なぜ必要なのか 活用事例の紹介 データ連携の仕組みと課題 リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討 アーキテクチャ概要と処理の流れ Fluentdのプラグインを使った差分データの取得 Dataflowでメッセージの重複を排除 Dataflowで動的にBigQueryの各テーブルに出力 Pub/Subのメッセージ管理 イベントログ収集基盤 個人情報の取り扱い ビルド・デプロイ戦略 監視 データ
Pythonでデータの挙動を見やすくする可視化ツールを作成してみた - Qiita
※アンダースコアのpip install seaborn_analyzerでもインストール可能です。 インポート時はアンダースコアのimport seaborn_analyzerやfrom seaborn_analyzer となるのでご注意ください コード モジュールcustom_pair_plot.py内のクラスCustomPairPlotに、必要な処理をまとめました。 GitHubにもアップロードしています モジュール本体 import seaborn as sns import numpy as np import pandas as pd import matplotlib.pyplot as plt from scipy import stats class CustomPairPlot(): #初期化 def __init__(self): self.df = None sel
「子供の成績と、世帯年収／父親の学歴」の関係に対する考察 - orangeitems’s diary
世帯年収が高い、もしくは父親の学歴が高い世帯の子供は、学力が上がる、というツイートが話題となっていまして、返信をつけたら結構反応がありました。 親がチートの方法を知ってると子供は強いです。だからと言って統計に負ける必要は無く、親の学力が低くても独力で切り開く人もいます。 こういった統計のワナに飲み込まれないためのコツは、異端になることかな、と思います。 — orangeitems / ブロガー / note (@orangeitems_) July 20, 2020 この内容について、解説を付けておきたいと思います。 私自身はこの統計をひっくり返した立場にいます。この傾向の通りにならなかった、ということです。 私が育った家庭は超貧しかったですし、学費も日本育英会から高校・大学と借りました。父親の学歴とありますが、そもそも母子家庭で父親もいなかったですし（笑）。でも、この統計のようにはなりま
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
東工大生「心が辛くなったらこれ見て立ち直ってる」→こういう統計ってどうやって出してるんだろうね
中国、若年失業率の公表一時停止 海外投資家の信認さらに低下も | ロイター
Twitchで配信している某有名VTuberさんのデータから見る、トップクラスに評価される才能の人ですら実際は「継続は力なり」という話
『アメリカの平均賃金が一ヶ月で7.9％も急上昇した！？』 低賃金労働者の35％が無職になった為
