ZOZOTOWNを支えるリアルタイムデータ連携基盤 - ZOZO TECH BLOG
こんにちは、SRE部MA基盤チームの谷口（case-k）です。私達のチームでは、データ連携基盤の開発・運用をしています。 データ基盤には大きく分けて2種類あり、日次でデータ連携してるものとリアルタイムにデータ連携しているものがあります。本記事ではリアルタイムデータ連携基盤についてご紹介します。 既存のデータ連携基盤の紹介 リアルタイムデータ連携基盤の紹介 なぜ必要なのか 活用事例の紹介 データ連携の仕組みと課題 リプレイス後のリアルタイムデータ連携基盤 SQL Serverの差分データの取り方を検討 アーキテクチャ概要と処理の流れ Fluentdのプラグインを使った差分データの取得 Dataflowでメッセージの重複を排除 Dataflowで動的にBigQueryの各テーブルに出力 Pub/Subのメッセージ管理 イベントログ収集基盤 個人情報の取り扱い ビルド・デプロイ戦略 監視 データ
ジンバブエのインフレ率、840％近くに 政府は危機を否定
ジンバブエ・ドルの紙幣を数える男性（2020年5月20日撮影、資料写真）。(c)Jekesai NJIKIZANA / AFP 【8月16日 AFP】ジンバブエ国家統計庁（Zimbabwe National Statistics Agency）は15日、7月の物価上昇率（インフレ率）が年率840％近くまで上昇したと発表した。だが政府は、高まる危機感を認めようとせず、経済の苦境が一段と深まっている。 同国は、2017年に軍事クーデターで失脚したロバート・ムガベ（Robert Mugabe）前大統領の下での経済の失政が招いた10年超にわたるハイパーインフレへの対応に追われている。 同国の人々はその多くが、貯蓄が消え去っていくのを目にし、今も砂糖や主食のトウモロコシ粉といった生活必需品を手に入れるのに苦労を強いられている。 統計庁がツイッター（Twitter）に投稿した発表によると、7月は837
Pythonでデータの挙動を見やすくする可視化ツールを作成してみた - Qiita
※関連ツールを1つの記事にまとめました！よければこちらもご覧ください もしこのツールを良いと思われたら、GitHubにStar頂けるとありがたいです！ 2021/8 注意点 ~最新のseaborn 0.11.1では以下のように正しく表示されません~ →最新版の0.11.2でも正しく表示されるよう修正しました（2021/10/31） 背景と機能 本ツールの機能と、作成した背景を解説します seabornとは？ Pythonのグラフ描画ライブラリで、ベースとなっているライブラリmatplotlibよりも、簡単なコードで綺麗なグラフを描くことができます 中でも、散布図とヒストグラムを組み合わせた「pairplot」は、 多変数の関係性を一度に可視化することができるため、 データ分析の初期段階で非常によく使われています。 pairplotの課題 とても便利なpairplotですが、下記のようにいく
「子供の成績と、世帯年収／父親の学歴」の関係に対する考察 - orangeitems’s diary
世帯年収が高い、もしくは父親の学歴が高い世帯の子供は、学力が上がる、というツイートが話題となっていまして、返信をつけたら結構反応がありました。 親がチートの方法を知ってると子供は強いです。だからと言って統計に負ける必要は無く、親の学力が低くても独力で切り開く人もいます。 こういった統計のワナに飲み込まれないためのコツは、異端になることかな、と思います。 — orangeitems / ブロガー / note (@orangeitems_) July 20, 2020 この内容について、解説を付けておきたいと思います。 私自身はこの統計をひっくり返した立場にいます。この傾向の通りにならなかった、ということです。 私が育った家庭は超貧しかったですし、学費も日本育英会から高校・大学と借りました。父親の学歴とありますが、そもそも母子家庭で父親もいなかったですし（笑）。でも、この統計のようにはなりま
“最強”台風 相次いだ背景に「地球温暖化」 来年以降も備えを | NHKニュース
ことし日本には平年の倍近い５つの台風が上陸し、このうち15号と19号は関東付近に上陸した台風としては統計の残るおよそ30年間で最も強いクラスで、各地に甚大な被害をもたらしました。専門家は、「台風が強くなっている背景には地球温暖化があると考えられ、来年以降もこれまでにないような激甚な災害が起こることを前提に備える必要がある」と指摘しています。 気象庁によりますと、ことし発生した台風は29と平年の25.6を上回ったほか、日本への上陸数は平年の2.7の倍近い５つとなりました。 ９月に千葉市付近に上陸した15号では各地で最大瞬間風速の記録を更新し、関東や伊豆諸島を中心に暴風による建物の損壊や長期間の停電など大きな被害が出ました。 また、10月に伊豆半島に上陸し、関東や東北を通過した19号は120の地点で12時間雨量が観測史上１位となるなど、記録的な豪雨によって河川の氾濫や土砂災害が多発しました。
日本人が知らない｢インド｣強烈な不条理と魅力
コンテンツブロックが有効であることを検知しました。 このサイトを利用するには、コンテンツブロック機能（広告ブロック機能を持つ拡張機能等）を無効にしてページを再読み込みしてください。 ✕
娘を、プリキュアにするために就くべき職業2019 - プリキュアの数字ブログ
「プリキュア両親界」に激震が走りました。 「娘がプリキュアになる定番の職業」だった「飲食業」からトレンドは推移し、2019年は「あの職業」に就く事が「娘がプリキュアになる」近道となっていたのです。 ＊＊＊＊＊＊＊＊ 娘がプリキュアになって欲しいと願う時、貴方がなっておくべき職業は何なのでしょうか？ 「歴代プリキュアの両親の職業」を調査し、集計しました。 この職業に就いておけば、娘がプリキュアになる可能性が高いのです。 高校生、大学生は就職の参考に、 社会人は転職の参考にどうぞ。 プリキュア両親の職業 （初代(2004)～スター☆トゥインクルプリキュア(2019)まで） 数値のまとめ （※職業の分類は厚生労働省の職業分類表を参考に著者が独自で分類したもので、公的な分類ではありません。） 2019年におけるプリキュアを娘に持つ親の上位の職業は、 1位：飲食店経営 14名（父7名 母7名） 2位
高木浩光＠自宅の日記 - ヤフーの信用スコアはなぜ知恵袋スコアになってしまったのか
ヤフオク!における取引実績や評価、ショッピングでのレビュー回数、知恵袋での活躍度、Yahoo! JAPANへの支払い滞納の有無および回数、利用規約・ガイドライン違反の有無および回数、宿泊・飲食店等の予約キャンセル率、キャンセル連絡有無などの行動実績等 Yahoo!スコアの作成および利用は、お客様のプライバシーの保護に十分に配慮したうえで実施しております。 算出元データには、通信の秘密にあたる情報、スコア化することで不当な差別につながる可能性がある情報（要配慮個人情報、性別や職業等）は使用しません。 知恵袋での行動が知恵袋内での信用評価として使われるのは普通（そういうサービスだということ）だが、それが、知恵袋の外で、お金を借りるときとか、飲食店を予約するときに信用として必要になってしまう、そんな社会はまっぴらごめんだ。（だれにもわかりやすくてたいへんよい。） ヤフーが信用スコアの作成をオプト
政府統計「信頼できる」１００％ 内閣府調査
内閣府は１４日、ＧＤＰ（国内総生産）など政府の統計調査に対する国民の信頼度を調査する「政府統計信頼度調査」を公表した。調査結果によると、「政府統計を信頼できる」と答えた割合は１００％で、「信頼できない」の０％を大きく上回った。 「統計調査信頼度調査」は、内閣府が１６年から３カ月ごとに行っている。９、１０両日に行われた今年最初の調査は、厚生労働省が「毎月勤労統計調査」を不適切に行っていたことが発覚した直後だったが、前回調査と比べて信頼度への影響は見られなかった。 信頼度調査を行う内閣府は、国内で生産された財やサービスの付加価値を示すＧＤＰも発表している。しかし近年、速報値と確報値に大きなずれがあることから、独自に統計を取ろうと生データの提供を求める日本銀行と対立している。内閣府では「政府統計に対する国民の信頼に揺らぎは見られない」として、今回の調査結果を根拠に、今後日銀との交渉を有利に運びた
AI、機械学習、ディープラーニングの違いを説明できますか？機械学習と統計の違いは？ (1/3)：MarkeZine（マーケジン）
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
ひとり暮らしシニア増減マップ
解説記事一覧ひとり暮らしシニア増減マップから見えてくるものは何か。世帯構造の大きな変化が社会保障に及ぼす影響について分析した。
自撮り写真撮影の死者、世界で２５９人 ２０１１年以来の統計（CNN.co.jp） - Yahoo!ニュース
（ＣＮＮ） 航空機で空を飛んだり銃を構えたり、滝の上の滑りやすい岩の上に立ったり――。そんな自撮り写真を撮影しようとして命を落とした人は、世界で２５９人に上るという調査結果が、このほど学術誌に発表された。 この統計は、インドの医療研究団体が２０１１年１０月～１７年１１月の間に各国のニュースで報じられた内容に基づいてまとめた。 その結果、自撮り写真撮影中の死者が多かった国はインド、ロシア、米国、パキスタンの順だった。死者の約７２％は男性で、年齢は３０歳未満が大半を占めている。 インドでの死者は、２５９人中の１５９人と半数以上を占めており、その理由として研究チームでは、３０歳未満の人口が世界一多いことを挙げている。 一般的に、自撮り写真を撮る人は女性の方が多いものの、男性はドラマティックな写真を撮ろうと断崖絶壁に立つなど、危険を冒す傾向があるという。 死因で最も多かったのは、波にさらわれたり、
長尾真（情報工学者）新井紀子（数学者）｜INFORIUM｜NTTデータ
人間を理解し、人工知能をさらに先へ。 情報処理学で多大な功績を残した長尾真氏と 「ロボットは東大に入れるか」プロジェクトで人間の能力に注目するようになった 国立情報学研究所の新井紀子教授が、 AI技術の発展にはこれから何が必要になるのか、徹底討論しました。 人間の知能を支えるもの新井 私が「ロボットは東大に入れるか」というプロジェクト(※1)を始めたときに人工知能学、特に言語処理の方面から「何でこんな役に立たないことをするのか」という批判的なご意見を受けました。そんな中、長尾先生が「それは今やるのはなかなか面白かろう」と、言語処理学会の記念大会などに私を講師として呼んでくださったのが印象に残っています。 長尾 でも、それから4～5年のうちに東ロボをおやめになった。「もうちょっとやったら面白いところまで展開するのでは」と思っていたので、それが残念です。 新井 いえ、まだプロジェクトはやめてい
古典文学やベストセラーを統計を通して分析する──『数字が明かす小説の秘密』 - HONZ
小説を評する、分析するといえば基本的には一人の人間が精読することによってそこで用いられている技法や、他の作品との関連、歴史的な意義などをあぶり出していく行為のことである。だが、それだけではなく、統計を通して語句の使用頻度、プロットの盛り上がり、書き出しについてなどを分析する手法も現在では発展してきた。本書『数字が明かす小説の秘密』は、そんな後者のアプローチを古典文学からベストセラーまで幅広く応用した一冊だ。 かつては作家の文章における使用単語の頻度などを調べたい場合、地道に人間が数え上げていく他なかったが、近年はプログラムを組んでテキストデータを流し込めば、お手軽かつ精確に同様の分析を行うことができる。著者らも自然言語ツールキットを用いて、文章を品詞ごとに分解した調査を行っている。この分野に関して、類書として邦訳本だけでもすでに『ベストセラーコード 「売れる文章」を見きわめる驚異のアルゴリ
もしも私が今から学問を学びなおすとしたら、プラトンの教えにしたがって数学から始めるだろう。 - 観念が奔逸した言説
専門家というわけではないんだけど、データを扱う仕事をしています。データサイエンスなんていう言葉もすっかり時代遅れとなってしまった昨今ですが、それでもデータハンドリングの重要性は増していると思ってます。 それで、統計の勉強をどこからはじめたらいいですか、という質問をよく受けるんだけど、以前のエントリ では自分の本棚を晒しただけだったので、初学者がこれからデータを扱おうとする上でのおすすめの本を改めてまとめておきます。 グラフをつくる前に読む本 一瞬で伝わる表現はどのように生まれたのか 小一時間で読めます。いろんなグラフの特徴だけじゃなくて、そのグラフが誕生した経緯にも触れられていて読み物としておもしろい。なんとか分析、とかの前に、まずはグラフをつくってデータの特徴をみるのはデータ分析の鉄則だけど、そのグラフをつくる前に、どんなグラフをつくったらいいかを知ることは大切。 グラフをつくる前に読む
失業率から漏れた「働けない人＝ミッシングワーカー」、103万人の悲惨な実態
総務省の労働力調査によれば、今年4月の完全失業率は2.5％。リーマンショック直後の2009年7月に記録した5.5％と比べて半分以下になった。完全失業者数も、この間、364万人から180万人へと激減している。 一人当たりの求人数を表す有効求人倍率も昨年から常時1.5倍を超えていることからすれば、国内の雇用情勢は空前の活況を呈していることになる。 そんななか、6月2日に放映されたテレビ番組『NHKスペシャル ミッシングワーカー 働くことをあきらめて…』が大きな話題を呼んだ。 親の介護や転職をきっかけに心身を病み、長期間働けない状況に陥ってしまった労働者にスポットを当てたドキュメンタリーだ。同番組によれば、求職活動をしていないため雇用統計上の「失業者」に反映されない状態＝ミッシングワーカーは、103万人にも上るという。 そのような人たちを統計に含めれば、実際の失業率はもっと大きな数値となるはずで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
『アメリカの平均賃金が一ヶ月で7.9％も急上昇した！？』 低賃金労働者の35％が無職になった為
えるエル on Twitter: "東大が無償でPDF公開している，統計学会の75周年記念出版『21世紀の統計科学』の3冊 1と2は実際の統計データを用いて，各事例への統計学の応用手法，3は機械学習の人なら馴染み深い統計計算を解説 下手な市販の本を買うよりは，この3… https://t.co/w2cSVIxmUI"
宮崎県の統計システムの公募がすごい。
世界最多のトラフィックを占める動画サービス、YouTubeではなく実はあのサービスと判明【やじうまWatch】
