[B! data] a2ikmのブックマーク

1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary

自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。そういったケースで参考にできるかもしれません。弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ

a2ikm 2020/11/05

リンク

物流倉庫の実績集計を自動化して現場の負担を軽減したはなし - ZOZO TECH BLOG

こんにちは、基幹システム部BASEチームの横山です。突然ですが、ちょうど1年程前に行われたZOZOバイト革命は覚えていますでしょうか？物流倉庫「ZOZOBASE」で一緒に働いてくれる仲間の2000人募集や、基本時給のUP等で少しだけ話題になりましたね。今回は、そんなZOZOBASEの人材を管理する上で一助となる作業実績の集計自動化について紹介します。はじめに ZOZOTOWNは独自の物流倉庫を保有しており、ブランド様からの商品入荷や保管、お客様への発送まで独自のシステムを用いて行っています。一口に入荷から発送までと書きましたが、その中には多種多様な作業があり、現場で働く多くの方々に支えられております。このような物流倉庫の戦略を考える上で実績管理や人材管理はとても重要になります。そんな実績の集計ですが、少し前までは人手で行われていました。それを自動化する際、どのような要件で設計・開

a2ikm 2020/06/09

リンク

データ分析で大切な４つのこと：1. 「当たり前の結果」をたくさん出す事の大切さ - トレジャーデータ（Treasure Data）ブログ

データ分析で大切な４つのことトレジャーデータはクラウドでデータマネージメントサービスを提供しています。ここ数年，データの大量な蓄積とそれに対する分散並列処理が可能な環境が成熟してきました。元々はデータの蓄積やバッチの効率化といった分析バックエンド（プラットフォーム）の方にフォーカスがあてられてきましたが，やっとその先のデータ」「分析」というところ，そしてその役割を果たすデータ分析者の重要性が理解されるようになってきているように感じています。このブームは分析者にとって非常に喜ばしいことでもあると同時に，大きなプレッシャーにもなっているような気がします。そのプレッシャーの１つに，企画者や経営者・あるいは顧客といった結果を活用する人々（＝意志決定者）の，「これだけ材料（データ）が揃っているのだから多くの課題が解決できるはずだ」という期待に応えないといけないというプレッシャーがあると思いま

a2ikm 2014/12/05

リンク

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014 大規模分散処理のフレームワークとしてGoogleが開発し、Hadoopに採用されて広く使われているMapReduce。しかしGoogleはもうMapReduceを使わず、より優れた処理系の「Google Cloud Dataflow」を使っていることが、Google I/O 2014の基調講演で明らかにされました。 GoogleのシニアバイスプレジデントUrs Hölzle氏は、「エクサバイトのスケールまで扱え、パイプライン処理を記述しやすく最適化もしてくれる。それにバッチもリアルタイム分析も同じコードで記述できる」と、Cloud Dataflowの特長を説明します。 Google I/Oの