1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
私が政府CIO補佐官になった理由｜Hal Seki
Code for Japan の関です。実は、11月1日付けで、政府CIO補佐官に任命いただきました。これから、週一程度ですが内閣官房IT総合戦略室付で働くことになりますので、皆様よろしくお願いします。データ活用のプロジェクトを中心に活動する予定です。 Code for Japan だけでなく、自身の会社である Georepublic Japan 社や 株式会社HackCamp社を経営している上に、なぜこのような職にも応募しているのか、という理由を少し記しておこうと思いこの記事を書いています。 「ともにつくる」ための架け橋となるCode for Japan のネットワークには現職のCIO補佐官や自治体職員も多く参加し、日々様々な情報交換を行っています。そのような交流によって生まれる新たなアイデアや、学びあいはとても素晴らしいと思っています。しかし、まだまだ行政側からシビックテックのコミュニ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
