The Four Innovation Phases of Netflix’s Trillions Scale Real-time Data Infrastructure
My name is Zhenzhong Xu. I joined Netflix in 2015 as a founding engineer on the Real-time Data Infrastructure team and later led the Stream Processing Engines team. I developed an interest in real-time data in the early 2010s, and ever since believe there is much value yet to be uncovered. Netflix was a fantastic place to be surrounded by many amazing colleagues. I can’t be more proud of everyone
GitHubで管理されたデータマート構築基盤の紹介 - ZOZO Technologies TECH BLOG
こんにちは。バックエンドエンジニアの田島(@katsuyan121)です。 弊社ではデータマートをBigQuery上に構築しています。データマートはデータベース全体のデータのうち、必要なデータだけを使いやすい形にしたデータベースです。データマート作成のためのSQLクエリは日々更新や追加があり、BigQueryのコンソールから自由にデータマートを作ってしまうと管理が大変になってしまいます。 そこで、データマートをすべてGitHub上でバージョン管理し、運用の効率化をしました。また、差分更新の導入や依存関係のあるデータマートへの対応などのデータマート構築に必要な機能を作成しました。 弊社のデータ基盤をざっくり紹介します。まずデータはBigQueryへ集約し、Digdagを用いてデータ基盤を構築しています。以下がその概要図です。S3などの分散ストレージや各種DBからデータをBigQueryへ同期
AWSとGoogle Cloudからみた技術選定の考え方と工夫 基本はマネージドでカスタムが効くものも活用する
クラウド(AWS&Google Cloud)を利用した社内システムの開発をしているエンジニアが、技術選定・アーキテクチャ設計・開発・保守の工夫や、ベストプラクティスの活用などについて語る「AWS & Google Cloudを使ったシステム開発/技術選定のはなし」。ここでアイレット株式会社の高橋氏が登壇。ここからは、開発・技術選定の基本的な考え方や注意点、工夫について紹介します。前回の記事はこちらから。 開発・技術選定の基本的な考え方 高橋修一氏（以下、高橋）：今のがベストプラクティスで、ここからがちょっと僕の共有になります。基本的な考え方は一般的ですが、できるだけマネージドのものを使う。AWSであればコンピューティング、EC2よりもFargateとか。LambdaでいいのであればLambda。Google Cloudでは、Google CloudエンジンなのでCloud RunとかClo
飛び込もう、Cloud Nativeの世界
CloudNative Days Fukuoka 2019のKeynoteで発表した資料です。 『クラウドネイティブとは？』と、改めて意味を考えてみました。 その上で、どうやってクラウドネイティブを取り入れていくべきかを解説します。 (CC BY-SA 2.0)
AWS再入門2018 バックアップとディザスタリカバリ編 | DevelopersIO
こんにちは。池田です。新しい年を迎え、この一年も気を引き締めつつ日々を楽しんでいこうと思います。どうぞよろしくお願いします。 はじめに AWS 認定ソリューションアーキテクト – プロフェッショナル認定試験の勉強をはじめようと思い試験概要を確かめますと、以下のことが求められるとのことでした。 AWS でのアプリケーションの動的なスケーラビリティ、高可用性、高耐障害性および信頼性の設計およびデプロイ 与えられた要件に基づいてアプリケーションを設計およびデプロイするための、適切な AWS サービスの選択 AWS における複雑かつ多階層のアプリケーションの移行 AWS におけるエンタープライズ全体のスケーラブルな運用の設計およびデプロイ コストコントロール戦略の導入 なかなか広範囲にわたる知識が求められる認定試験ですが、クラスメソッドAWS事業部の一員ならば挑戦しない訳にはいきません。そこでまず
AWS-CloudDesignPattern CDP2.0候補
AWSクラウドデザインパターンとは？ AWSクラウドデザインパターン (AWS Cloud Design Pattern, 略してCDPと呼ぶ)とは、AWSクラウドを使ったシステムアーキテクチャ設計を行う際に発生する、典型的な問題とそれに対する解決策・設計方法を、分かりやすく分類して、ノウハウとして利用できるように整理したものである。 これまで多くのクラウドアーキテクト達が発見してきた、もしくは編み出しきた設計・運用のノウハウのうち、クラウド上で利用が可能なものをクラウドデザインのパターンという形式で一覧化し、暗黙知から形式知に変換したものであるといえる。 パターンの中には、クラウドでなくても実現できるもの、今まででも実現されていたものも含まれているが、クラウド上でも今まで通りのアーキテクチャが実現でき、かつクラウドを利用する事で、より安価にそしてより容易に実現できるものは、CDPとして収
大規模ソーシャルゲーム「ドラゴンコレクション」運営の最前線で得られたノウハウ ～チューニングと運用、18のポイント～
11月25日、「mobidec 2011」においてコナミデジタルエンタテインメントのスタジオITセンター長である正延光弘氏によるセッション「大ヒットSNSゲーム『ドラゴンコレクション』を支えるコナミのクラウド技術の活用」が行われました。 ドラゴンコレクションは、GREEで提供されている携帯電話向けのカードゲームタイプのRPG。プレイヤーは、エリアごとにある複数のクエストをクリアしていき、モンスターカードや「秘宝」を手に入れ、さらに「ドラゴンカード」を集めていきます。また、ほかのプレイヤーとバトルすることでも秘宝を入手できるというSNS要素も取り入れられていました。2010年9月のサービス開始後、順調にプレイヤー数を伸ばし、現在では登録人数が500万人を超えています。 サービス開始当初は社内でサーバを構築し、フロントエンドに6台のサーバ、バックエンドに3台のデータベースサーバ、そしてロードバ
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
日本ラッド、無料の大容量オンラインストレージサービスを提供開始 | マイコミジャーナル
日本ラッドは10月7日、同社のSaaS、レンタルサーバ事業のブランド「SaaSesサービス」の1つとして、5.1GBまでの容量を無料で使えるクラウド型オンラインストレージサービス「ソラ箱」(無料版)の提供を10月12日より開始すると発表した。 同サービスは、法人・個人を問わず、ユーザー登録を行うだけで無料で利用可能で、5.1GBまでの容量制限や商業利用が不可である点を除き、有料版と同じサービスが保証されるという。 同社はクラウド型の分散ストレージシステムを独自に開発。同社の「排熱型データセンター」で運用されるこのシステムが同サービスの基盤となる。 同サービスには、一般企業のユーザー向けに「エクスプローラ感覚で利用可能な専用ツール」が用意されるほか、システムインテグレーター(開発者)などのビジネスユーザーも想定し、Linuxコマンドラインによる利用も可能となっている。 同サービスの対応Web
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散Key-Valueストアの本命「Bigtable」