Netflix: s3mperを利用してクラウドでのデータ整合性をとる - ワザノバ | wazanova
http://techblog.netflix.com/2014/01/s3mper-consistency-in-cloud.html1 comment | 0 pointsNetflixのDaniel Weeksが同社のエンジニアブログで、クラウドでデータ整合性をとるためのライブラリs3mperをオープンソースとして提供したことを報告しています。 前回のポスト "Hadoop Platform as a Service in the Cloud"では、NetflixのHadoopプラットフォームがどのようにAWSのS3を活用しているかを紹介した。NetflixはS3を全てのデータウェアハウスのSOT (Source of Truth) と見なしている。このサービスには、99.999999999%のデータ永続性、99.99%の稼働率、効率よく容量制限のないストレージ、バージョニング（デー
「オンプレミス・システムの終わり」の始まり〜AWSでのミッションクリティカルシステムの稼働 - 急がば回れ、選ぶなら近道
個人的には割と大変だったので、その辺をまとめておきます。 ニュースリリースはこちら。 http://www.nautilus-technologies.com/topics/20130409.html 要するに本部系バックエンド基幹システムの「一式」のクラウド移行です。完全なミッションクリティカルシステムで、止まった段階で業務に確実に影響が出ます。 システムの機能概要 1.売上の確定処理と債権管理 POSデータの直結です。売上確定処理を行います。同時に債権管理も行い、F/Bからの入金データをそのままつなぎ込み、入金処理・債権の消し込み処理を実行します。マッチングは自動処理できるものは処理を行い、ヒューリスティックなものはユーザー判断に従います。 2.仕入・費用の計上と確定処理、および支払いデータの作成 費用・在庫の計上確定処理です。当時に支払データの確定処理を行います。EDI（BMS）との
これから Hadoop を学ぶ人向け読書ガイド - 科学と非科学の迷宮
なんだかんだで Hadoop 周りの本も結構増えてきましたので下にまとめました。 抜けてるのもあると思うので(特に和書)、なんかお薦めありましたらコメントください。追加します。 タイプ別お薦め読書コース 短期間で全部読むのは不可能なので、とりあえず簡単にお薦めの読書コースを紹介します。 非技術者(営業や経営者など) 象本1章と徹底入門1章だけ読んどけばいいです。余裕があれば象本16章(ケーススタディ)。読んでる暇あったらその人件費で技術者にいいPC買ってあげてください。 技術者(共通) 象本読まないとかありえないです。 別に全部読む必要ないですが、とりあえず 1-10章ぐらいは目を通してください。 それも時間的に難しいならせめて3章か4章ぐらいまで目を通してください。 可能なら徹底入門と並行して読んでください。書き方の切り口が違う2つの書籍を読むことで理解が深まります。 Hadoop 技術
Hadoop Conference Japan 2011行ってきました - Keep It Simple, Stupid
Hadoop Conference Japan 2011 に行ってきました。ニュースサイトでよく Hadoop についての記事を見かけ、「Googleなどの巨大サイトで稼働するシステムのオープンソース実装」という程度の認識しかありませんでしたが、「大規模分散」という響きに惹かれて興味本位だけで参加してきました。メモも満足にとれていませんので公開された資料とともにチラシの裏的にまとめます。 正直なところ予備知識があまりにもなさ過ぎたため、講演された内容についてはほとんど理解できませんでした。当日の講演内容について正しい情報を知りたい方は他のページとあわせてご確認ください。 Hadoop Conference Japanに参加しました #hcj2011 - nokunoの日記 Hadoop Conference Japan 2011 のメモ #hcj2011 - garage-kidz twe
open-supercomputer.org
APi Asu138 Masuk pg138 daftar pg138 pg slot gacor king138 slot https://agen138.design/ https://www.kungfufactory.com/ agen138 slot https://www.frugal-rv-travel.com/ agen138 king138 slot kampung138 naga138 slot w77 daftar slot 4d agen96 daftar agen338 rtp slot egp88 koin69 rtp agen138 slot situs slot w77 slot koin138 asu138 alternatif king138 https://stakenet.io/ bet gratis agen138 Live Draw Hongko
HDFSはファイルサーバーに使うものじゃないよ
Hadoop（0.22以前や1.0.0）のHDFSはNameNodeがSPOF（単一障害点）なので、ファイルサーバーやデータの“バックアップ”には向かないという話です。 HDFS上に構築されているHBaseの場合、（HBase自身にはSPOFは無いけれども）HDFSにSPOFがあるので、NameNodeは冗長化した方が良いようです。 冗長化には以下のような仕組みが考えられているようです。 続きを読む
「グーグル脅威論」をぶっ飛ばせ
「トヨタ、次代の敵はグーグル」---。こう題するコラムが、2010年10月13日付の日経産業新聞に掲載された。米グーグルは弊社のようなメディア産業だけでなく、広告産業やソフトウエア産業の既存企業に深刻な打撃を与えてきた。そして今や、世界最大の自動車メーカーであるトヨタ自動車さえも、グーグルを脅威と見なし始めているというのだ。 トヨタはグーグルの何を脅威と感じているのか。トヨタは10月5日、スマートグリッド（次世代送電網）の中核となる独自の情報システム「トヨタ スマート センター」を開発したと発表した（発表資料）。日経産業新聞によれば、トヨタの幹部は「スマートグリッドで（グーグルに）攻め込まれたら、事業の根幹が崩れる」との危機感から、自社によるスマートグリッドシステムの開発に取り組んでいるのだという。 電気自動車を充電するためのインフラを他社に押さえられ、規格や仕様を支配されると、「車を自由
Cloudera » Apache Hadoop for the Enterprise
Date Tuesday, October 12th, 2010 Description Bank of America's Abhishek Mehta on The Business of Big Data at Hadoop World 2010
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
HDFS の信頼性（原題：HDFS Reliability） (Pac Learner)
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
Hadoop 使用メモ１ - kikumotoのメモ帳
HBase とか neptune といった、Hadoop をベースとした分散データベースを試してみたいので、その前に当然 Hadoop をインストールしなければならないので、そのあたりのことをメモしておく。 基本的にQuick Startをそのままなぞっただけ。 準備 あらかじめ、CentOS5.2 の環境に Java6 をインストールし、hadoop というユーザ（ホームディレクトリ：/home/hadoop）を作成しておいた。 今回利用したのは、release 0.20.0。ダウンロードした hadoop-0.20.0.tar.gz を /home/hadoop 上で（もちろん hadoop ユーザで）解凍した。以降では、/home/hadoop/hadoop-0.20.0 を 環境変数 HADOOP_HOME として表すことにする。 準備の最後として、$HADOOP_HOME/con
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Cloudera | The hybrid data company