タグ

HadoopとAWSに関するnobusueのブックマーク (4)

  • もうオンプレには戻らない、リクルートとドコモがデータ分析基盤をAWSへ移す理由 (1/2)

    “日の大企業は米国に比べてITの最先端トレンドにキャッチアップするスピードが遅い”と言われることが多いが、ことAWSクラウドの導入に限っていえば、グローバルでも引けを取らず、むしろ先進的な導入事例も少なくない。特にここ最近は、データアナリティクスのコアとしてRedshiftやAthenaといったAWSのマネージドサービスを積極的に活用するエンタープライズが増えている。 稿では、そうした国内企業の中でも最先端のデータアナリティクス基盤をAWS上に構築する「JAWS-UGビッグデータ支部」の2社、リクルートテクノロジーズとNTTドコモの事例について、7月5日に東京・大崎で開催された「AWS Solution Days 2017 ~ AWS DB Day ~」に登壇した両社の発表内容をもとに紹介したい。 EMRで“キャパシティプランニングの呪縛”から解放された:リクルートテクノロジーズ “リ

    もうオンプレには戻らない、リクルートとドコモがデータ分析基盤をAWSへ移す理由 (1/2)
  • AWS Summit 2014 Tokyo「AWSビッグデータサービス Deep Dive」レポート | DevelopersIO

    こんにちは、虎塚です。 AWSサミットのセッション「AWSビッグデータサービス Deep Dive」をタイムシフト聴講したので、レポートします。 講師は、HBaseのコントリビュータ、書籍の著者でもある蒋逸峰さん(アマゾン データ サービス ジャパン)です。 テーマは、EMRを中心とするAWSのさまざまなビッグデータサービスを効率使うために、押さえておきたいポイントの紹介とのことです。 AWS Summit Tokyo 2014 開催レポート動画・資料一覧 | アマゾン ウェブ サービス(AWS語) AWSビッグデータサービス Deep Dive(AWS Summit Tokyo 2014 | TA-01) Amazon Elastic MapReduce (EMR) のご紹介 What is EMR? EMARとは、マネージド型のHadoopサービス。オンプレミスのHadoopの導

    AWS Summit 2014 Tokyo「AWSビッグデータサービス Deep Dive」レポート | DevelopersIO
  • HadoopのファイルシステムとしてS3を利用する

    EC2でHadoopを使う場合、インスタンスを停止するとデータがなくなる(EBSを使うという手もありますが)関係でデータはS3に置く場合が多いと思います。 その場合、S3からEC2上のHDFSに読み込んでから処理をして最後にS3に書き出すということも考えられますが、やはりS3上のファイルを直接Hadoopのジョブ入出力として使うのが効率が良い。(更に言うと、複数のジョブを実行する時の中間のデータを保存するのにはHDFSを使った方が速い) そもそもHadoopはファイルシステムの部分を抽象化していて、HDFSもその実装の一つに過ぎません。 AmazonS3 – Hadoop Wikiにもありますが、S3を使うための実装には2種類あるので注意。 S3 Native FileSystem (URI scheme: s3n) 普通にS3上のファイルを読み書きするネイティブファイルシステム。H

  • 「オンプレミス・システムの終わり」の始まり〜AWSでのミッションクリティカルシステムの稼働 - 急がば回れ、選ぶなら近道

    個人的には割と大変だったので、その辺をまとめておきます。 ニュースリリースはこちら。 http://www.nautilus-technologies.com/topics/20130409.html 要するに部系バックエンド基幹システムの「一式」のクラウド移行です。完全なミッションクリティカルシステムで、止まった段階で業務に確実に影響が出ます。 システムの機能概要 1.売上の確定処理と債権管理 POSデータの直結です。売上確定処理を行います。同時に債権管理も行い、F/Bからの入金データをそのままつなぎ込み、入金処理・債権の消し込み処理を実行します。マッチングは自動処理できるものは処理を行い、ヒューリスティックなものはユーザー判断に従います。 2.仕入・費用の計上と確定処理、および支払いデータの作成 費用・在庫の計上確定処理です。当時に支払データの確定処理を行います。EDI(BMS)との

    「オンプレミス・システムの終わり」の始まり〜AWSでのミッションクリティカルシステムの稼働 - 急がば回れ、選ぶなら近道
  • 1