大規模データについて第3回～EMR開発_基礎編～ - Qiita
今回から開発編ということで、いままで開発で得た EMR開発の実践的なところを紹介していきます！ 開発編を１回で記事にしてしまうとボリュームが多すぎてしまうので、 基礎編、実装編 と分けることにしました。 早速ですが、 投稿スケジュールを以下に変更させていただきます;; ・11月上旬 ～EMR開発基礎編～ ・11月下旬 ～EMR開発実装編～ ・12月上旬 ～EMR開発_運用編～ ・12月下旬 〜Redshiftについて 今回は、基礎編と題しましてEMR開発における 土台 の部分について書きたいと思います。 はじめに 先ずは、EMRを動かすために必要なものを一通り ・AWSアカウント ・アカウントに紐づくアクセスキー/シークレットキー ・処理対象のデータ ・Hadoopを動かすためのMapReduceコード(Hive/Pigの場合は不要) ・CLIツール(Webコンソールでも代用可能) 以上で
第二回 Elasticsearch 勉強会に参加した - ようへいの日々精進XP
はじめに 第2回elasticsearch勉強会 fluentd + Elasticsearch + kibana を触り始めたので良いタイミングで勉強会を開催頂いたので参加させて頂いた 主催者の皆様、大変お疲れ様でした。有難う御座いました！ 感じたこと スキーマレスな Elasticsearch はカジュアルに使えるけど、大規模になればなるほど運用が大変そう... Solr や lucene 等の Elasticsearch の背景にあるような技術についても勉強せにゃあかんな インデックス、クラスタ、シャーディング、ルーティング等の用語について改めて整理する必要がある ES_HEAP_SIZE は増やしておいて間違い無かった kibana カッコイイ サービス等のログ分析は kibana を使って手軽に簡単にクールにいける（気張ってイチから開発は大変） やっぱ、fluentd は凄いと思
DB tech showcase： 噂のMongoDBその用途は？
19. MongoDBのIndex 商品名 ボールペン タグ 値段 日用品, 筆記用具 198 包丁 日用品, 刃物, キッチン 2980 バナナ 食料品, 果物 348 ほうれん草 食料品, 野菜 98 牛乳 食料品, 148 食料品で200以下の商品を取得 20. MongoDBのIndex 商品名 タグ 値段 ボールペン 日用品, 筆記用具 198 包丁 日用品, 刃物, キッチン 2980 バナナ 食料品, 果物 348 ほうれん草 食料品, 野菜 98 牛乳 食料品, 148 商品・テーブル CREATE TABLE 商品 ( id INT PRIMARY, 商品名 VARCHAR(100) ); タグ・テーブル CREATE TABLE タグ ( 商品id INT, タグ名 VARCHAR(100), 値段 INT, KEY(タグ名,値段) ); 食料品で200以下の商品 商品
fluentd+rails+mongoでサクッとログ環境を整備してみる - dev.log
今更さわりだしたfluentdですが、簡単に導入まわりをまとめておきます。 rails上でない場合はライブラリは変わりますが、やることはほとんど同じだと思います。 fluentd+railsを動かすまでの手順 fluentd+railsを最短で確認するためは以下のステップが必要です。 fluentd or td-agentのinstall gemfileにtd-loggerを追加してbundle install td-loggerの設定ファイル追加 fluentdサーバーの設定ファイルを作成(fluentd.conf) fluentdサーバーを起動 ログをアプリケーションコードに仕込んでアクセス ログがfluentdサーバーから出力されているのを確認 そのあとおまけでmongoDBに出力するところまでやってみます。 実際やってみる macへfluentdをインストール gem instal
AWS re:Invent2013参加レポート #5 Keynoteの事例に驚く | DevelopersIO
AWS re:Invent 2013シリーズ 目次 こんにちは。武川です。Keynoteの新規サービスもすごかったですが、事例もとても面白かったので簡単にまとめたいと思います。 SUNCORP BANK Jeff Smith, CEO, Suncorp Business Services オーストラリアで銀行と保険を兼業している会社。900万人以上の顧客、1万5千人以上の従業員を持つ会社です。 5ヶ国にひろがった2000を越えるアプリケーションを1年半かけてAWSに移行。 AWSの玉川さんが言っていましたが、日本でこういう事例がだしたかったというのは本当そうだなと思いました。 ダウ・ジョーンズ Stephen Orban Global CTO The Wall Street Journalをはじめとするメディア企業です。 40を越えるデータセンターを6つに集約。 2年かけてAWSの利用を徐
AWSの操作履歴を記録するCloudTrailを試してみた - サーバーワークスエンジニアブログ
re:Invent 2013にてAWSの新機能CloudTrailのリリースが発表されました。 CloudTrailとは簡単に言えば、Management Console、SDK、コマンドラインツールなどAWSに対して何か操作した履歴を記録する機能です。 このCloudTrail を手探りでいじってみましたのでご紹介します。 AWS CLIから使ってみる Management Consoleからの使い方はAmazon Web Servicesブログで紹介されていますので、AWS CLI（コマンドラインツール）から使ってみます。 準備 AWS CLIはバージョン1.2.5でないとCloudTrailを使えません。 まずバージョンアップします。 $ sudo pip install --upgrade awscli 終わったら $ aws cloudtrail help と、実行してヘルプが表
【AWS】Amazon S3をFTP/SFTPサーバーのように使ってみた | DevelopersIO
今回の課題 こんにちは植木和樹です。本日のお題は「現在運用しているFTP/SFTPサーバーをAmazon S3でリプレースしたい」です。 外部関係業者とのファイルのやりとりにFTP/SFTPサーバーを使っているケースは数多くあると思います。社内にあまったパソコンにLinuxをインストールしてFTPサーバーを自前で運用していることもあるかもしれません。しかしデータのバックアップやハードウェアの故障などで手を取られている担当者の方がいらっしゃるのではないでしょうか。 そんな時はAmazon S3。99.999999999% の堅牢性と、99.99% の可用性を提供するストレージサービスです。 しかしFTPは長い運用実績の歴史があるサービスです。FTPで求められる様々な運用ニーズにS3はどこまで応えられるでしょうか？今回はその点を検証してみました。 FTPに求められる要望 以下にいくつかの代表的
AWS SDK for JavaScript in the Browserを使ってみる | DevelopersIO
ブラウザ用AWS SDK 先日、AWS SDK for JavaScript in the BrowserのDeveloper previewがリリースされました。 すでにNode用SDKはリリースされていますが、これはブラウザからJavaScriptを使用して、 サーバサイド用コードを書かずにS3やDynamo等のサービスを利用できるようです。 このSDKは、下記のようにAmazonのJavaScriptライブラリを指定するだけで利用できます。 ※2013/11/11現在 <script src="https://sdk.amazonaws.com/js/aws-sdk-2.0.0-rc1.min.js"></script> なお、このライブラリはAmazonのWeb ID連携をサポートするらしいので、 クライアントサイドのコード内にAWSの認証情報を書くことなく使用できます。(一応書く
AWS re:Invent2013参加レポート #4 新サービス Amazon WorkSpacesに向けて今できること | DevelopersIO
AWS re:Invent 2013シリーズ 目次 ども、大瀧です。 本日のKeynoteで、新サービスAmazon WorkSpacesが発表されました。が、現時点ではまだリリースされていないため、今日の時点でできることをご紹介します。 ちょっとだけご紹介 Amazon Workspacesの概要は、Keynoteと同時にpostされたAWSブログが詳しいです。というかリリース前でまだコンソール画面が見れない状態なので、サービス自体のご紹介はちょっとだけ補足に留めておきます。 Amazon Workspacesは、Desktop as a Serviceと呼ばれる、企業で使用するデスクトップをクラウドで提供するサービスです。具体的には、Windows 7 Experience(on Windows Server 2008 R2)+Office(オプション)がインストール済みのEC2インス
AWS re:Invent2013参加レポート #3 新サービス AWS CloudTrail | DevelopersIO
コンプライアンスとガバナンスのためのログ保存 AWS CloudTrailは、コンプライアンスとガバナンスのためのロギングサービスです。AWSの利用に関してAWS管理コンソールやAPIからアクセスログを取得することができます。これはエンタープライズ向けに非常に重要なサービスで、アクセスログをエビデンスとしてS3やGlacierに保存することができます。 サインアップ 現在、北米など一部の地域のみの提供ですが、そう遠くない未来に東京リージョンにも登場するでしょう。以下のURLからサービス開始をします。 AWS CloudTrailのワークフロー ここでは、CloudTrailのワークフローについてご紹介します。 AWS管理コンソール、AWS CLI、APIなどを使ってアクセスします。ユーザー操作ログが指定されたS3バケットに保存されます。 オプションとして、Amazon SNSによる通知を行
AWS re:Invent2013参加レポート #2 Keynote Day1 | DevelopersIO
キーノートスタートです！ AWS re:Invent始まりました！初日のキーノートは約8000名近い参加者が集まっています。会場の広さと人の多さに圧倒されます。 新サービス1：AWS CloudTrail AWS コンプラナンスとガバナンスのためのロギングツールの登場しました！ AWS re:Invent2013参加レポート #3 新サービス AWS CloudTrail 新サービス2：Amazon Workspaces Desktop as a Serviceとして、仮想デスクトップを期間借りするサービスです。 AWS re:Invent2013参加レポート #4 新サービス Amazon Workspacesに向けて今できること 新サービス3：Amazon AppStream 低遅延でフレキシブルなゲーム向けにストリーミング型のアプリケーション配信を実現するサービスです。 まとめ 1日
Elasticsearch trial and error
Helping Users Find Their Own Way: Creating Modern Search Experiences
Middleman で作った web サイトを Travis + GitHub pages でお手軽に運用する - tricknotesのぼうけんのしょ
先日 Middleman を使って sapporojs.org をリニューアルしました。 その際に得られた Middleman での web サイト運用の知見をご紹介します。 Middleman って?? 簡単に説明すると、静的 web サイトジェネレータです。 Jekyll をご存知の方であれば、似たようなものをイメージしていただけるとよさそうです。 Middleman の方が優れている点は、 Asset Pipeline や Template Helpers などの便利な機能を利用をすることができることです。 http://middlemanapp.com/ 逆に Jekyll の方が有利な点としては、 GitHub pages が使えるためデプロイが楽であるという点があります。 そこで今回は、 Jekyll と同じく Middleman を GitHub pages に簡単にデプロイ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Schema Design
RDBとNoSQLの上手な付き合い方(勉強会@LIG 2013/11/11)