katotakuのブックマーク - はてなブックマーク

HadoopとS3 - Qiita
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplication Timeline Server v2について書こうと思っていたのですが、気が変わってHadoopとS3の関係性について書いていこうと思います。もし期待していた方がいらっしゃったらごめんなさい。（ATSについては機会があればまた書きたいと思います。) 背景 S3について書こうとおもったのは、下記のような仕組みを作っている中でいろいろ思うところがあったからです。システムがS3に吐き出す様々なログ、データやメトリクスをZepplinで可視化するための仕組みです。永続化したいデータはS3にしか置かず、SparkやZeppelinなどのコンポーネントはステートレスかつ拡張、もしくは別の計算フレームワ
katotaku 2016/12/26
aws

s3

hadoop
リンク
Amazon Cognitoを独自認証(Developer Authenticated Identities)で利用する - Qiita
お約束ですが、これは個人のメモ/意見であり、所属する組織を代表するものではありません。 Amazon Cognito? Amazon Cognitoは、主にモバイルデバイスやブラウザから直接AWSの各種サービスを使う際に利用される、認証認可のためのサービス。実際にこの機能はIAM Roleとの組み合わせで実現されており、以下の2ステップで動く認証: Facebookなどのソーシャル系のサービスもしくはOpenID Connect Provider、ユーザー独自の認証サービスでユーザーを認証する。（このときにCognitoIDというものが払い出される。ユーザーごとにユニーク。）認可: 認証されたユーザーに対して、予め指定されたIAM Roleの権限を認可する。認証のオプションは以下のとおりソーシャルサービス Facebookアプリ Google Amazon OpenID Conne
katotaku 2016/02/08
cognito
リンク
AWS Lambdaのための関数のローカル開発とテスト - Qiita
これは個人の意見/メモであり、所属する組織を代表するものではありません。サマリ AWS LambdaのLambda Funcitonをローカルで開発する環境について考えてみた。なお、このポストの続きをAWS Lambdaの関数をnpmでパッケージ管理に書いています。大まかな方法 Lambdaでは、例えば以下のような感じで関数を実装してアップロードする。 var AWS = require("aws-sdk"); var DOC = require("dynamodb-doc"); AWS.config.update({region: "us-west-2"}); exports.handler = function(event, context){ this.docClient = new DOC.DynamoDB(); //Do something with DynamoDB co
katotaku 2014/12/02
aws

lambda
リンク
1