はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

EMRでApache Sparkを使用するに当たって、必要なデータを処理するためのコードと入力データを用意するだけで、面倒な環境構築を行わず、わずかばかりの設定を加えるだけですぐに使用することができます。 ここでは、最初にScalaによるEMR上でのSpark処理、次に他のサービスのトリガーをきっかけに動くJavaによるLambdaでEMRを呼び出す手順を注意点も含めて詳細なメモを書きます。 Scalaによる回帰分析を行う実行ファイルの作成 環境構築 scalaをインストール。 $ cd /tmp $ curl -O http://downloads.typesafe.com/scala/2.11.8/scala-2.11.8.tgz $ tar xzf scala-2.11.8.tgz $ mkdir -p /usr/local/src $ mv scala-2.11.8 /usr/lo

S3のバケットの作成 マネジメントコンソールからS3を選択して、未加工状態と変換後の動画を格納するバケットを作成する。 未加工状態の動画用のバケットの作成 1.バケットを作成を選択し、表示されたポップアップで以下のように入力する バケット名: transcoder-raw-data リージョン: Oregon 2.作成されたバケットを右クリックからプロパティを選択し、アクセス許可からバケットポリシーの編集を選択する。 3.表示されるポップアップからAWS Policy Generatorを選択し、以下のように入力する。 Step 1: Select Policy Type Select Type of Policy: S3 Bucket Policy Step 2: Add Statement(s) Effect: Allow Principal: * AWS Servuce: Amazo

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Fluentdを使って、複数のEC2からログを収集し、S3やElasticSearch Serviceに転送する処理を行ったので、注意事項も含めてメモします。 事前準備 S3バケットの作成 マネジメントコンソールからS3を選択し、[バケットを作成]を選択。 現れるマネジメントコンソールに例えば以下のように入力する。 バケット名: my-server-log リージョン: Tokyo ※S3のバケット名はAWS全体で一意なので注意。各自適宜名前をつけること。 [作成]を選択 ElasticSearch Serviceのドメイン作成 マネジメントコンソールからElasticSerch Serviceを選択 [Create a new domain]を選択 Step 1: Define domain Elasticsearch domain name: my-search-domain Elas

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

ログ等のデバッグ情報 種類 ECSにおいて以下の種類のログ等を活用したデバッグ方法を説明します。 アプリケーションログ Amazon ECS サービス ログ Amazon ECS タスク ログ Amazon ECS コンテナエージェントログ Amazon ECS ecs-init ログ タスク認証情報の監査ログ用の IAM ロール ECS Logs Collectorの使用 エージェントのイントロスペクション診断 API failures エラーメッセージ アプリケーションログ ECS上のDockerで起動しているアプリケーションのログ出力の設定をします。 サイドメニューの[タスク定義]から新しいリビジョンのタスクを定義する際に[コンテナの定義]をします。このときに[ストレージとログ]項目中のログを以下のように設定します。 ログ設定 ログドライバー awslogs ログオプション awsl

ワークフローサービスとして発表されたStep Functions。 他のワークフローサービスにSimple Workflow(SWF)もありますが、新規アプリケーションの場合はStep Functionsの方を検討することが推奨されています。ニーズを満たさない場合はSWFを使用してみてよいそうです。 Step functionsには現在6種類のblueprintがサンプルとして用意されています。 こちらのコードを眺めるだけでも仕様が最低限必要なことが把握できるように思われます。 最初に用意されたBlueprintを眺めて、最後に定義された全種類のStateを用いてステートマシンを作成します。 Blueprint Hello World { "Comment": "A Hello World example of the Amazon States Language using a Pass

前半でHTTPによるWebサーバの動作を理解するための基本的な事前知識を整理して理解します。そして、後半にそれらの知識を元にC++による簡易なHTTPサーバをフルスクラッチで実装して理解します。 今回はリクエストされたテキスト形式のHTMLを返すだけのサーバを実装します。 ブラウザからhttp://127.0.0.1:5000とアクセスすると用意されたテキストのHTMLファイルをパースしてHello, world!とだけ出力する以下のような画面が表示されるサーバとなります。 事前知識 HTTP HTTPにはこれまで以下のようなバージョンが存在しています。 HTTP 0.9 HTTP 1.0 HTTP 1.1 HTTP 2 最近ではHTTP2の普及が進んていっていますが、現在はHTTP 1.1が広く使われています。 仕組み Webでは、クライアント/サーバのアーキテクチャを取っており、クライ

AWSのストレージサービス AWSには以下のようなストレージサービスが提供されています。 インスタンスストレージ EBS EFS S3 Glacier Storage Gateway RDS Redshift ElastiCache DynamoDB (SimpleDB) ここではEFSとEBSの比較について特徴と利用方法を取り上げます。 EFSとEBSの比較 EFSはNFSでアクセス可能な共有ストレージのファイルストレージサービスで、EBSはブロックレベルのストレージサービスで、共にEC2にマウント可能なストレージです。EFSとEBSの利用比較の図については以下のようになります。 公式ページの比較表を引用させて頂くと以下のようになります。 Amazon EFS Amazon EBS PIOPS

iOS開発におけるアプリ内課金には以下の4種類があります。 消耗型 非消耗型 自動更新登録 非更新登録 ここでは、Swift3による月額課金の自動更新処理を行います。 iTunes Connectでプロダクトの登録 iTunes Connect(https://itunesconnect.apple.com ) へアクセスし、[マイApp]から[新規App]を作成し、[自動更新登録]のApp内課金を追加しておく。 参照名: ＜iTunes Connect上で表示されるプロダクト名＞ 製品ID: xxx.xxx.xxx.xxx(以下、製造IDはこの表記を使用する) この時、登録期間として以下の6種類が選択できるので1か月を選択しておく。 1週間 1か月 2か月 3か月 6か月 1年 無料トライアルとして、以下の3種類が選択できる。 なし 1週間 1か月 なお、App内課金のページにおける[共

シンプルなRails環境を最速プロビジョニング。各種ツールの利用比較 (Chef [Berkshelf], Ansible [Playbook], Docker [Docker Compose], 手動)RailsAWSchefDockerAnsible プロビジョニングのための構成管理フレームワークには様々なものがあり、例に挙げると以下のようなものがあります。 Chef Ansible Puppet SaltStack CFEngine PowerShell DSC Itamae AWS CloudFormation Terraform Mobingi ItamaeはCookpadの社員の方が開発した、機能がシンプルで学習コストが低く、Chefを簡略化したようなものです。AWS CloudFormationはAWS上のサーバなどの構成をJSONまたはYAMLで記述して管理するものです。T

オンライン決済サービスって何があるの？ 日本で利用できるクレジット決済APIとい言えば、Pay.jpやWebPayやSPIKE、Paypalなど様々なサービスがあります。 Pay.jpやWebPayは開発者に優しいと評判であったり、SPIKEは決済手数料が無料があることに着目されていたり、決済会社それぞれのメリット・デメリットを比較した上でどのAPIを使用するか選定する必要がありそうです。 【比較表】pay.jpが開始、オンライン決済サービス比較表をつくりました 【徹底比較】話題の5大オンライン決済サービスPayPal、SPIKE、Stripe、WebPay、Yahoo!ウォレット FastPay、を比べてみた（比較表有り） そんな中、欧米で勢いのあるStripeが日本上陸ということで円決済に対応した決済APIを日本でも提供を始めました。今後Stripeへの注目が期待されるでしょう。 St

Dockercon 16で今、Dockerの話題で盛り上がっています。 http://2016.dockercon.com/ AWS上にDocker環境をEC2上とECSの2つの方法で導入してみたのでメモ。 ECSはマネジメントコンソールからの操作で、2016年6月での地点での操作方法となります。 ECSを使用した場合はクラスタ管理から、負荷分散、スケーリングなどの面倒も見てくれます。 EC2インスタンス上に直で入れる方法 DockerイメージはDocker Hubからpullしてきたものを使用する場合 $ sudo yum install -y docker $ sudo service docker start $ sudo docker pull '<Docker Hubユーザー名>/<イメージ名>:<Tag名>' '<Tag名>': Pulling from '<Docker Hu

AWSへ2段階認証の導入 Multi-Factor Authentication(MFA)機能による2段階認証 最初にrootユーザーでAWSのマネジメントコンソールにアクセス。 画面右上の(IAM User)@(Account)のボタンをクリックして、Security Credentialを選択。 画面左メニューのUsersを選択して表示されるユーザー一覧から対象のユーザーを選択する。Security Credentialsのタブを選択して、Sign-In Credentialsを押す。 ポップアップが表示され、A virtual MFA deviceとA hardware MFA deviceの項目があるので、A virtual MFA deviceを選択して、Next Stepを押す。 するとQRコードとAuthentication Code1とAuthentication Code