プロダクト開発を支える技術
こんにちは！エンジニアの瀬尾です。 今回は私達がどのようなやり方でプロタクトを開発しているのか 実際のリアルタイム解析基盤サービスのアーキテクチャを交えて紹介します。 構成図 今回のインフラはすべてAWSのサービスを利用して構築しました。 IaaSとマネージドなサービスの組み合わせにより開発・運用コストを削減しています。 各レイヤやサービス構成は management UI:S3 + CloudFront Job:SQS ストレージ:RDS(MySQL) サービス利用者の管理画面レイヤです。 UIはAngulerJSのSPAがS3に配備されていて、CloudFrontにより配信されています。 Rename Distributionパターンによってエッジサーバーのキャッシュタイムアウトにかかわらずデプロイ時に最新のUIが配信される仕組みになってます。 UI背後のアプリケーションおよびJob(
【AWS】VPC環境構築ノウハウ社内資料 2014年4月版 | DevelopersIO
よく訓練されたApple信者、都元です。 以前、【AWS】VPC環境の作成ノウハウをまとめた社内向け資料を公開してみるという記事を書きましたが、そこから半年経ち、状況も変わって来ましたのでアップデートを行いたいと思います。 以前のエントリーを読んだ方は、忙しい場合は下記の「2013年10月版からのアップデート」だけを読むといいかもしません。 VPCを利用する理由 AWSは、あらゆる規模のプロジェクトに対応するインフラを提供しています。前述のサーバ数千台規模のプロジェクトしかり、1台構成しかり。大規模プロジェクトであれば当然、オンプレミスと同様にネットワークインフラについての設計を綿密に行う必要がありますが、では、中小規模のプロジェクトにおいてはネットワークの設計をする必要はないのでしょうか。 AWSでは、VPCという「ネットワーク環境」を構築するサービスを提供しています。しかもVPCの利用
GitHub - serverless/serverless: ⚡ Serverless Framework – Use AWS Lambda and other managed cloud services to build apps that auto-scale, cost nothing when idle, and boast radically low maintenance.
Here's a list of everything that's new in V.4, so far: Native Typescript Support: You can now use .ts handlers in your AWS Lambda functions in serverless.yml and have them build automatically upon deploy. ESBuild is now included in the Framework which makes this possible. More info here. New Dev Mode: Run serverless dev to have events from your live architecture routed to your local code, enabling
IAMアカウントでX.509証明書が使えるようにする - 雑記帳(2011-11-14)
■ [AWS] IAMアカウントでX.509証明書が使えるようにする IAMアカウントが必要なときは、大抵の場合アクセスキーIDで事足りることが多い。しかし、EC2関連のCLIを実行するときにX.509証明書が必要になってくる。 アクセスキーIDは自動的に作成され、AWS Management Consoleで管理できるのだが、X.509証明書は作成されない。IAMのドキュメントによると、次のようにある。 IAM doesn't have an API action to create signing certificates, so you must use a third-party tool such as OpenSSL to create the certificate first. We recommend you create an RSA key that is eithe
AWS News Blog
New — File Release for Amazon FSx for Lustre Amazon FSx for Lustre provides fully managed shared storage with the scalability and high performance of the open-source Lustre file systems to support your Linux-based workloads. FSx for Lustre is for workloads where storage speed and throughput matter. This is because FSx for Lustre helps you avoid storage bottlenecks, increase utilization of compute
Slackと連携するHubotをDocker in AWSで構築 - Qiita
やりたいこと Slackと連携できるHubotを立てる デプロイ方法は、Github -> CircleCI -> AWSとする slackへのAccess Tokenなどは環境変数で渡す（誰でも利用しやすいように） scriptsは誰でも追加しやすいように、localレポジトリのをDockerへ持っていくようにする まずはHubotに必要なものを揃える node.js npm Mac環境ならどちらもbrew installで簡単に用意できる YeomanとYeomanのgenerator-hubotを用意する。 -gをつけずにbundle的なのりでローカルにインストールしたかったが、実行にあたってのパス設定が面倒そうなので諦めた。 これでhubotとの対話インターフェースが立ち上がる。 scriptsディレクトリ以下にスクリプトを置くと、機能追加ができる。 hubot-scriptsディ
【ELB】AWS ELBの負荷テストをJMeterServer群でやる【負荷テスト】 - Qiita
更新履歴 2014/2/17 コメント頂いた内容を反映、誤字を修正 なぜELBの負荷テストはJMeterクライアント（GUI）１台からではだめか。 当初、ELB配下に、AZ-Aに2台、AZ-Cに2台の合計4インスタンスがある構成で、自分の開発マシンでJMeter(GUI)を動かして負荷テストをしていたのですが、なぜか、AZ-Aの2台にしか負荷が入っていない。 ググっていたら、AWS Japanの公式スライドを発見 http://www.slideshare.net/AmazonWebServicesJapan/20130612-aws-meisterregenerateelbpublic ↑のp49に、 「都度DNS解決を行うツールが望ましい」 とあります。 なるほど確かに、JMeterはDNSキャッシュしてしまっているようです。↓ https://twitter.com/just_do_
Amazon Machine Learningのサンプルをちょっとチューニングしてみる - Qiita
Amazon Machine Learningとは Amazon Machine Learning はAWSが提供している機械学習サービスです。機械学習に詳しくない人でも、簡単に学習モデルを作ったり予測結果を取得したりすることができます。また、S3、Redshift、RDS(MySQL)のデータを学習データとして利用することができ、AWSに構築したシステムのデータをシームレスに分析できることも魅力です。2015/4/9に正式公開され、現在はUS East(N. Virginia)リージョンとEU(Ireland)リージョンでのみ利用できます。 クラウドの機械学習サービスとしてはMicrosoft AzureのAzure Machine Learningが先行していますが、AWSもいよいよこの領域に進出してきました。 学習アルゴリズム Amazon Machine Learningでは標準で
(ARC306) IoT: Small Things and the Cloud | AWS re:Invent 2014
(ARC306) IoT: Small Things and the Cloud | AWS re:Invent 2014 Working with fleets of ''Internet of Things'' (IoT) devices brings about distinct challenges. In this session, we will explore four of these challenges: telemetry, commands, device devops, and audit and authorization, and how they transform when deploying hundreds-of-thousands of resource-constrained devices. We'll explore high-level ar
[AWSマイスターシリーズ] Amazon SQS / SNS
1. re:G ene AWS マイスターシリーズ Amazon SQS / SNS rate アマゾン データサービス ジャパン株式会社 ソリューションアーキテクト ⼋八⽊木橋 徹平 篠原 英治 ⾈舟崎 健治 © 2012 Amazon.com, Inc. and its affiliates. All rights reserved. May not be copied, modified or distributed in whole or in part without the express consent of Amazon.com, Inc. 2. Agenda ! Amazon SQSとは • SQSの動作イメージ • SQSの機能の詳細 ! Amazon SNSとは • SNSの動作イメージ • SNS Mobile Push
![[AWSマイスターシリーズ] Amazon SQS / SNS](https://cdn-ak-scissors.b.st-hatena.com/image/square/9dccdc64723f76681739329042a56c39117c7cb5/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20140212aws-meister-regenerate-sqs-sns-140216193336-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
0から始めるAWS入門：概要 - Qiita
研修向け。0からAWS上に基本的なWEBアプリケーションの環境構築していく。 前提 ・一般的なLAMPのWEBアプリケーション向け(※1)に環境を構築しますが、それらミドルウェアのインストール・設定等はあまり対象にしてません。 ・すでにAWSのアカウントを取得しているものとします。サインアップはこちら ちなみに、新規登録であれば無料枠があるため、この研修向け内容をやったとしても$3ぐらいに収まります。 ※1 アプリケーションの要件・内容には触れませが、一般的なLAMPアプリケーションでも同様になるかと思います。 構築する環境 今回のシリーズで目指す環境は、下記の通り。 簡単に各AWSサービス紹介 Elastic Compute Cloud (EC2) 一般的に言う仮想サーバー。スケーラブルに展開可能。 今回はここにアプリケーションを配置する。 詳細はこちら Relational Datab
S3mper
In previous posts, we discussed how the Hadoop platform at Netflix leverages AWS’s S3 offering (read more here). In short, Netflix considers S3 the “source of truth” for all data warehousing. There are many attractive features that draw us to this service including: 99.999999999% durability, 99.99% availability, effectively infinite storage, versioning (data recovery), and ubiquitous access. In co
AWS Summit 2014 Tokyo「Amazon DynamoDB テーブル設計と実践 Tips」レポート | DevelopersIO
こんにちは、虎塚です。 先月のAWSサミットで行われたセッション「Amazon DynamoDB テーブル設計と実践 Tips」をタイムシフト聴講しましたので、またまたレポートします。 講師は、アマゾン データサービス ジャパンの安川健太さんです。 AWS Summit Tokyo 2014 開催レポート動画・資料一覧 | アマゾン ウェブ サービス（AWS 日本語） Amazon DynamoDB テーブル設計と実践 Tips（AWS Summit Tokyo 2014 | TA-10） はじめに Amazon DynamoDBとは NoSQLの技術をサービスとして使う 構築と運用はAWS 開発者はコードを書くだけで使える 安定した予測可能なパフォーマンス シームレスなスケーラビリティの低コスト Amazon DynamoDBの特徴 書き込んだデータは3ヶ所のAvailabilityZo
最強のL7ロードバランサーNetScalerをAWS Marketplaceから使ってみる(1) - yoshidashingo
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 Amazon ELB(Elastic Load Balancing)は、HTTP/HTTPSアプリケーションでX-Forwardedやスティッキーセッション、SSLターミナーション、HTTPヘルスチェックといったL7ロードバランシングが主軸で、場合によってTCPやUDPでのL4ロードバランシングも行うことができる、非常に便利で強力でコスト効率がよいロードバランシングサービスです。 ただ、いわゆるURLやCookieの中身やホストヘッダによるロードバランシング機能はありません。ということで、L7ロードバランス機能が豊富なCitrixのNetScalerを使ってみます。 参考資料 AWS資料：AWS環境へのNetscaler活用事例 公開元見当たりません、が、手元にある Citrix Networking fo
AWS Elastic BeanstalkでDockerコンテナをデプロイしてみた | DevelopersIO
ども、大瀧です。 本日、AWS Elastic BeanstalkでDockerコンテナがサポートされました(AWS公式ブログの記事)。 超簡単&高速でDocker on EC2+ELBの構成が組めるとんでもない機能です！ ひとまず、試してみた様子をレポートします。 手順 AWS Management ConsoleでElastic Beanstalkの管理画面を表示します。既存のBeanstalk構成がなければ、新規アプリケーションの作成画面になるので、[Select a Platform]から「Docker」を選択し、[Launch Now]をクリックします。 早速Beanstalkのスタック構成として、ELB(ロードバランサ)とDockerインストール済みのEC2インスタンス1台が起動します。[Health]の表示が「Green」になるまで待ちましょう。 続いて、Dockerコンテナ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://codenize.tools/
AWS概要からサインアップまで！ 〜アカウント開設 & 仮想サーバを立ててみる〜
[AWS Black Belt Online Seminar] Elastic Block Store(EBS)![[AWS Black Belt Online Seminar] Elastic Block Store(EBS)](https://cdn-ak-scissors.b.st-hatena.com/image/square/944eb6f2f964de34fb6b3730ad5ba76aa0ad9f1d/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20130123aws-meister-reloaded-elasticblockstore-public-130123223527-phpapp01-thumbnail-4.jpg%3Fcb%3D1496368624)
GitHub - aws-samples/mqtt-kinesis-bridge: Simple MQTT to Kinesis bridge Python example
Big Data Integration