AWS Lambda を計算リソースとして使う - いもす研 (imos laboratory)
Amazon EC2 は 1 時間単位，Google Compute Engine も 10 分単位でしか借りられず，試行錯誤しながらプログラムを書いている時に計算リソースを使い切ることは困難です．そこで 100 ミリ秒単位で使える AWS Lambda を計算リソースとして使ってみました． AWS Lambda は表向きは Node.js あるいは Java が使えると書かれていますが，実際には最近流行りのコンテナ技術を使っており言語レベルでの制限はかけられておらず，exec 関数を呼び出すことにより（静的リンクされていれば）任意のバイナリを実行することができます．そこで C++ で書かれたプログラムを実行する方法について紹介します． Linux 上で x86-64 向けにコンパイル・静的リンクされたバイナリがあれば，それを AWS Lambda 上で実行することは簡単にできます．コンパ
SparkRをEC2上で動かして分散処理してみる
こんにちは！美味しいコーヒーを飲むために、毎朝早くにデスクでコーヒーミル回してます、アナリティクスチームの高柳です。 アナリティクスチームでは、じゃらんnetやホットペッパービューティーをはじめとしたリクルートライフスタイルのサービスに対して、基礎集計やレポーティング、また、データマイニング（データ分析）を活用し、高速にサービスを改善していくというミッションを担っています。 本記事では、データ分析環境としてのApache Spark、特にver 1.4から利用可能になったSparkRを、当チームのAWS上の分析環境に導入検討していたので、その辺について書きたいと思います。 SparkRは、まだリリースから日が浅いことから、日本語の記事が相当に少ないので、この記事がみなさんの"Happy SparkR ライフ"のお役に立つことを願っております。 Apache Spark導入の背景 サービスを
「Amazon API Gateway」が大きな意味を持つ理由--その可能性を考察
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「Amazon API Gateway」は、アプリケーションと企業のレガシーシステムをつなぐことができるサービスであるとされており、Amazonの製品の中でも重要なものの1つになると同時に、より多くの顧客を呼び込む可能性がある。 簡単に言えば、API GatewayはAPI経済の中心的な存在となる可能性を秘めているということだ。あらゆるもの（ソフトウェア、モバイル、モノのインターネットなど）がソフトウェアとなりつつある中、APIはさまざまなシステムをつなぐ「のり」の役割を果たしている。APIがあるからこそ、「Amazon Web Services（AWS）」や「Salesforce」「Workday」などのサービスを、1つのパッケージで
S3に画像をアップロードしたらLambdaでサムネイルを生成する(node-imagemagick) - Qiita
公式ドキュメントでは gm でサムネイルを作っているが node-imagemagick が入っているのでそのまま貼れば一応動く。 node-imagemagick はメンテされてないので gm を使ったほうがいいとは思う。 元画像用のバケットと、そのバケット名に -thumbnail のサフィックスを付けたサムネイル用バケットが必要。 S3 バケットを作る バケットとファンクションは同じリージョンに作る必要がある。 今回は US Standard に作った。 Lambda ファンクションを作る Lambda function code var fs = require('fs'); var im = require('imagemagick'); var aws = require('aws-sdk'); var s3 = new aws.S3({apiVersion: '2006-03
初めてのAWS Lambda ～AWS Lambdaで始めるイベントドリブンアプリケーション
対象読者 Web系プログラマ AWSに興味のある方 必要な環境 AWSアカウント AWS Lambdaとは 「AWS Lambda」は、クラウド上でアプリケーションを実行する新たなプラットフォームです。AWS Lambdaを使えば何らかのイベントをトリガーに処理を実行することが可能です。Amazon Simple Storage Service（以下、Amazon S3）のバケットへのファイルのアップロード、Amazon Kinesisのストリームに届いたメッセージ、Amazon DynamoDBにおけるテーブルの更新といったイベントを受けて、事前に用意したコードを自動的に実行することができます。 従来であれば、こうしたイベントドリブンなアプリケーションの開発は非常に手間がかかりました。たとえば、変更を検知するためにポーリングし続ける仕組みや、変更を検知したらそれに応じた適切な処理を行う仕
Amazon EC2を(なるべく)使わずにシステムを構築してみる | DevelopersIO
こんにちは、せーのです。AWSは現在40以上のサービスがあり、なかなか把握しきれないことも多いかと思います。そこで今日は現在のサービスを組み合わせたシステム構築の一例をご紹介致します。 最もコストがかかるのはEC2 そもそもオンプレではなくクラウドサービスを選ぶ理由は安価で簡単にサーバーやストレージを調達でき、障害対策や電源管理等をAWS側が行ってくれるから、という方も多いかと思います。 ではAWSの各サービスでコストを抑える秘訣はなんなのでしょう。それは「EC2を使わないこと」です。例えばDBとしてmySqlを使いたいとします。時間あたりの単価を考えるとEC2の中にmySqlをインストールするよりもRDSでmySqlを立てたほうがお得です。また障害が起きてダウンした際にEC2は自分でフェールオーバー等の対策を打つ必要がありますが、RDSはmulti-AZの設定をしておくだけで後はAWSが
Private Presentation
Private content!This content has been marked as private by the uploader.
2014-07-26 jawsug-chiba ドキュメントを書こう! 運用自動化時代のドキュメンテーション
2014-07-26 jawsug-chiba ドキュメントを書こう! 運用自動化時代のドキュメンテーション
ソフトウェアエンジニアだけでサービス運用できる環境を作って失業した話 - まいんだーのはてなブログ
はじめに このエントリは非常にポジティブで技術的なチャレンジに関するまとめであり求人エントリでもあります。 まとめ 昨年後半から、急成長するサービスを支えるため “どオンプレ” な環境で作ったサービスをクラウドに持っていく仕事をしていました。 クラウドのオイシイところを押さえられるよう作り変えをした結果として “Infrastructure as Code” を実践することになり、結果としてソフトウェアエンジニアだけですべてがコントロール出来る状態になり、インフラおじさん業が不要になりました。 そういった環境で働きたい "腕の立つITエンジニア(特にスマホとサーバサイド)" を募集しています。 発表資料&箇条書きで振り返る最近の動き AWS Casual Talks #3 https://github.com/myfinder/aws-casual-3/blob/master/slide.
AWS(Amazon Web Services)技術資料メモ(2015年3月版) - hiroshixの日記
2015-03-16 AWS(Amazon Web Services)技術資料メモ(2015年3月版) 2015年3月版に更新。 技術資料はココにあるんだけど、散らかってるのでまとめてみた。全体的に資料の日付をチェックした方がいいかも。資料公開からアップデートがある場合も。あとどの資料も最初に概要入っててごめんなさい。 概要的なやつ スタートアップならおさえておきたいAWS入門サービス概要と基礎知識編 スタートアップならおさえておきたいAWS入門サービス概要と基礎知識編 from Hiroshi Takayama →つまづきやすいポイントや不安点など WebサービスStartUP向け AWSスケーラブルな構成例 WebサービスStartUP向け AWSスケーラブルな構成例 from Amazon Web Services Japan →構成例・代表的なサービスの一言紹介・課金関連・サポ
AWSで構築した環境にありがちなシェルスクリプトたち まとめ ｜ DevelopersIO
AWSでサーバを運用する際にはEC2からAWS CLIを使って他のAWSのサービスと連携したりすることがあると思いますが、AWS環境ならではのシェルスクリプトを集めてみました。AWS CLIのバージョンは1.7.13、Pythonのバージョンは2.6.9を使っています。私はAmazon Linuxで動作を確認しています。 目次 準備する AWS CLIのインストール AWS CLIのアップデート aws configureでセットアップする IAM roles for EC2 instancesに関して 監視系 CloudWatchでカスタムメトリクスを設定する ZabbixからCloudWatchの値を取得する プロセス監視する バックアップ系 AMIとEBSのバックアップを作成する RDSのスナップショットを作成する S3のフォルダを削除する 便利スクリプト系 Route53の自動登録
アマゾンはなぜクラウドサービスでも成功できたのか？ ジェフ・ベゾスの思考を読み解く3つのキーワード
近年急成長を遂げているAirbnbやDropboxといった新興企業。創業から数年で世界進出を果たすという、以前では考えられなかった躍進を技術面から支えたのは、クラウドサービス「AWS」でした。ビジネスの成功と資本力を切り離したクラウドのパワーについて、アマゾン データ サービス ジャパン株式会社・社長の長崎忠雄氏が語りました。 赤字を意に介さないジェフ・ベゾスを理解する、3つのキーワード 長崎忠雄氏：では、なぜアマゾンがクラウドコンピューティングを始めたか。特に3～4年前に我々がサービスを日本で展開したときに、よくお客様から聞かれた問いのひとつでございます。「アマゾンってインターネットで本を売ってる会社だよね？ なんでそんな会社がクラウドコンピューティングを始めたの」。これを簡単にお話しさせていただければと思います。 アマゾンは、1996年にジェフ・ベゾスという創業者が、インターネットで本
EC2 メンテナンスで慌てないための 4 つの設計ポイント | はったりエンジニアの備忘録
公式ブログでもアナウンスがありましたが、月末にかけて EC2 のメンテナンスが行われます。 EC2 メンテナンスアップデートに関して EC2 のメンテナンスには、ゲスト OS を再起動するインスタンスリブートと、ホストの物理サーバを再起動するシステムリブートの 2 つがあります。どちらのメンテナンスが予定されているかは EC2 Management Console の Events ページで確認できます。詳しいことは Amazon EC2 のメンテナンスのヘルプページに書いてあります。 今回は Xen のセキュリティ対応ということでシステムリブートが必要になりますが、どちらのメンテナンスでもユーザーの都合に合わせて事前に実施することができます。 インスタンスリブート: ゲスト OS にログインして再起動させるか、EC2 Management Console で Reboot を選択 システ
AWS で作るシステムのセキュリティ考 - 水深1024m
AWS アカウントを複数人で使ってシステムを作っていく時に、 セキュリティの面からやるべきことについて。 主に Web アプリケーションを想定した内容ですが、特に書いてあることは特殊ではないと思います。 各所の Blog にも記事書かれてますが思っていることをつらつらと書いてみます。 なんか変なこと言ってたらご指摘ください。 参考: AWSのセキュリティが気になるなら読んでおくべきAWSセキュリティのベストプラクティス - yoshidashingo はじめに (AWS アカウントと IAM ユーザ) 前提というか用語の話。 AWS アカウント アカウント作成時のメールアドレス、パスワードでログインして使うユーザ IAM ユーザ AWS アカウントから発行できる、ユーザ名とパスワードでログインして使うユーザ AWS アカウント周り AWS アカウント (ルートユーザ) で作業できないように
aws-cli を試してみる - ようへいの日々精進XP
aws-cli とは クラウドをコマンドラインで操作するという面白み SDK とは違い同じコマンド操作で aws の各種サービスを操作することが出来る 参考 【AWS発表】 新しいAWS コマンドラインインターフェース (CLI) が正式リリース AWS Command Line Interface awscli を使ってみた AWS Command Line Tool Python版 AWSコマンドラインツールのPython版をインストールした aws/aws-cli CLI Reference 試す インストール インストールした環境 Ubuntu 13.04 Mac OS X Lion pip のインストール python のパッケージ管理ツール pip をインストールする。Ubuntu の場合には apt-get install で。 sudo apt-get install pi
ソニー銀行は金融機関としてAmazonクラウドをどう評価し導入したのか？ AWS Summit Tokyo 2014
ソニー銀行は金融機関としてAmazonクラウドをどう評価し導入したのか？ AWS Summit Tokyo 2014 7月17日と18日の2日間にわたって都内で開催された「AWS Summit Tokyo 2014」での大きなトピックは、金融機関がクラウドの採用を明らかにしたことでした。1日目の基調講演ではマネックスグループ代表執行役社長CEOの松本大氏が登壇し、クラウドの採用を表明。 そして2日目のセッションでは、ソニー銀行のシステム企画部 マネージャー 基盤統括担当 大久保光伸氏が、同社によるAmazonクラウドの評価と導入について詳しい説明を行いました。 1年前のAWS Summit Tokyo 2013は、企業の基幹業務をクラウドへ移行する事例が相次いで発表されたイベントでした。それから1年がたち、金融機関もついにクラウドを基盤として採用し始めたことになります。 本記事では、ソニー
AWSの費用見積でおさえておくべきポイント | DevelopersIO
はじめに AWSの費用見積をする際におさえておいたほうがよいポイントについて説明します。 従量課金制である AWSのほとんどのリソースは1時間毎、もしくは利用量毎の課金です。 従量課金制の一番よいところは、ずっと使い続けなくてよいというところです(あたりまえですが)。 急なイベントの時にだけリソース増強 (弊社のこの事例はまさにそれです) 検証環境は必要な時に本番環境から作成 という使い方をすることで費用削減が可能です。 実際の必要リソースがわからない部分については、リソース大目の環境を作って検証して、結果的に不必要であればその時点でインスタンスを小さく/大きくする等で対応できます。 最初の見積がずれていても、ずっとそのコストを払わなくてもよい点、頭の片隅のおいておいてください。 また、AWSならではの従量課金の項目もあります。 EBS(ネットワークストレージ)のI/O ネットワークの通信
AWSアクセスキーをgitに誤って登録しないようにする | DevelopersIO
はじめに Gitはとても便利ですが、GitHub上で不適切に公開されている秘密鍵を使ってAWSに不正アクセスする事例が発生 というようにAWSアクセスキー、シークレットキーを誤って登録してしまうととても恐いことになります。利用者側で気をつけられるようにGitのフックをつくってみましたので報告します。 Git フックとは? Gitにはフックというなにかの操作の前後にスクリプトを実行できるような仕組みがあります。これを使うことにします。コミットの前に気づければよいのでpre-commitを使うことにします。サンプルファイルが .git/hooks/pre-commit.sampleにありますが、今回はシンプルにしたいので、.git/hooks/pre-commitをスクラッチで作ります。 アクセスキー混入防止フック とてもシンプルです。git diffをしてその中に KEYという行があり、さら
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Intro to High Performance Computing in the AWS Cloud
Slerがawsで運用してきた話
