Serverless FrameworkのStep Functions用プラグインでState LanguageをYAMLで記述する #reinvent | DevelopersIO
Serverless FrameworkのStep Functions用プラグインでState LanguageをYAMLで記述する #reinvent はじめに こんにちは、中山です。 昨日feedlyを眺めていたらかなり便利そうなツールを発見したのでご紹介したいと思います。Serverless FrameworkでStep Functionsを実行するプラグインがリリースされました！最高。作者の方が書かれたQiitaエントリとプラグインのGitHubリポジトリは以下の通りです。 Serverless FrameworkでStep Functionsが使えるプラグインをリリースしました horike37/serverless-step-functions このプラグインを利用することで以下のことができます。かなり便利そうです。この冬はこれで決まり感がありますね。最高！ Step Func
Visual Studio for Mac で使用する AWS Lambda(C#)のテンプレート | DevelopersIO
1 はじめに AWS LambdaをC#で構築する際に、Windows上の Visual Studioであれば、AWS Toolkit for Visual Studioをインストールすることで、プロジェクトのテンプレートから、デプロイ、実行まで全ての環境が揃います。しかし、残念ながら、Mac上で作業する場合、そのような便利なツールキットは提供されていません。 そこで、今回は、Visual Studio for Macを使用して、少しでも、上記のような快適な環境が出来ないかと、テンプレートを作成してみました。 内容としては、下記で行った作業を、GitHubに置いたのと、コマンド等をシェル化しただけです。 Visual Studio for Mac で AWS Lambda（C#）ファンクションを作成してみた .NET Core CLIによる AWS Lambda Project のデプロ
【アップデート】Amazon Elasticsearch Service に Phonetic Analysis プラグインが追加されました | DevelopersIO
【アップデート】Amazon Elasticsearch Service に Phonetic Analysis プラグインが追加されました 明けましておめでとうございます、藤本です。 昨年一年間で気づけば切りよく 77本のブログをエントリしました。今年は 100本の大台目指して頑張ります。 さて、昨年の12月22日に久しぶりに Amazon Elasticsearch Service にアップデートがありました。 Amazon Elasticsearch Service now supports phonetic analysis Amazon Elasticsearch Service はプラグインを追加できない制約があります。そんな Amazon Elasticsearch Service にプラグインの追加がありました。Phonetic Analysis プラグインです。 Phon
【小ネタ】CloudWatch Logsの料金が高かったのでAWS CLIを使って調査した話 | DevelopersIO
西澤です。CloudWatch Logsは非常に便利で強力なサービスですが、ログ量が多くなる場合は課金に注意が必要です。今回AWS CLIで調査する機会があったので、その際の対応について簡単にまとめておきます。 CloudWatch Logsの料金(おさらい) 2020年2月時点での東京リージョンでのCloudWatch Logsの利用料金は以下のとおりです。 バージニアリージョンの料金が記載されているとの指摘を受けまして、下記料金を東京リージョンの最新の料金情報に合わせて訂正いたしました。大変申し訳ありません。 $0.76 : 取り込み GB あたり $0.033 : GB あたりのアーカイブ/月 料金 - AWS CloudWatch | AWS エクスポート時のデータ転送料金は置いておくと、"アーカイブ"の方はS3料金と大差がありませんが、問題となるのは"取り込みGBあたり"のところ
その設計、本当に正しいですか？ | DevelopersIO
はじめに こむろです。今年も残すところあと数日。札幌は本日（2016/12/29）は雪と風が吹いていて外出しようとする心を折りにかかってます。 2016年は、設計・実装・膨大なデータ移行、そして現在サービス運用からインフラ保守のお手伝いと、開発と構築と運用の3つの役割を行き来していた一年でした。今までは開発一辺倒でしたので、本格的にサービスの運用を経験したところ色々と学ぶところが多かったので、1年の最後としてちまちまと書き下してみます。 自分の所属するプリサーでは、普段AWSのサービスを積極的に利用しながらモバイルを中心としたシステムの設計・開発から運用まで行っています。最近では開発だけではなくその後の運用も含めてサポートさせて貰う機会もあり、稼働した後も安定したシステムの運用ができるよう日々奮闘しています。そんな中でAWSならではの現象や制限が当然あるため、なかなか今までの知識や想定では
【社内資料公開】2016/12/27 ネットワーク担当者とDirect Connectの話をするための基礎知識 | DevelopersIO
はじめに こんにちは植木和樹＠上越妙高オフィスです。本日は2016年12月27日に行ったオペチーム向け社内勉強会の資料を公開します。 AWSといっても仮想サーバー、データベース、モバイル、ビッグデータ、IoTそしてネットワークと提供サービスは様々で、関わる人もアプリケーション出身の人もいたり私のようなサーバー管理出身の人もいたりと様々です。 そこで、これまであまりネットワークまわりをやってこなかったエンジニア向けに、ネットワーク屋さんと話をするための基礎知識を身につけてもらおうと１時間ほどの社内勉強会を行いました。 せっかく作った資料なので本日はそれを公開したいと思います。 勉強会資料 まとめ 私がこの仕事を始めたのは1997年のことなのですが、最近は一つひとつの技術が専門的になってきて、初学者はどこから始めていいのか戸惑わないのかな？と感じることがあります。そこで社内エンジニアがこの資料
AWS Step Functionsチュートリアル実践：リトライを使ったエラーハンドリングの作成と実行 #reinvent | DevelopersIO
AWS Step Functionsチュートリアル実践：リトライを使ったエラーハンドリングの作成と実行 #reinvent AWS re:Invent 2016で発表された『AWS Step Functions』、Getting Startedの他にもドキュメントではチュートリアルが幾つか用意されています。当エントリではそのうちの1つ、Retryフィールドを使ってステートマシンのエラー状態を処理したものについて実践してみた結果をご紹介してみたいと思います。 AWS Step Functionsに関するエントリ一覧は下記関連シリーズをご参照ください。 Step Functions ｜ 特集カテゴリー ｜ Developers.IO 目次 Step 1:Lambda用にIAM Roleを作成 Step 2:失敗するLambda関数を作成 Step 3:Retryフィールドのあるステートマシンの
[ACM] 証明書の全リージョン証明書の有効期限チェックをCLIで実施してみた | DevelopersIO
はじめに AWSチームのすずきです。 AWSが SSL証明書のマネージドサービスとして提供する AWS Certificate Manager (ACM)、 サーバ証明書を無料で作成し、AWSのELB、CloudFrontで利用する事が可能です。 ACMで作成した証明書の有効期限はデフォルトで13ヶ月、その有効期限が失効する60日前に自動更新される仕様ですが、 自動更新条件を満たさない場合、メールによるドメイン認証手続きが必要になるとの注意喚起の案内がありました。 AWS Certificate Manager (ACM) 証明書の自動更新時の注意点 今回、ACMによる有効期限の自動更新条件を満たさず、ドメイン認証による手動更新も実施されていないため、失効の恐れがある証明書の確認を、 AWS CLIを利用して全リージョンを対象に行う機会がありましたので、紹介させて頂きます。 スクリプト 環
![[ACM] 証明書の全リージョン証明書の有効期限チェックをCLIで実施してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e10c36a6d4b1f695a66553f82a3d6a1f8b46fc38/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F01%2Feyecatch_certificate_manager.png)
Amazon Kinesis Firehoseを使ってApacheのログをステータスごとに出し分ける方法を考える | DevelopersIO
こんにちは、せーのです。今日は先日ご紹介した新機能のアレンジ編です。 イベント毎にファイルを分けたい 先日Firehoseから出力先にデータを送る際にLambdaをはさんでApacheのログを簡単にJSON化する機能をご紹介しました。 【新機能】Amazon Kinesis FirehoseにAmazon Lambdaを使ったデータ変換機能が追加。Apacheログが簡単にJSON形式に変換可能に！｜クラスメソッドブログ Firehoseからデータを流す時にLambdaを間にはさんでETL処理することが出来る、しかもApacheやSyslogのデータ加工に関しては既にblueprinｔが用意されていて何もコードを書かなくても変換してくれる、という分析系の方には涙が溢れて止まらない機能でした。 こちらのブログはSNSで色んなコメントをいただき、概ね「便利そう」というものだったのですが、中にこの
(レポート) DAT204 – Thermo Fisher事例：AWSとMongoDBによる質量分析時間の短縮 #reinvent | DevelopersIO
こんにちは、菊池です。 re:Inventの事例セッション、"How Thermo Fisher Is Reducing Mass Spectrometry Experiment Times from Days to Minutes with MongoDB & AWS (DAT204)"の動画を視聴しましたのでレポートします。 スライド：AWS re:Invent 2016: How Thermo Fisher Is Reducing Mass Spectrometry Experiment Times from Days to Minutes with MongoDB & AWS (DAT204) | SlideShare 動画：AWS re:Invent 2016: Thermo Fisher Is Reducing Mass Spectrometry Times with Mong
Amazon KinesisとAWS WAFを利用して、サーバレスでリアルタイムな侵入防止システムを作ってみた | DevelopersIO
Amazon KinesisとAWS WAFを利用して、サーバレスでリアルタイムな侵入防止システムを作ってみた はじめに AWSチームのすずきです。 ストリーミングデータの処理サービスのAmazon Kinesisを利用して、Webシステムのアクセスログ解析を実施し、 不正アクセス元と判定されたソースIP情報を、Lambdaを利用して、AWS WAFに反映する事で、 サーバレスでリアリタイムな侵入防止システム(IDS)を実現する機会がありました。 今回、その概要について紹介させて頂きます。 構成概要図 AWS WAF ELB は WAFに対応した ALB (Application Load Balancer) を利用します。 AWS WAF は、指定したIPアドレス(Conditions)のアクセス制限を実現するルール、ACLを設定します。 ACLs Rule Conditions 参考:
AWS Batchのプレビュー版を触ってみる #reinvent ｜ Developers.IO
こんにちは、虎塚です。 re:Invent 2016で登場したAWS Batchを少し触ってみました。 AWS Batchを動かす前のセットアップ方法と、Getting Startedの操作手順をご紹介します。なお、ウィザードにしたがって実行するとハマる部分があったので、本記事ではAWS CLIを使った手順に書き換えました。 AWS Batchは、2016年12月16日現在プレビュー版です。正式リリースまでに、サービスや機能が変更される可能性があります。 セットアップ準備 Getting Startedに入る前に、次の準備をおこないます。 IAMロールの作成 Batchロールの作成 ECSインスタンスロールの作成 key-pairの作成 VPCの作成 セキュリティグループの作成 最新版のAWS CLIのインストール 1. IAMロールの作成 本ステップで作成する2個のIAMロールは、AWS
AWS Step Functions実践：スポットインスタンス入札を自動化してみた #reinvent | DevelopersIO
こんにちは、菊池です。 AWS re:Invent 2016で発表された『AWS Step Functions』は、Lambdaで実装した処理をうまく連携させることができます。 Step Fanctions と Lambda を使ってスポットインスタンスの自動入札を試してみましたので紹介します。 やりたいこと スポットインスタンスの入札をして起動できればOK、起動できなかった場合にはオンデマンドインスタンスを起動する。 スポットインスタンスのリクエスト 入札処理を待つ 入札結果を確認 落札NG -> 4.へ 落札OK -> 5.へ オンデマンドでインスタンスを作成 結果をAmazon SNSへ通知 ユースケースとして、 日次で起動するEC2インスタンスを、スポットインスタンスで安価に起動したい。 けど起動できないのは困るので、落札できなければオンデマンドインスタンスで起動する。 といった処
サーバレスで変わるサーバ開発の未来と、GS2が変えるゲームサーバ開発の未来 | DevelopersIO
サーバレス はじめまして。Game Server Services 株式会社の丹羽一智です。 今回はサーバレスで変わるサーバ開発の未来というお話です。 まずは、『サーバレス』とはなんぞや？というところから整理したいとおもいます。 サーバレスは去年の後半から話題になり始めたワードで、EC2をはじめとした IaaS とは異なり、OSやプロセスの管理が不要となる技術を指します。 まだ言葉の定義がしっかり固まっていないところがありますが、以下のような技術を総称してサーバレスと呼ぶ。と考えるといいのではないかとおもいます。 FaaS (Function as a Service) PaaS (Platform as a Service) Functional SaaS (Functional Software as a Service) FaaS (Function as a Service) 去年
Piculetの定義ファイル内のIPアドレスに別名をつける／社内で使ってる補助スクリプトを紹介します #codenize | DevelopersIO
はじめに こんにちは植木和樹＠上越妙高オフィスです。先日のCodenize Meetup #1で発表した資料でご紹介した、Piculetをちょっと便利につかうために社内で使ってるスクリプトを公開します。 【レポート】12/8 Codenize Meetup #1でRoadworker/Piculetの活用について話してきました ｜ Developers.IO 元々のコードを書いてくれた望月さんに公開許可をもらいました。ありがとうございます。くらめそ社内のノウハウは積極的に公開していくスタイルですね。 ソースコードと使い方 ソースコード ソースコードはGistで公開しています。 使い方 上記URLで公開している３ファイルをPiculetの設定ファイルと同じディレクトリに保存しておきます。 piculetでexportした後にinject_definition.rbを実行すると、エクスポートさ
[Amazon Pinpoint] Export したイベントデータを元に Endpoint の情報を取得する | DevelopersIO
Endpoint とは Amazon Pinpoint (以降 Pinpoint) は、セグメントされたプッシュ通知をモバイルアプリに送信するためのサービスです。概要については下記の記事を参考にしてください。 モバイルアプリ用のターゲットPush通知サービス『Amazon Pinpoint』で出来る事を確認してみる #reinvent #pinpoint ｜ Developers.IO Pinpoint では、ターゲッティングの対象となるデバイスを Endpoint と呼んでいます。Endpoint には、デバイスの情報やセグメントのルールとなるカスタム属性値などを含めることができます。本記事では、Pinpoint のログを元に Endpoint の情報を取得してみました。 Endpoint の登録 まずはじめに、Endpoint はどのように登録するかと言う話です。通常は、モバイルアプリ
![[Amazon Pinpoint] Export したイベントデータを元に Endpoint の情報を取得する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9b50cf93b5b5716e71448ba9ed1baecabf01c91c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2017%2F01%2Feyecatch-pinpoint.png)
AWS WAFがALB(Application Load Balancer)で利用出来るようになりました | DevelopersIO
はじめに AWSチームのすずきです。 AWSがウェブアプリケーションを保護するマネージドサービスとして提供する「AWS WAF」が、 ALB(Application Load Balancer)で利用可能になりました。 AWS WAF is now available on the Application Load Balancer (ALB) 今回、AWS WAFを利用して、特定IPアドレスからALBへのアクセス制限を試す機会がありましたので、 紹介させて頂きます。 手順 WAF設定 AWSのマネジメントコンソールより、AWS WAFの設定を行います ACL作成 ACLの作成を行います リージョンと、保護対象のALBを指定します Conditon作成 アクセス制御に利用するIPアドレスを反映したConditionを作成します 制御対象とする、接続元IPアドレスのリストを作成します。 今回
[Kinesis] Lambdaのイベント設定時、開始時刻(AT_TIMESTAMP)の指定が可能になりました | DevelopersIO
はじめに AWSチームのすずきです。 2016年12月のアップデートにより、LambdaのイベントソースとしてKinesis Streamsを利用する際、 「AT_TIMESTAMP」、指定時刻以降に登録されたレコードを対象とした利用が可能となりました。 今回、Lambdaのサンプルコードを利用し、イベントソースのKinesis Streamsから 指定時刻以降に登録されたデータの取得を試みる機会がありましたので、紹介させていただきます。 手順 Lambda関数作成 サンプルコードの選択 AWSのマネジメントコンソール上でBlueprintとして公開されている、 Lambdaのサンプルコード(kinesis-process-record-python)を利用しました Lambda関数設定 コードはサンプル、ロールはデフォルト(Create new role from template)のも
AWS Toolkit for Eclipse で Serverless Applicationを作成する | DevelopersIO
はじめに AWS Toolkit for EclipseでAPI Gateway + LambdaのServerless Applicationが作成できるようになったので試してみました。JavaでServerless Applicationを作成しようと考えている方にとっては１つの選択肢になるのではないかと思います。 AWS Toolkit for Eclipse: Serverless Applicationsを参考にしたのですが、注意すべきポイントもあったので、それらも加えて書いていきます。 作成手順 作業の流れとしては以下となります。 AWS Toolkit for Eclipseのインストール プロジェクト作成 serverless.templateの確認 デプロイ AWS Toolkit for Eclipseのインストール EclipseにAWS Toolkit for Ec
Amazon Athena: カラムナフォーマット『Parquet』でクエリを試してみた #reinvent | DevelopersIO
先日『AWS re:Invent 2016』にて発表された新サービス『Amazon Athena』は、マニュアルにもある通りAWSが提供するフルマネージドHiveサービスと言えるでしょう。DWH用途で考えるとレコードをフルスキャンするよりも特定のカラムを集計・フィルタするというユースケースが多くなりそうですので、カラムナフォーマット『Parquet』を試したみたいと思いました。Parquetファイルの変換や、一般的なCSVとの簡単な比較をしてみました。（意外な結果が...） カラムナフォーマット『Parquet』とは データ分析では大福帳フォーマットのテーブルデータに対して、特定の列の値を集計したり、フィルタリングすることが多いため、カラム毎にデータが連続して格納されていると必要なデータのみをピンポイントで読み込むことができるからです。また、列方向には同じ種類のデータが並んでいるため、圧縮
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
