新機能 – Amazon CloudWatch Logs Insights – 高速でインタラクティブなログ分析 | Amazon Web Services ブログ
Amazon Web Services ブログ 新機能 – Amazon CloudWatch Logs Insights – 高速でインタラクティブなログ分析 多くのAWSサービスがログを生成します。すぐに思いつくものだけで VPC Flow ログ、Route 53 ログ、Lambda ログ、CloudTail ログ (AWS API 呼び出しのログ)、RDS ログ、IoT ログ、ECS ログ、API Gateway ログ、S3 サーバーアクセス ログ、EC2 インスタンスログ (CloudWatch Agent 経由）があります。EC2インスタンスの上で動くサービス（Apache、Tomcat、NGINXなど）もログを生成します。そしてあなたのアプリケーションコードもおそらく同じでしょう。 それらのログに含まれる、データ、パターン、傾向、洞察により、あなたのアプリケーションや AWS
S3へ保管したメールをパースしてDynamoDBへ入れてみる - Qiita
[メールヘッダ省略] Content-Type: text/plain; charset="iso-2022-jp" Content-Transfer-Encoding: 7bit MIME-Version: 1.0 X-PHP-Qdmail: version-1.2.6b The_MIT_License http://hal456.net/qdmail PHPver 5.2.17 send-by MailFunction $BEl6h!!9aDG>HMU!!#3CzL\#4HVIU6a$GL}O31L$N$?$a>CKIBb$,=PF0$7$F$$$^$9!#(B ---------------------- $B!~G[?.%(%j%"$N>\:Y@_Dj$dG[?.;~4VBS$NJQ99!"$*$h$SG[?.$N2r=|$O$3$A$i"-(B http://m119.city.
Amazon とは SES - Amazon Simple Email Service
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon とは SES Amazon Simple Email Service (SES） は、独自の E メールアドレスとドメインを使用して E メールを送受信するための簡単で費用対効果の高い方法を提供する E メールプラットフォームです。 例えば、特価販売などのマーケティング E メールや、注文確認などの取引 E メール、ニュースレターなどのその他のタイプの通信文の送信に使用できます。Amazon を使用してメールSESを受信すると、E メールオートレスポンダー、E メール配信停止システム、受信 E メールからカスタマーサポートチケットを生成するアプリケーションなどのソフトウェアソリューションを開発できます。 Amazon に関連するトピックの詳細については
奥さんがフェイスエステしている間に日本の祝日や休日を JSON で返す Web サービスを API Gateway と Amazon S3 そして Python で作ってみました - ようへいの日々精進XP
追記：後日談を書きました inokara.hateblo.jp tl;dr 日本の祝日や休日を JSON で返してくれる Holidays JP API というサービスがありますよね. holidays-jp.github.io すごく便利で有難いと思います. 今回は, ちょっとした時間が出来たので Holidays JP API と同様のレスポンスを返す Web サービスを API Gateway と S3 そして Python で作ってみました. 祝日や休日の情報を何処から取ってくるか 日本が滅びてしまう以外にはきっと無くならないであろう, 内閣府のサイトにて祝日と休日の情報が csv で公開されていますので, こちらを利用させて頂きます. (データの二次時利用等についての但し書きが確認出来なかった為, API で公開してしまっていますが, もし問題があればすぐ公開は中止します.) 国
AWS API Gateway+LambdaでSlackにメッセージをPOSTする(前編) - 年中アイス
Slackはincoming webhooksがあり、POSTするだけで、簡単にメッセージを送ることができます。 スクリプトで直接Incoming Webhook使ってもいいんですが、これ自体は別に認証も何もないので、誰かが知ってしまうと、好き放題投稿できます。そんな時に入れ替えたりする場合、いろんなスクリプトの設定に埋め込まれていて、方々に散っているのはちょっと辛いです。また、多言語環境の場合は、一定の処理を行う場合に各言語でライブラリ作るのもしんどいかなーということで、AWSのAPI Gateway + Lambdaを使って汎用化してみます。*1 Slackのteam、AWSアカウントはあるものとして、以下を行っていきます。 Slack Incoming Webhookの作成 AWS Lambdaでincoming Webhookを使う AWS API GatewayとLambdaを繋
静的な Web ページに API Gateway + Lambda + SES でお問い合わせフォームを設置する - Qiita
会社の公式ページやイベントの告知ページなど、静的ページなんだけど問い合わせフォームだけは欲しい というケースは少なくないと思う。そういうときに問い合わせフォームのためだけに動的な Web サイトを構築するのは手間もサーバ代も無駄にかかってしまってコスパが悪い。 一番簡単なのは Google フォームを埋め込むことだが、見た目をカスタマイズできないので場合によっては使えない。そこで今回は 問い合わせ用のエンドポイントを API Gateway + Lambda で作り、Lambda から SES を使ってメールを送信する ような仕組みを作る。 ちなみに API Gateway / Lambda / SES の概念や詳しい設定方法については記述しないので各自調べて欲しい。
JavaScriptのコードとService Workerをユーザーに近いCDNのエッジで実行可能。Cloudflareが「Cloudflare Workers」を提供開始
CDNプロバイダのCloudflareは、同社が提供するグローバルなコンテンツデリバリーネットワーク（CDN）のエッジにおいて、開発者がJavaScriptのコードを配置し実行できる新機能「Cloudflare Workers」の一般提供を開始したと発表しました。 Cloudflare Workersを利用すると、開発者はネットワークの向こう側にあるクラウドではなく、利用者にもっとも近いCDNのエッジに位置するCloudflareのデータセンター内でJavaScriptのコードを実行できるようになります。 これによってクライアントに対して非常に高速にレスポンスを返すことができ、広範囲に分散された高い冗長性を持つ分散システムが構築可能になります。 同社は日本を含む世界中に127のデータセンターを展開しています。 「クラウドの夢」、Cloudflare Workersでできること Cloudf
Rails + AWS でモバイルフレンドリーな動画配信サイト構築 - メドピア開発者ブログ
あけましておめでとうございます。 メドピアのSRE @kenzo0107 です。 2018年もよろしくお願いします。 今回は昨年リニューアルした動画配信システムについてです。 経緯 これまでのメドピアの動画配信は CloudFront 経由で S3 上の mp4 を video タグで参照し配信してました。 この配信方法では CloudFront でキャッシュしづらく 通信状況によってはファーストビューまでに時間が掛かり、サイト離脱へ繋がります。 また、直リンク禁止の動画の場合、 リファラチェック等をするかと思いますが 一部 IE Edge のバージョンで video タグでリファラ参照ができないという仕様があり*1 既存の仕組みをフロントから変える必要がありました。 以上の経緯から動画配信の仕組みを見直し要件を洗い出しました。 要件 動画は mp4 で納品される為、HLS形式へエンコード
AWS LambdaにGoサポートが入ったので使ってみた - blog::wnotes.net
ついにサポートされた（嬉しい） 急にリリースされたようなので早速使ってみた。 Hello, Lambda Go ドキュメントにもあるように、公式のSDKが配布されているので、それをimportして使えばいい。 package main import ( "fmt" "context" "github.com/aws/aws-lambda-go/lambda" ) func HelloWorld(ctx context.Context) (stringundefined error) { return "Helloundefined Lambda Go!"undefined nil } func main() { lambda.Start(HelloWorld) } これだけ。後はバイナリを生成してアップロードすればinvokeしてくれるんだけど、ちょっとだけ注意点が。 ハンドラ名とバイナリ
動画メディアの処理・保存・収益化のためのサービス群「AWS Media Services」がリリースされました！ #reinvent | DevelopersIO
動画メディアの処理・保存・収益化のためのサービス群「AWS Media Services」がリリースされました！ #reinvent 動画メディアのサービス群「AWS Media Services」とは AWS公式ブログにて、動画メディアの処理・保存・収益化のためのサービス群「AWS Media Services」のリリースが発表されました！ AWS Media Services – Process, Store, and Monetize Cloud-Based Video | AWS News Blog マネジメントコンソールのメニューにも表示されております。今日から利用可能です！ 動画コンテンツはWebでもモバイルでも効果が非常に高いコンテンツであることから、迅速に提供できる運用が求められています。AWS Media Servicesはまさにそれを叶えてくれる、画期的なサービス群と言
AWS AthenaでPartitionを作る - Qiita
BigQuery破産ならぬAthena破産 クエリでスキャンした容量毎に課金されるAthena。同じ課金方式（値段も一緒）のBigQueryでクエリの投げ方間違えて１００万円溶かしたなどの話は有名ですよね。 Athenaでも同じことが起こりうる、というのでとても怖いです。 ちょっとしたミスがとんでもないことになる。 そこまでビビらなくてもいいですが、 とはいえ、怖いのは怖いものです。 とはいえ、使わないというのもどうかと思います。 ので、BigQueryと同じく、パーティションを作ってちゃんとスキャンされる範囲を制限してクエリを実行すれば それなりに安全ということで、本家からも推奨されてます。 Athenaのパーティション EMRなどでHiveを使ってS3にごにょごにょしてたのであれば、すでにHiveフォーマットでパーティショニングできてることもあります。 が、 我々がよくAthenaで見
RedashでAmazon Athenaのクエリ結果をビジュアライズする | DevelopersIO
Amazon Athenaのクエリ結果をチーム内で共有する場合、クエリ結果を表やグラフ形式でビジュアライズできると便利です。この場合Amazon Athena自身にはビジュアライズの機能がないため、他プロダクトの力を借りる形になります。 弊社ブログでもAmazon QuickSightとTableauでAmazon Athenaのクエリ結果をビジュアライズする方法が紹介されています。 【新機能】Amazon QuickSightがAmazon Athenaをサポート！ ｜ Developers.IO Tableau 10.3新機能：Amazon Athenaへ接続 #tableau ｜ Developers.IO OSSのプロダクトという観点では、Redashも有力な選択肢になるかと思います。 今回はこのRedashでAmazon Athenaに接続しクエリ結果をビジュアライズする方法をご
Amazon Athenaのパーティション追加めんどくさい - Qiita
みたいな感じでログを置いています。 Athenaを利用して軽く集計してみようかなーと思ったところ、パーティションを分ける必要がありました。 (分けないでも実行できるけど、よりお金かかるから分けたほうがいい） Hiveフォーマットに沿って格納されていれば簡単だけど、上記のように 20170824 だとそれぞれでAlter Tableを叩かないといけないのでめんどくさい・・・ ので、開始日と終了日を指定してわーっとAlter Table叩いてくれるShell Scriptを書きました。 #!/bin/sh STARTDATE=2016-11-01 ENDDATE=2020-10-31 CURRENTDATE=$STARTDATE while [ 1 ] ; do CURRENTYEAR=`date -d "$CURRENTDATE" "+%Y"` CURRENTMONTH=`date -d "
AWS SDKでSignatureDoesNotMatchがでたり、AWS CLIでRequestTimeTooSkewedがでた。原因はOS時刻遅れ - Qiita
AWS SDKでSignatureDoesNotMatchがでたり、AWS CLIでRequestTimeTooSkewedがでた。原因はOS時刻遅れaws-cliaws-sdk <?xml version="1.0"?><ErrorResponse xmlns="http://queue.amazonaws.com/doc/2012-11-05\ /"><Error><Type>Sender</Type><Code>SignatureDoesNotMatch</Code><Message>Signature ex\ pired: 20160521T123018Z is now earlier than 20160521T130541Z (20160521T132041Z - 15 \ min.)</Message><Detail/></Error><RequestId>2cfb54a3-
https://blog.craftz.dog/de8cba5e50a5
You can find (just about) anything on Medium — apparently even a page that doesn’t exist. Maybe these stories will take you somewhere new?
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ママリを支えるAmazonECS~Docker駆動でのサービス開発事例~
doruby.jp
Amazon Pollyを使って耳で本の推敲をする - Qiita
GitHub - faultline/faultline: Error tracking tool on AWS managed services.
今さら聞けないAWSによる監視の世界
