EC2 上でのコマンド実行結果を Slack で確認するまでの旅路【キャッキャウフフ会 / 後編】 - okadato の雑記帳
この記事は スタディストアドベントカレンダー 2019 9日目の記事です。 二枠連続で投稿する機会を得ましたので、業務の中のとある取り組みについて、前後編に分けてご紹介したいと思います。 さて前編ではキャッキャウフフ会の発足の経緯と最終的なゴールの解説をしました。 後編となる今回は実装上の詰まりポイントや、キャッキャウフフ会がなぜうまく回っているのかについて、メンバーで振り返りを実施した結果についてまとめます！ と、その前にまずはゴールの再掲から。 アーキテクチャ図再掲 会の活動実績を改めて振り返ったところ、上記の流れを一通り実装しきるまでの活動としては全 3 回 開催されていました（その他にもいろいろなテーマで活動しているので、機会があったら改めてご紹介します！） というわけで各回のゴール設定とつまずきポイントについてご説明〜 第 1 回： Hello AWS World ! まずは導入
社内slackにVIPチャンネルを作った話 - Qiita
ABEJA Advent Calendarの1日目です。 はじめに 昨年はABEJA Platformに関するAdvent Calendarでしたが、今年はプラットフォームに限らず幅広い技術を扱おう、ということで縛りを作らずに様々な技術を紹介していきます。 さて、皆さん、社内でのコミュニケーションツールは何をお使いでしょうか。色々なツールがあると思いますが、Slackを使っている所が多いのではないかと思います。Slackはとても良いツールなのですが、使いこなす会社側にその運用ルールが委ねられています。中でも、DMやプライベートチャンネルでの秘密の会話による情報格差などが発生することが問題になり、オープンチャンネルに限定している会社も多いのではないでしょうか。しかしながら、オープンに会話をすれば、皆が平等かつ平和に会話ができるか？というと、全くそんなことはありません。オープンにすると下記のよ
Amazon CloudWatch ServiceLens を使用して高度に分散化されたアプリケーションを視覚化して監視する | Amazon Web Services
Amazon Web Services ブログ Amazon CloudWatch ServiceLens を使用して高度に分散化されたアプリケーションを視覚化して監視する 数千のメトリックとテラバイトのログをもつ、ますます分散するアプリケーションは、視覚化と監視が課題になる場合があります。アプリケーションとその依存関係のエンドツーエンドのインサイトを得て、パフォーマンスのボトルネック、運用上の問題、顧客への影響を迅速に特定できるようにするためには、多くの場合、それぞれ情報の特定のファセットを提示する複数の専用ツールを使用する必要があります。これは代わりに、データの取り込みがより複雑になり、さまざまなインサイトを手作業でつなぎ合わせて、全体的なパフォーマンスを判別し、複数のソリューションを維持するコストが増加します。 本日発表された Amazon CloudWatch ServiceLen
AWS LambdaがJava 11のサポートを開始。AWS独自OpenJDKディストリビューションの「Amazon Corretto 11」ベース
AWS LambdaがJava 11のサポートを開始。AWS独自OpenJDKディストリビューションの「Amazon Corretto 11」ベース 以前からAWS LambdaはJava 8をサポートしています。2014年3月に登場したJava 8は、オラクルによる無償サポートが2019年1月に終了しています（個人利用においては2020年12月まで、有償での企業向けサポートは2025年3月まで）。 今回サポートされたJava 11は2018年9月に登場した、Java 8以来4年半ぶりのLTS（Long Term Support：長期サポート）対象バージョンです。 現時点ですでにJavaの最新バージョンは9月にリリースされた「Java 13」まで進んでいますが、LTSは3年ごとにしかリリースされないため、Java 11がLTSの最新版です。ちなみに次のLTSは2021年9月に登場するJav
PlantUMLによってコードベースでAWSのアーキテクチャー図を作る方法 - Qiita
AWS上にサービスを構築するうえで、アーキテクチャー図を作る機会はままあるかと思います。 その際、draw.ioやCacooなどのウェブサービスで作っている人も多いのではないでしょうか。 今回は別のアプローチとして、PlantUMLによってコードベースでAWSのアーキテクチャー図を作る方法をご紹介します。 PlantUMLの実行環境を用意 まずは、PlantUMLの実行環境を用意します。 ローカル環境にインストールするのもいいですが、素早く試したい場合はPlantUML Web Serverを使うのが便利です。 AWSのアイコンセットを用意 PlantUMLでは、ファイルパスやURLを指定してリソースをインポートすることができます。 これにより自作の画像を組み込むことができるわけですが、ありがたいことにAWSが公式にPlantUMLのためのアイコンセットを配布しています。 awslabs/
Amazon Athenaの新しいフェデレーテッド・クエリによる複数データソースの検索 | Amazon Web Services
Amazon Web Services ブログ Amazon Athenaの新しいフェデレーテッド・クエリによる複数データソースの検索 現在、企業は構築するアプリケーションに最適にフィットした複数のデータストアを利用しています。例えば、ソーシャルネットワークアプリケーションを構築するような場合は、リレーショナルデータベースよりは Amazon Neptune のようなグラフデータベースの方が多くのケースで最適です。同様に頻繁な反復処理(fast iterations)のために柔軟なスキーマが求められるワークロードには、 Amazon DocumentDB (with MongoDB compatibility) がより適しているでしょう。Amazon.com のCTO/VPである Werner Vogels が述べているように、「複数の明確に異なる要件を満たすことが出来る単一のデータベース
[アップデート] Lambda イベントソースに FIFO キューが指定できるようになりました | DevelopersIO
関数の内容については、大栗の記事同様に以下のとおり設定しました。 from __future__ import print_function def lambda_handler(event, context): for record in event['Records']: print ("test") payload=record["body"] print(str(payload)) 次にイベントトリガーを設定します。「トリガーを追加」をクリックします。 トリガーに「SQS」を選択し、事前に作成しておいた FIFO キューを指定します。（記憶がうろ覚えですが、以前はここの選択対象に FIFO キューは表示されなかったと思います）。バッチサイズは 5 で検証してみました。 これで FIFO キューをトリガーとした Lambda 関数がセットできました。次にキューにメッセージを投入して、
![[アップデート] Lambda イベントソースに FIFO キューが指定できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/25fe5c76b0259f67cfbb0286bc1fd48c715f810f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-lambda.png)
lambroll と bash layer で気軽に Lambda shell script を実行する - 酒日記 はてな支店
先日えいやと書いた AWS Lambda のデプロイツール lambroll ですが、これと公開済みの bash layer を使うとかなり気軽に(雑な) shell script を Lambda で実行できて体験がよかったので書いておきます。 AWS Lambda のミニマルなデプロイツール lambroll を書いた - 酒日記 はてな支店 ちょっとしたものをLambdaで書くの億劫さのほうが強かったけど、bash layerとlambrollを使ったら雑shell scriptをホストで書いてるのに近い感じになり、顧客が本当にほしかったもの感があるなこれ— fujiwara (@fujiwara) 2019年11月13日 今回はとある理由で ECS のサービス内のタスクを定期的に入れ換えたかったので、aws ecs update-service を一発実行する、という要件。やりたい
AWS Lambdaのアプリケーション作成を使ってCI/CDパイプラインを一気に構築 - Qiita
AWS Lambdaのアプリケーション作成とは AWS Lambdaのアプリケーション作成機能を利用してLambda関数を作成すると、Lambda関数自体の他に Lambda関数のソースコード等を管理するGitリポジトリとしてCodeCommit CodeCommitのmasterブランチの更新を契機にLambda関数へのデプロイを行うCodePipeline 等々、CI/CDパイプライン実現のためのAWSリソースが同時に作成されます。 Lambda関数自体は手軽に作ったものの、次のステップとしてCI/CD環境を構築するのは腰が重く、ソースの更新はマネジメントコンソール上で実施している・・・といったケースを改善するアプローチとして、このようなCI/CD環境をセットで構築する機能がリリースされたそうです。 Lambdaのマネジメントコンソール画面では、これらAWSリソースをアプリケーションと
Serverless Days Tokyo 2019 トヨタ自動車・ダイキン工業 事例覚書 - Qiita
Serverless Days Tokyoに参加してきました。いずれも興味深い内容ばかりでしたが、ダイキン工業とトヨタのIoTシステムの中の話は、こういう機会でもなければ聞けない話でかなり貴重な話を聞けた感がありました。 その内容をメモったので残しておきます。 入り口の様子。 会場の様子。休みの日の朝9時からというのに、ほぼ満席な感じでした。 ダイキン工業：空調設備向けIoTシステムにおけるランニングコスト ダイキン工業は、全世界の空調機（エアコン等）をインターネットに繋いで、販売、運用、保守、施工に対するサービスを提供する。 システム名は「Daikin Global Network（ダイキン・グローバルネットワーク）」 想定接続台数は500万台。各空調機が1分ごとにデータをサーバーにあげる。 想定ユーザー数は30万人。 無限に発生するデータを格納できるストレージが必要。 断固としてデータ
CloudWatch専用の通知bot、marbotを使ってみた - Qiita
CloudWatchのslack連携というとLambdaでpostが鉄板ですが、より良くしようとするとLambdaをメンテしていく必要があります。 メッセージを視覚的に良くするならslackのattachmentsなどで工夫が必要だし、用途別に通知を分けるとかなると、Lambdaに分岐書いたりとかLambdaをコピペしたりなど。。。 たまたま、marbotというCloudWatchの専用botを見つけ、試しに導入してみたら結構イイ感じだったのでその紹介です。 marbotについて 公式サイト - marbot CloudWatch専用の通知botで、アラートのslack通知や簡易的なエスカレーションがあります。 今のところは有料プランはなく、費用ゼロで使用できます。 AWSのChatbotコンテストで入賞してたみたいです。 https://aws.amazon.com/jp/blogs/n
コンテナフレンドリーではなかったRailsアプリケーションをDocker(ECS)に移行するまでの戦い - クラウドワークス エンジニアブログ
はじめに SREチームの @minamijoyo です。 先日 CrowdWorks (crowdworks.jp) の本番環境のRailsアプリケーションを Docker (AWS ECS: Elastic Container Service) に移行しました。 CrowdWorksは2012年にサービスを開始し、2019年10月現在、ユーザ数は300万人、月間で数億円規模のお仕事がやりとりされる、国内最大級のクラウドソーシングプラットフォームにまで成長しました。 サービスの規模拡大に合わせて、ソースコードも数十万行規模に成長し、 決して小さくはない規模のRailsアプリケーションに成長しました。 CrowdWorksの開発環境にDockerが導入されたのはもうかれこれ3年半前の2016年の4月頃、2017年1月頃にはCrowdWorks本体から切り出された一部の機能で本番環境に投入され
爆速でFargateをスケールさせる「aws-fargate-fast-autoscaler」を試してみた | DevelopersIO
CloudWatchだけでは実現できない超高速なFargateのスケール処理をCDKをつかったStep Functionsで実装しているリポジトリです。是非参考にしてみてください。 「Fargateをいかに早くスケールさせるか、そこに命をかけた男がいた…」 先日参加したセミナー（コンテナ好き4名がコンテナの魅力を喋り倒すJAWS-UGコンテナ支部に行ってきた）にそんな男がいたわけですが、その仕組を改めて動かす機会があったので、紹介します。 CloudWatchを利用しないStep Functionsを利用した爆速スケールの仕組み CDKによる環境一式のデプロイ という両面で非常に参考になるリポジトリです。そのあたり興味があるかたは是非一度この記事を読んでいただきながら皆さんの環境でためしていただきつつ、今後のStep Functionsの使い方やCDKのサンプルとして活用いただければと思い
東京リージョンでVPC Lambdaの高速起動が確認できたので改善効果を計測してみた | DevelopersIO
2019/9/16時点でAWSからはVPC Lambdaの改善適用完了のアナウンスはありません。 「なんか新アーキテクチャで起動してるっぽいから試しに測ってみるかー...」という程度のノリでの計測なので、アーキテクチャの段階移行の過程における一時的な計測結果として参考にするに留めて下さい。 実際にAWSから移行完了がアナウンスされる際は、今回の計測結果のような動作にならない可能性が高いことに留意して下さい CX事業本部＠大阪の岩田です。 先日公式にアナウンスされたVPC Lambdaのコールドスタート改善、数ヶ月かけて徐々に適用とのことでしたが、先ほど東京リージョンで新アーキテクチャでのVPC Lambda起動が確認できました。 【速報】もうアンチパターンとは呼ばせない！！VPC Lambdaのコールドスタート改善が正式アナウンスされました！！ VPC Lambdaのコールドスタートがどの
Lambda パフォーマンスチューニング | DevelopersIO
渡辺です。 そろそろ冬籠もりの準備をする季節です。 Developers.IO Cafe のインフラはLambdaを軸としたサーバレスアーキテクチャです。 Lambdaはサーバレスの中核として非常に使い勝手の良いサービスですが、制限と上手く向き合うことも必要です。 特にコールドスタートはパフォーマンスに直結する大きな課題です。 本エントリーでは、カフェのバックエンドLambdaで実施したパフォーマンスチューニングについて解説します。 コールドスタートとLambda Lambdaを扱う以上、 コールドスタート は避けられない問題です。 一般的に、サーバレスアーキテクチャでは、サービスが利用されていない時間帯は、コンピュータリソースを使わないように設計されています。 言い換えると、サービスが最初に利用される場合、サービスをスケールする場合、サービスがアップデートされた場合などに、 サービスが都
サーバーレスアーキテクチャ再考 - ゆううきブログ
2014年にAWS Lambdaが登場し、Functionを単位としてアプリケーションを実行する基盤をFunction as a Service(以下、FaaS)と呼ぶようになった。 そして、同時にサーバーレスアーキテクチャ、またはサーバーレスコンピューティングと呼ばれる新しいコンセプトが普及するに至った。 当初、そのコンセプトが一体何を示すかが定まっていなかったために議論が巻き起こり、今現在では一定の理解に着地し、議論が落ち着いているようにみえる。 しかし、サーバーレスという名付けが悪いということで議論が着地したようにみえていることにわずかに疑問を覚えたために、2019年の今、これらの流れを振り返ってみて、サーバーレスアーキテクチャとは何かを改めて考えてみる。 サーバーレスとの個人的関わり サーバーレスアーキテクチャという名を僕がはじめて耳にしたのはAWS Lambdaが登場した2015
AWS Lambda関数の起動時間を約10分の1に短縮、全リージョンに展開
AWS Lambda関数の起動時間を約10分の1に短縮、全リージョンに展開：Lambda関数がVPCに接続する方法を改善 Amazon Web Services（AWS）は、「AWS Lambda」関数が「Amazon VPC」に接続する方法を大幅に改善する新機能を提供開始した。これにより、ユーザーはAWS Lambda関数の起動時間が短縮するというメリットを享受できる。 Amazon Web Services（AWS）は2019年9月3日（米国時間）、AWS Lambda（Lambda）関数の起動パフォーマンスが大幅に向上したと発表した。「Elastic Network Interface」（ENI）をより効率的に利用したためだ。 「Amazon Virtual Private Cloud」（VPC）に接続する全ての既存の関数と新規の関数で効果がある。9月3日から徐々に新機能を展開し、今
【速報】もうアンチパターンとは呼ばせない！！VPC Lambdaのコールドスタート改善が正式アナウンスされました！！ | DevelopersIO
CX事業本部＠大阪の岩田です。 re:invent2018にてアナウンスされたVPC Lambdaの改善について、ついにAWSより公式のアナウンスがありました！！ Announcing improved VPC networking for AWS Lambda functions 今後数カ月に渡って全リージョンで徐々にローリングアップデートが掛かっていき、展開が完了したリージョンについては上記AWSのブログが更新されるとのことです。ユーザー側では特に変更操作など必要ありません。 今までのアーキテクチャ これまでのVPC LambdaはLambdaのサンドボックス環境を作成する際に、必要に応じてENIの作成&アタッチ処理を行なっていました。 ※上記AWSのブログより引用 このアーキテクチャは以下のような課題を抱えていました。 ENI作成を伴うコールドスタートにおいての非常に大きな遅延が発生
孤独でつらい機械学習データの作成を、ワイワイ楽しくする環境を3日で作る - Qiita
21世紀でもっともセクシーと言われるデータサイエンスは、18世紀を彷彿とさせる奴隷的な作業によって支えられています(要出典)。その作業とは、データを作る作業(=アノテーション)です。多くの場合、アノテーションは孤独な単調作業の繰り返しです。延々と続けていると、全ての単語にunkとつけるようになる事例も報告されています。つまりつらい！のです。 本記事では、「孤独で辛い」アノテーションを「みんなで楽しく」行える環境を作る方法を紹介します。そのポイントは以下3点です。 Easy: アノテーションを楽に Feedback: アノテーションした結果がすぐにわかるように Gamification: アノテーション結果をみんなで競い合う Overview アノテーションを行う流れは以下のようになります。 Annotation Tool for Easy: アノテーションを楽にするためのツールを用意 In
AWSのIAMユーザー管理簿を毎週自動でメール配信する - Qiita
はじめに どこの企業でもセキュリティ対策のためのガイドラインやチェックリストなどがあると思うが、例えばこんな要件があるとする。 アカウントやユーザーの発行/変更/削除の記録を管理簿にて管理すること。 AWSではロールやグループを割り当てたIAMユーザーが発行される。 監査やコンプライアンスの観点からIAMユーザー管理の証跡を残すことは重要だ。1 今回はこのIAMユーザーの管理簿作成を自動化してみる。 ざっくり言うと IAM認証情報レポートを毎週一回メールで自動配信するようにした2 CloudWatch/Lambda/SES/S3を組み合わせた 社内監査やコンプライアンスチェックのためにファイルを残すことが可能 具体的には下記のようなメールが送られてくる 対象とする人 堅めの企業でAWSのセキュリティを見ている人 特に社内のコンプライアンスチェックや監査目的でAWSのIAMユーザーのリストを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
