【レポート】楽天の大規模決済システムを支えるAWSアーキテクチャ #AWSSummit | DevelopersIO
DA事業本部の春田です。 AWS Summit Online絶賛開催中！ということで、本記事では「CUS-65: ペイメントプラットフォームにおける AWS の活用」の内容についてまとめていきます。 セッション情報 楽天株式会社 グローバルテクノロジー統括部 國谷 彩 氏 AWS上でのPayment Platformシステムの歴史についてお伝えします。AWSへ移行してからこれまでの課題と解決方法について説明します。 ※セッション動画は以下リンク アジェンダ 楽天グループについて ペイメントプラットフォームについて ペイメントプラットフォームにおけるアマゾンウェブサービス（AWS）の歴史 楽天グループについて Eコマースのサービス「楽天市場」をはじめ、Fintech事業やエンターテイメント事業まで、さまざまなビジネスを展開 各サービスが楽天共通IDで繋がることで、サービスを跨いだグループシナ
Amazon Fraud Detectorが本日GAになりました！ | DevelopersIO
昨年(2019年)のre:Inventでプレビュー版として発表されたAmazon Fraud Detectorが本日から晴れて一般利用できるようになりました！！ 概要は上記のブログに書かれていますが簡単に説明すると、オンラインのカード不正利用や偽アカウントなどの詐欺行為を機械学習モデルを使って検出できるマネージドサービスです。 早速試してみたいと思います！ 試してみた なお、東京リージョンではまだ使えないので今日はバージニアリージョンで試します。 不正を評価するイベントを定義 履歴イベントデータセットをAmazon S3にアップロードし、不正検出モデルタイプを選択 履歴データを使用してカスタムモデルを構築する。 アルゴリズムを選択し、モデルをトレーニングして調整、モデルをホストする モデルの予測に基づいて、情報の受け入れ、確認、または収集するためのルールを作成 Amazon Fraud D
CloudWatch Logs を文字列検知してログ内容をメールを送信してみた サブスクリプションフィルター版 | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 アプリケーションや OS のログファイルから特定の文字列をマッチし メール等で担当者へ通知する運用はクラウドにおいても必要です。 今回は CloudWatch Logs に出力しているログファイルから サブスクリプションを使用して特定文字列マッチを行い、SNS で通知する方法を試してみます。 2021年4月13日 更新 Lambda 関数の Python コードを修正しました。 以前のコードですと複数回イベントが発生した際に初回イベントしか通知されないと問題がありました。 ループ処理を加えることより複数回のイベントを取得できるように修正しました。 以前のコードをご利用頂いている方は大変お手数ですがコード修正をお願いします。 構成 ログの流れは以下の通りです
CloudWatch LogsメトリクスフィルターでWバイト文字（日本語）のアラーム通知 | DevelopersIO
CloudWatch LogsメトリクスフィルターでWバイト文字（日本語）を指定することが可能です。ドキュメントの通りですが、アルファベット文字以外を利用する際は、二重引用符（""）で囲む必要があります。 アルファベット文字およびアンダースコア以外の文字を含むメトリクスフィルターの語句は二重引用符 ("") で囲む必要があります。 フィルターとパターンの構文 本エントリでは、CloudWatch Alarm含むメトリクスフィルターの作成手順と、実際にWバイト文字をロギングしてアラーム通知（メール）を実施してみたいと思います。ここでは、CloudWatch LogsへのロギングにLambda Functionを利用します。 構成 Lambda Function CloudWatch LogsにロギングするためのLambda Functionを作成します。ここではランタイムにPython 3.
Terraformのエッセンスが凝縮された「Pragmatic Terraform on AWS」が素晴らしい | DevelopersIO
「Terraform触りたい。触りたくない？」 クラスメソッドには、「CloudFormation派」と「Terraform派」があり、それぞれの派閥間には微妙な緊張感が漂っています。 自分は、ここ半年ほどずっぽりCloudFormationを使ってたんですが、Terraform派の「いやぁ、扱いやすいですよこれ」という言葉を聞くにつれ「まじか、どないなもんやねん？」と思ってました。 ただね、おっちゃんになると全くの未知の領域を学ぶのも腰が重くなる。「なんか良い本無いかなぁ」とグダグダしてたときに、「Pragmatic Terraform on AWS」という、もう、AWSど真ん中の自分にはこれしかないやろという本が技術書典で発売されたと知って、秒で購入しました。 最高でした。 Terraform入門本きたか…!! ( ﾟдﾟ) ｶﾞﾀｯ / ヾ ＿_L| /￣￣￣/＿ ＼/ /
【docker buildのマニアックすぎる狂宴】Container Build Meetup #1に参加してきた #container_build | DevelopersIO
「あぁ、この人たち、すっごい楽しそうにマニアックな話するなぁ」 このイベントに参加しながら、ハマコーずっとそんなことを考えてました。 Container Build Meetup #1 - connpass Docker Buildだけがテーマという、すげぇフォーカスを絞りまくった勉強会だったんですが、絞り方が絶妙だったのか、参加者の熱もアツく質疑応答も盛況だったので、そのレポートをお届けいたします。技術的にも、旬のDocker界隈の話がてんこ盛りで参考になりました。 container buildきたか…!! ( ﾟдﾟ) ｶﾞﾀｯ / ヾ ＿_L| /￣￣￣/＿ ＼/ / 登壇者一覧 タイトル スピーカー Better Docker Image 登壇者はおりさの(@orisano)さん。 良いDockerイメージを作るには２つのアプローチがある。 どのように速くするか どのよう
Docker漬けの一日を共に〜Docker Meetup Tokyo #23 レポート〜 #dockertokyo | DevelopersIO
皆さん、最近マルチクラウドという単語を耳にすることも増えたかと思いますが、どういったイメージをお持ちでしょうか。代表的なユースケースを上げてみようかと思います。 Content Distribution Compute Bursting Analytics Long-term Archival / cold storage そういたユースケースに対して、Zenkoでは、マルチクラウドデータコントローラーを提供しています。 Zenko CloudServer - Open Source S3 Server written in Node.js Single Interface to any Cloud 単一のS3 APIを利用して、数多のクラウドに接続 Allow reuse in the Cloud クラウドネィティブなフォーマットを維持 Always know your data and
【小ネタ】CircleCIのManual Approvalを利用したシンプルなブランチ/タグ運用 | DevelopersIO
はじめに こんにちは、中山です。 私が現在関わっている案件ではCircleCIを利用してAWS SAMで管理されたサーバーレスアプリケーションのCI/CDを整えています。ご存じの方も多いかと思いますが、CircleCIは去年2.0を発表しその機能を大きくアップデートしてくれました。Dockerを全面的に取り入れたアーキテクチャに変わっていたり、ローカルでの実行などもサポートされ日々便利に使っています。 今回は、そんなアップデートの内Manual Approvalについてご紹介したいと思います。この機能はワークフローに静止点を作ってくれるものなのですが、これを応用して複雑になっていたブランチ/タグ運用をシンプルにできた事例についてご紹介します。 今までの課題 私が関わっている案件ではGitのブランチ運用をGitHubフローにしています。つまり、フィーチャーブランチを master ブランチか
CloudFrontログをCloudWatch Logsに流してターミナルで確認してみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 突然ですが、CloudFrontのログをどうやって確認していますか？ CloudFrontのログはS3にgzip形式で出力されるので、 ファイルをローカルに落としてきて、ツールに入れて確認や、 EMRやAthenaを使って確認などいろいろ方法がありますが、 手間がかかったり、すこし大げさな感じがしています。 個人的にはターミナルでパイプでつないでgrepやawkとかで確認できたらいいなと思っていました。 そんな中、社内のAWSのプロ達にきいたところ良さそうな方法を教えてもらったのでブログにしてみたいと思います。 簡単に要点をまとめると Serverless FrameworkでS3上のgzipを読み取りCloudWatch Logsに出力するLambda関数を作る S3（CloudFrontログ出力先）にログファイルがおかれたら、Lambdaを実行され
AWS SAM/CircleCI/LocalStackを利用した実践的なCI/CD – ClassmethodサーバーレスAdvent Calendar 2017 #serverless #adventcalendar #reinvent | DevelopersIO
AWS SAM/CircleCI/LocalStackを利用した実践的なCI/CD – ClassmethodサーバーレスAdvent Calendar 2017 #serverless #adventcalendar #reinvent はじめに こんにちは、中山です。 このエントリはServerless Advent Calendar 2017 10日目の記事です。 今回はAWS SAM/CircleCI/LocalStackを利用した 実践的 なCI/CDをご紹介したいと思います。 実践的 とは、もし私が新規でサーバーレスアプリケーションを構築するのであればこういったCI/CD環境を整えるという意味です。つまり、現時点での私の考えをまとめてみました。まだまだ改善点もあるのですが現状こういった方式であればうまくいくのではないかと思っています。 本エントリではサーバーレスアプリケーション
Lambda@Edge で URLパスを書き換える | DevelopersIO
こんばんは、藤本です。 Lambda@Edge を公式ドキュメントに記載されたユースケース以外でどう使うのかいまいちピンとこなかったので、具体例を考えてみました。 ユースケースの公式ドキュメントは下記をご参照ください。 Lambda@Edge のユースケース Lambda@Edgeは現在プレビュー段階のため、利用には事前に申請が必要です。また、正式リリース時にサービス仕様が変更される可能性があることをご承知おきください。 AWS Lambda@Edge AWS Lambda@Edge はエッジロケーションで Lambda Function を実行できる機能です。現在は CloudFront へのイベントをトリガーに Lambda Function を実行できます。現在対応しているイベントは下記 4種類となります。 リクエストが最初にビューアから届いたとき (ビューアリクエスト)。 Lamb
[AWS]CLBからALBへ移行してコストを安くする[ELB] | DevelopersIO
コンニチは、千葉です。 ELBは2017年10月現在3種類あります。 Classic Load Balancer(CLB) Application Load Balancer(ALB) Network Load Balancer(NLB) ALBとNLBが出たため、CLBは旧世代のロードバランサーと位置付けられています。昔から利用している方の中で、現在もCLBを利用している方がいるかと思いますが、ALBへの移行モチベーションを整理したのでこれを機に検討してみてください。 もしかしたらALBへ移行することでコストが安くなるかも？ 因みにこのネタは、ある方からいただきました。ご査収ください！ ※ALBはHTTP/HTTPSを喋りますのでご注意ください。(TCPが必要な場合はNLBへ移行を検討ですね) ALBへ移行するモチベーション CLBからALBへ移行するモチベーションは以下となります。 ロ
![[AWS]CLBからALBへ移行してコストを安くする[ELB] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b87e732c82c8791fc86eac4689996b0481f8d3db/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F02%2Felb.png)
WordPressのSNSシェア数集計システムをサーバーレスで構築しました | DevelopersIO
WordPressのSNSシェア数をサーバーレスで集計する このたび、本ブログ「Developers.IO」の各記事のSNSシェア数の集計システムを刷新しました。 結果としてサーバーレスで非同期に集計しキャッシュさせることで安定・高速・即時を実現できました。この記事では、どのようなシステムを構築したのかご紹介したいと思います。 具体的には、下図の場所の数値の集計を独自システム化しています。 【課題】 キャッシュを強めながら、SNSシェア数を更新したい まずは、なぜSNSシェア数集計システムを刷新することになったのか、背景をお話ししたいと思います。 とにかくキャッシュを強めたい Developers.IO は、記事数の多さが特長の技術ブログです。先日はついに記事総数10,000本を達成し、いまもなお新しい記事が増え続けています。 記事数が増えるということは、それだけアクセス数が増えるというこ
[AWS]ECSとALBを使ったパスに従ったルーティング | DevelopersIO
コンニチハ、千葉です。 ALBのパスベースルーティングを利用すると、URLに従ったターゲットグループ(インスタンスのグループ)へルーティングできます。ECSも、こちらのパスベースルーティングに対応しているため試して見ました。 【新機能】新しいロードバランサー Application Load Balancer（ALB）が発表されました メリット 振り分けのイメージです。 このように1つのALB、1つのECSクラスター上で、ECSサービス(コンテナ群)に対しパスルーティングを行えます。これの応用ですが、以下のような構成も可能です。 Classicロードバランサー時代アプリケーションを分けるには、アプリケーションごとにロードバランサーを用意する、または1つのロードバランサーとアプリケーションごとにポートを用意するという構成しかありませんでした。 大きなメリットしてALBでは、ロードバランサー1
![[AWS]ECSとALBを使ったパスに従ったルーティング | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/abb87ede670b971b5e51e6dedee79f62c4c38647/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2015%2F07%2Famazon_ecs.png)
【AWS】CloudFormationの作成ノウハウをまとめた社内向け資料を公開してみる | DevelopersIO
はじめに こんにちは植木和樹です。5月にクラスメソッドに入社してから毎日CloudFormationと戯れる日々を過ごして来ました。クラスメソッドのAWSエンジニアにとってCloudFormationが必須技術になりつつあるので、これまでに溜め込んだノウハウ社内向け資料としてまとめてみました。せっかくなのでこれからCloudFormationを始める方向けに公開してみようと思います。 スタックに関するノウハウ スタック内リソースの「破棄」タイミングを合わせる CloudFormationというとEC2やRDSをバッチ的に「構築」する機能に着目しがちです。しかし当然のことながら一度作ったスタックをDELETEすることもあります。その際に削除して欲しくないリソースもまとめて消されてしまうことを想定しておきましょう。 たとえばEC2を作成したスタックの中に、EIP（グローバルIP）が含まれていた
AWS Elastic Beanstalk(EB)とAWS Application Load Balancer(ALB)を使って、1インスタンスに複数サイトを構築してみた | DevelopersIO
AWS Elastic Beanstalk(EB)とAWS Application Load Balancer(ALB)を使って、1インスタンスに複数サイトを構築してみた コンニチハ、千葉です。 AWS Elastic BeanstalkとAWS Application Load Balancerを使って、1インスタンスに複数サイトを構築してみました。 重要ではないサイト、例えば社内用のサイトは1インスタンスでコスト圧縮したいぜぃのようなことがあるかと思いますので試してみました。 構成 試したのは以下の構成となります。 EBに複数サイトを構成し、ALBのルールによってポートへの振り分けを行ってみました。 ※今回は、ALBメインでお話するのでEBのアプリケーションの構成方法についてはふれません やってみた デプロイファイルの準備 今回はALBについてのみふれます。まずは、任意のアプリケーショ
CuratorによるElasticsearchのメンテナンス | DevelopersIO
はじめに ボルダリングやりたい藤本です。 Elasticsearch（Elasticsearchに限らずデータストア）を運用するにあたり可用性確保、バックアップ／リストア、リソース管理、保守体制など設計することが多くあります。今回はElasticsearchの運用を簡易化してくれるCuratorというツールをご紹介します。 Elastic社の@johtaniさんが公式ブログの翻訳記事をエントリしていますので合わせてご参照ください。 - Curator: 時系列インデックスの管理(日本語訳) Curator CuratorはElastic社が提供するPython実装の運用支援ツールです。2016/06/07現在は3.5系が最新バージョンですが、APIがElasticsearch 0.9/1.x系用に実装されています。現在α版の4.0系からElasticsearch 2.0以降をサポートしてい
CircleCI+ECS+ECR環境でDockerコンテナのCD(継続的デプロイ)環境を構築する -前編- | DevelopersIO
コンニチハ、最近Dockerを沢山使っている千葉です。今回はDockerを使った継続的インテグレーションやデプロイを試してみました。 継続的インテグレーションは一度導入すると破壊力抜群でとても効率的な開発ができるようになるため、これを機会に試してみたいと思います！ CircleCI+ECS+ECR環境を使ってDockerコンテナを継続的デプロイする環境を作ってみました。初めての方でも雰囲気つかめるように、ECR,ECSのセットアップからCircleCIのセットアップまで一通りやろうと思います！ 動作としては以下のようになります。図にするとこんな感じです。 GitHub上にECRへのデプロイ用のシェル、CircleCI用の設定ファイル、Dockerfile、コンテンツ(index.html)をpushする GitHubへのpushをトリガーに、CircleCI上でDockerfileよりコン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
