こんにちは、技術部SRグループの菅原です。 最近、Ninja650からNinja1000に乗り換えました。パワーがあるせいで３速発進・４速発進が平気でできてしまい、シフトワークがどんどん下手になっています。精進したいものです。 この記事では、Amazon RDS/Auroraをクローンするシステムを作った話を書きます。 Amazon RDS/Auroraをクローンするシステム サービス開発を行っていると、調査や検証でプロダクション環境で使われているデータベースが必要になることがあります。開発環境やステージング環境にもデータベースは存在するのですが、プロダクション環境のデータでしか再現しないバグの調査や、プロダクション環境のデータ量でのスキーマ変更の負荷の検証など、開発環境やステージング環境のデータベースではできない作業も多いです。しかし、オペレーションミスや個人情報へのアクセスを考えると、

「AWSを使って構築したお客さまの環境を日々運用していく中で、これまでさまざまな失敗を経験してきた」――アイレットの古屋啓介さん（クラウドインテグレーション事業部インフラエンジニア）は、クラウドインフラの運用管理者向けイベント「Cloud Operator Days Tokyo 2020」のセッションでこう明かした。 アイレットはクラウド専業のSIer。AWS（Amazon Web Services）のマネージドサービス「cloudpack」なども提供しているが、細かい仕様の見落としなどが原因で、cloudpackの運用でいくつかの“しくじり”があったという。 身に覚えのない170万円の高額請求がAWSから来た 古屋さんによると、特に印象に残っている失敗は4つ。その1つ目は「Amazon Athena」で170万円の請求が来たことだ。 AthenaはAWSが提供するPaaSで、オンラインス

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

Amazon Web Services ブログ [AWS Black Belt Online Seminar] AWSアカウント シングルサインオンの設計と運用 資料及び QA 公開 先日 (2020/07/22) 開催しました AWS Black Belt Online Seminar「AWSアカウント シングルサインオンの設計と運用」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200722 AWS Black Belt Online Seminar AWSアカウント シングルサインオンの設計と運用 AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. AWS Single Sign-On (SSO) のアクセス権限セットですが、IAM ロールやグループ、ポリシーとは独立したものという認識で正しいですか？AWS

AWS、独自開発したARMプロセッサ「Graviton 2」ベースのAmazon RDS MySQL/PostgreSQLをプレビュー開始。ARMはXeonを上回れるのか？ Amazon Web Services（AWS）は、MySQLやPostgreSQLなどのリレーショナルデータベースをマネージドサービスで提供するAmazon RDSにおいて、Graviton2プロセッサのインスタンスをベースにしたサービスをプレビューとして開始したと発表しました。 New #AWSLaunches! Amazon Personalize enhances Recommendation Filters with filtering on item metadata Announcing Preview for Amazon RDS M6g & R6g instance types, powered by

「AWS Community Builders」開始。AWSに関する情報発信やコミュニティへの貢献に情熱を持つ人をAWSが支援 Introducing AWS Community Builders: a global initiative which provides resources and mentorship to AWS builders who are passionate about sharing knowledge and connecting with the #AWSCommunity. https://t.co/caJ4HhUnbB pic.twitter.com/x1aHPtpY8W — Amazon Web Services (@awscloud) July 30, 2020 AWS Community Buildersの説明は、上記のツイートに簡潔にまとめられ

こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きなネクストモード株式会社の吉井 亮です。 日本国内においても多くのシステムがクラウド上で稼働していることと思います。 俊敏性、拡張性、従量課金、IaS、セキュリティなどクラウドのメリットを享受しやすい所謂 SoE で多くの実績があるように感じます。 ここ1~2年は、社内基幹システム・情報システム、SoR 系のシステムのクラウド移行が本格化してきたというのが肌感覚であります。 クラウドでのシステムインフラ構築は従来のようにゼロから非機能要件定義を行っていくものではなく、ベストプラクティスをまず実装して少しずつ微調整を行っていくものと考えています。とはいえ、システムごとの要件は予め明らかにしておくことがインフラ構築においても重要になります。 クラウド上では出来ること出来ないこと

Amazon Web Services ブログ 【和訳版が今月から公開！】AWSが加盟する欧州のクラウド推進団体CISPEが、クラウド調達時の仕様書作成に役立つハンドブックを作成しました ヨーロッパの業界団体であるCISPE (Cloud Infrastructure Services Providers in Europe) から『“Buying Cloud Services in the Public Sector”（パブリック・セクターにおけるクラウドサービスの買い方）』と題したハンドブックが公開されたことを以前の投稿でお知らせしておりました。 2020年7月に、CISPEのサイトにて「和訳版」が公開にいたりました。自由にダウンロードいただくことが可能です（こちらのリンクより）。 CISPEのミッションと、今回のハンドブックの狙い CISPEは、ヨーロッパの数百万の顧客にサービスを提

2020年度夏学期・システム情報学特論 "AWSを使ったクラウドコンピューティング入門"

こんにちは、ゲストブロガーの佐々木拓郎（@dkfj）です。小ネタシリーズの第二弾として、最初のAWSサービスは何かというAWS考古学の話をしてみましょう。 目次 目次 最初のAWSサービスは何？ S3より前に公開されていたSQS 歴史の闇に埋もれた最初の『Amazon Web Service』 結論 最初のAWSサービスは何？ 企業の公式サービスなので、最初のサービスを探すのは別に難しくはないのではと思うのではないでしょうか。実は、定義によって色々変わるので、これが意外に難しいのです。そんな中で多くの人が思い浮かぶのがEC2かS3ではないでしょうか？まず、そこの前後関係を見てみましょう。 2006年3月　Amazon Simple Storage Service（S3） 2006年8月　Amazon Elastic Compute Cloud（EC2） 実はEC2より先に、S3が出ています

はじめまして、2020年3月に中途入社したSREチームの @bayashiok です。 今回は入社後、Fargateでサーバレスバッチ基盤を構築した話を書いていきます。 目次 目次 経緯 Fargateを選んだ理由 1. リソースの見積もりがCPU/Memoryだけですむ 2.スケーリングを考えなくて良くなる 3. セキュリティレベルの向上につながり管理負荷が減る 現行システムで発生している問題点の解消 構成 FargateのトリガーとしてRundeckを採用 理由1： バッチ実行が行われる場所でログを見たかった 理由2： ジョブ失敗やSlack通知の仕組み、リトライ方法やジョブ連携などの作り込みを簡単にしたかった ecs-taskとの連携について デプロイ 1. wrapperコンテナのデプロイ 2. バッチのデプロイ Fargateタスク実行について 移行後の総括 よかった点 悪かった

「みんなのPython勉強会」は、Pythonを中心として、プログラミングを仕事、研究、趣味など、さまざまなシーンで生かす方法を一緒に学ぶ勉強会です。56回の今回は、サーバーサイドエンジニアをテーマに学びます。 AWSソリューションアーキテクトの西谷圭介氏が、前半ではサーバーレスについて説明しましたが、後半はいよいよその実行環境であるAWS Lambdaの基本について解説します。関連資料はこちら。 イベントドリブン 西谷圭介氏：Lambdaには、イベントドリブンという言葉があります。イベントドリブンをちょっと簡単に説明したいと思うんですが、Lambdaとかサーバーレスアプリケーションにおける非常に重要なキーワードなんですね。先ほどのサーバーレスのスタックに置き換えたときにLambdaというものがようやく出てきたんですが、このイベントドリブンをキーワードにしたサービスと言えます。 イベントド

こんにちは！店舗開発チームの滝口です。 ぐるなびでは、認証・認可のプラットフォーム開発に携わったのち、現在はレストランデータの運用をしつつ、ぐるなび掲載ページや、店舗向け管理画面の開発をしています。 はじめに このたび、オンプレで稼働していた「非構造化データストレージ（通称：UDS）」をAWSに移行しました。 UDS は NAS に保存されているファイルを REST API を介して CRUD 操作できるシステムで、ぐるなびで掲載している店舗の画像や CSS 、Javascript 等の保存に利用されています。 この記事では NAS に保存されたファイルをどのようにして AWS に移行したのか、その移行方式や AWS アーキテクチャを紹介します。 目次 はじめに 目次 UDS 基本情報 今回使った主な AWS AWS を活用して実現したいこと AWS 導入におけるアーキテクチャ AWS へ

個人的、Kubernetes の最新注目機能！ (2024年5月版) / TechFeed Experts Night#28 〜 コンテナ技術最前線

TL;DR eksctlを使うときはライフサイクルを意識しましょう VPC周り クラスタやIAM（ALB） アプリケーション（ALB） eksctlとは eksctlはWeaveworksとAWSが共同で開発を進めているEKSを管理するための公式ツールである。 リポジトリ github.com ドキュメント eksctl.io ここでは詳しく解説しないが、とても便利でコマンド一発でなんとなくK8sクラスタが立ち上がる。 また、公式ツールであるがゆえにEKSのアップデートに対する追従も早く、EKSのほとんどの機能に対応している。 EKSを触ったことがある人なら一度は触ったことはあると思うし、聞いたことはあると思う。 eksctlは難しいという話（前置き） eksctlでは config.yaml というファイルでEKSに必要な設定を管理することができる。 ざっとあげつらねるだけでこのくらいは

ECSの運用において作成しなければならない膨大なAWSリソースを劇的に簡単なコマンドでまるっと作成〜運用〜管理できるコマンドラインツールCopilotの紹介です。 「いざECSの運用はじめようとしても、作らないといけないものめっちゃあるよなぁ。正直しんどい…」 ECS環境の構築って考慮が必要な項目ってものすごく多いんですよね。ネットワーク関連、ロードバランサー、リポジトリ、データベース、ECSそのもの、さらにそれをデプロイするためのパイプラインやデプロイ設定。 そんな辛さを一気に解消するAWS Copilotが発表されました！ AWS Copilot のご紹介 | Amazon Web Services ブログ 英語のブログ記事と同じタイミングで日本語がでるとは、toriの人も相当気合が入ってますね！ Amazon ECS でのコンテナ実行に新たな体験を提供する AWS Copilot の

Serverless Web Hosting Strategy
For Modern Front-end Application

米Amazon Web Servicesは、コードを変更することなくオンプレミスやAmazon Elastic Compute Cloud（EC2）、または他のクラウドで実行されているアプリケーションをコンテナ化する際に役立つコマンドラインツール「AWS App2Container」を、6月30日（現地時間）にリリースした。 「AWS App2Container」は、サーバで実行されているアプリケーションを検出し、依存関係を識別してAmazon ECSおよびAmazon EKSへのシームレスなデプロイに関連するアーティファクトを生成する。さらに、AWS CodeBuildとAWS CodeDeployを組み合わせることで、コンテナアプリのデプロイを可能にする。 アプリケーションのコンポーネントごとに、アプリケーションファイル／フォルダ、Dockerファイル、Amazon Elastic C

はじめに 皆さんこんにちは。石橋です。先日AWS認定試験のアソシエイトレベル3つの試験に合格し、プロフェッショナルレベルの学習をはじめました。 今回は、先日6/27に発売された日本初のAWS認定試験プロフェッショナルレベルに対応した書籍である、『AWS認定ソリューションアーキテクト -プロフェッショナル　試験特性から導き出した演習問題と詳細解説』を購入し、読ませて頂きましたので、レビューをさせて頂きます。 『AWS認定ソリューションアーキテクト -プロフェッショナル　試験特性から導き出した演習問題と詳細解説』 そもそもAWS認定試験とは AWS認定資格とは、AWS上で構築/開発/運用などの技術的な専門知識を問うAWS公式の資格です。 資格は現在12種類存在します。 Foundational, Associate, Professionalの順に難易度が高くなり、Specialiyはその名の