SREのたっち(@TatchNicolas)です。 今年のPyCon JPはオンライン開催でした。JX通信社はSilverスポンサーとして協賛したほか、イベントをより盛り上げるために、参加者の反応をリアルタイムに配信に反映するシステムを開発・提供しました。 jxpress.net アプリケーションはPythonで作られており、基盤としてGKEを採用しました。データ分析基盤や昨年の開発合宿等で社内向けのプロジェクトにKubernetesの採用した事例は過去にもあったのですが、今回はじめて社外向けのシステムに採用したので、その裏側について書いてみたいと思います。 できたもの 構成図 構成としては比較的シンプルだと思います。 基本的な処理はGKE上で行い、データの永続化はFirestoreを使っています。一部、ブラウザで動く運営向けフィード画面上の操作(いいね・リツイート)について、Fireba
DMARCレポートの可視化ダッシュボードを作りました - LIVESENSE ENGINEER BLOG
はじめに そもそもDMARCって何？ Googleの発表によってDMARC対応が必要に SaaSの検討 OSSの検討・選定 構成 動作 GmailからGoogle Driveへ格納する XMLをパースしてOpenSearchに格納する Google Driveからコンテナ内にダウンロードする パースと格納 可視化 苦労した点 Gmailの仕様とparsedmarcの相性が悪い OpenSearch突然データが全部消えた 作ってみてよかったこと 今後の運用 はじめに インフラGの鈴木です。ガールズケイリンアニメことリンカイ！の放映が近くなってきましたね。 最近小倉にギャンブル旅行にいったのですが、北九州競輪には等身大パネルがありました。本気(マジ)度が伝わってきます。アニメの放映日が楽しみです。 ところで、今回はDMARCの可視化基盤を作った話をします。なかなか大変1でしたので、共有したいと
こんにちは、コネヒト プラットフォームグループの@yosshiです。 昨今、円安の進行によりAWSのコスト増が無視できない状況となっています。 このような状況下で、コスト削減関連のイベントに注目が集まるなど、コスト削減への関心が徐々に高まってきているように感じます。 弊社でもさまざまな方法でコスト削減施策を進めており、今回はその一環で「ecrm」というツールを使用しECRイメージを削除した話をしたいと思います。 弊社では、コンテナのオーケストレーションにAmazon ECSを主に使用しています。 ECSにタスクをデプロイする場合は、イメージをビルドした上でAmazon ECRにpushし、そのECRのイメージを使用しタスクを起動しています。 ECRはイメージが増えれば増えるほど、容量に応じてコストがかかるので、この機会に対応したいと考えていました。 ECRで発生するコスト ECRではデータ
はじめに この記事ではECS(Fargate)のCDパイプラインに、DBマイグレーション処理を組み込む一例を解説します。 ECS(Fargate)へのデプロイは、ecspressoを使用します。 また、題材はLaravel、CIツールとしてはGitHub Actionsを使いますが、他のフレームワークや、CIツールでも考え方は応用できるかと思います。 目次 はじめに 目次 前提 DBマイグレーションを含む一連のデプロイの流れ DBマイグレーションの前に行うこと ワークフロー例 --watch-containerオプション --overridesオプション GitHub Actions実行結果(抜粋) 前提 本記事で取り扱うECSタスクでは、以下2つのコンテナが起動します。 nginxコンテナ。ベースイメージはnginx:1.20-alpine。 phpコンテナ(Laravelが稼働するコン
手法 いくつかあると思うが、今回の選択肢としては次が挙がった Public SubnetにEC2を構築し、そのEC2を経由してPrivate RDS（など）にアクセスする手法と、 ECS Fargate × SSMで構築し、ECSに対してSSM接続することでProxyとする手法。 Pros and Cons EC2 Pros（長所） 馴染みのEC2なので何かと情報が出回っており、直感で操作できる 構築難易度がECSに比べ低い。 Cons（短所） EC2 Fargateパターンに比べ、イケイケ感の低さや運用コスト（後述）の違いがある 運用担当者がEC2内にSSHユーザーの設定をユーザー毎に行わなくてはいけない sshのkey pairをどう管理するのか問題が控えている ECS(Fargate) Pros（長所） まず、イケている。 運用担当者はSSHユーザーの作成不要で、IAMユーザーさえ作
ecspresso+ecschedule+lambrollでCI/CDを作った話 - トラストバンクテックブログ
前回の記事から間が空いてしまいました、SREのbutadoraです。 年末に向けた準備で忙しなくしているこの頃です。 今回はとある環境で実装したCI/CDのフローを紹介したいと思います。 今回のサービスアーキテクチャ 今回はPHP製WEBサービスをデプロイする環境が必要ということで、以下の様な設計としました。 WEBサービス本体 → ALB+ECS+RDS 定時バッチサービス → ECS (Task Scheduler)+RDS ファイル設置をトリガーにしたバッチサービス → S3+Lambda(コンテナイメージ)+RDS CI/CD 簡単な構成図はこんな感じです。 大きなポイントとしては、タイトルにある3種の各デプロイツールを組み合わせることで、開発側のリソース管理を切り出しているところです。 弊社ではAWSリソースの管理をTerraformで行っていますが、図にあるようなリソースまで管
[レポート]サーバレスアプリケーションのコツ総ざらえ！(SVS401-R Optimizing your serverless applications) #reinvent | DevelopersIO
[レポート]サーバレスアプリケーションのコツ総ざらえ！(SVS401-R Optimizing your serverless applications) #reinvent 「サーバーレスアーキテクチャのフルパワーを解き放つ便利なガイド、欲しくない？」 って言われたらそりゃ欲しいですよね！これはこのセッションの紹介文にあった一節です。この言葉に釣られて参加したセッションのレポートをお届けします。「まだre:Inventの話してるのかよ！」とツッコまれたあなた、おっしゃるとおりです。ですが二ヶ月ほど経った今でも十分有用な情報ばかりなのでぜひご一読いただければと思います。紹介文に偽りはなかったです！ セッションタイトル SVS401-R1 - [REPEAT 1] Optimizing your serverless applications セッション概要 あなたは経験豊富なサーバーレス開
![[レポート]サーバレスアプリケーションのコツ総ざらえ！(SVS401-R Optimizing your serverless applications) #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f229d9254bb6a1cbfbc11a651d6a88b228d4b2fe/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F02%2Fopt-eyecatch1.png)
ハンズオンの「腹落ち問題」を改善する 5 Tips - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
builders.flash 読者の皆さん ! こんにちは ! シニアテクニカルトレーナーの吉田慶章です。 2020 年 9 月までは「技術用語を比喩から学ぼう !」という記事を連載していました。 皆さんは「ハンズオン」を実施したときに「問題なく動いた・・・! だけど・・・! なぜ動いているのかはわからない・・・!」と感じた経験はありませんか ? 私はこういう状態のことを「腹落ち問題」と個人的に呼んでいます。今回の記事ではこの「腹落ち問題」を改善する 5 Tips を紹介します。 Here We Go ===┌(･_･)┘ AWS を学ぶ方法はいろいろありますが、実際に AWS を操作しながら学べる「ハンズオン (ワークショップやチュートリアルと呼ばれることもあります)」が好きな方も多いのではないでしょうか？そして AWS では多くのハンズオンを公開しています。よく知られているものだと「A
GitHub Actions と AWS CodeBuild テストを使用して Amazon ECS の CI/CD パイプラインを作成する | Amazon Web Services
Amazon Web Services ブログ GitHub Actions と AWS CodeBuild テストを使用して Amazon ECS の CI/CD パイプラインを作成する Amazon Elastic Container Service (Amazon ECS) は、フルマネージド型のコンテナオーケストレーションサービスであり、コンテナ化されたワークロードを大規模かつ簡単に運用できます。 また、Amazon Route 53、AWS Identity and Access Management (IAM)、Amazon CloudWatch などの他の主要な AWS のサービスと統合します。 コンテナの管理に使用しているプラットフォームに関係なく、コンテナ化されたアプリケーションにとって効果的かつ効率的な CI/CD パイプラインを確立することは重要です。 この投
ALB（Application Load Balancer）がボトルネックになっていたか確認する方法を教えてください | DevelopersIO
困っていた内容 ALB（Application Load Balancer）への急激なアクセス増加により処理が遅延し、一時的にサーバーエラーとなる事象が発生しました。ボトルネックが ALB 側か、もしくはバックエンドサーバー側かを切り分けたいのですが、ALB の性能限界に達していたか確認する方法を教えてください。 どう対応すればいいの？ ALB は負荷状況に応じて内部的にスケーリングが行われるため、最大接続数などの情報は非公開となっています。 そのため ALB の性能限界を明確に確認することはできませんが、以下 (1) ～ (3) の指標を確認することで、ALB もしくはバックエンドのどちらがボトルネックになっていたかを推測できます。 (1) 当該時刻に ALB のスケーリングが行われていたかを確認する ALB への接続数が物理ノードの限界に達すると自動的にスケーリングが行われ、その際には
ほぼ独学・未経験者がモダンな技術でポートフォリオを作ってみた【Rails / Nuxt.js / Docker / AWS / Terraform / CircleCI】 - Qiita
ほぼ独学・未経験者がモダンな技術でポートフォリオを作ってみた【Rails / Nuxt.js / Docker / AWS / Terraform / CircleCI】RailsAWSCircleCITerraformNuxt はじめに こんにちは! akiと申します！ 当記事はほぼ独学・未経験者がモダンな技術でポートフォリオ（以下PF）を作ってみたので、ご紹介させて頂きたいと思います。 昨今、未経験者がモダンな技術を使用して作成した、PFの作成記事も多く存在するので、何番煎じかにはなってしまいますが、この記事も同じ初学者の方の参考になれば幸いです。 自己紹介 私は22歳・高卒で、現在(2021年3月時点）も工場で製造の仕事を続けております。 そんな私ですが「Webエンジニア」という職種に興味を持ち、2020年4月よりプログラミング学習を開始しました。 今回紹介するPFの作成期間は約3ヶ
概要 AWS CI/CD for Amazon ECS ハンズオンをやってみました。 ハンズオンは下記の3本立てです。3時間程度で終わりました。 サンプルアプリのコンテナイメージ作成 AWS Fargate環境構築とコンテナ実行 CI/CDのパイプライン作成 ハンズオンを進めながら個人的なメモを補足した内容です。実際のハンズオン資料を見ながら作業をすすめ補足資料になればよいなと思っています。 CodeBuild時にDocker Hubのレートリミットに引っかかるとつまづくと思うのでそこの回避方法を載せています。 まず、AWS Fargateとは ハンズオン1 Fargateでコンテナを実行するまでの前準備する内容です。 ハンズオン資料より VPC、ALB作成 ハンズオンの手順ではVPCはCloudFormationで構築します。コードはハンズオン資料内にダウンロードリンクがあります。ALB
ここ１ヶ月半くらい、ちょっとした独自システムを創っていたのですが、そこで編み出したテクニックを紹介してみます。 要はECS Execを使い込んだよってだけなんですが、こういうオモチャを使ったオモチャを作らせたら一級品の自負、ある。 ECS Exec の概要 基本的なところは他に任せたいのでリンクだけ貼っておきます。 New – Amazon ECS Exec による AWS Fargate, Amazon EC2 上のコンテナへのアクセス | Amazon Web Services ブログ [アップデート] 実行中のコンテナに乗り込んでコマンドを実行できる「ECS Exec」が公開されました | DevelopersIO デバッグに Amazon ECS Exec を使用する – Amazon ECS 外からコマンドを実行できる旨味 ECSっていっても自分の中では Fargate の話にな
ビデオ会議に悩まされ続けた編集部が、AWSで｢バーチャル司会者｣を作った話2020.10.28 17:00Sponsored by アマゾン ウェブ サービス ジャパン株式会社 小暮ひさのり オンラインならではの利点、体験できました。 2020年は、テレワーク元年となりましたね。ギズモード編集部もいち早くテレワークを採用し、すでに半年以上が経過しています。でも、いまだに慣れないのが｢ビデオ会議｣。 音声を繋いでも最初の挨拶を誰もせずにただ流れていく時間。発言をしても相槌もなく、世界に1人だけ取り残されたような虚無感。そしてだらだらと長引く会議は誠に遺憾…。 この散々たる状況に頭を抱えているのが、編集部のアミトー（綱藤）。まるで盛り上がらない会議に出ながら、彼は考えました。 そうだ、｢バーチャル司会者｣だ！ ビデオ会議の司会進行役にバーチャルな司会者をたてれば、ビデオ会議もスムーズにいくはず
面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 | Amazon Web Services
Amazon Web Services ブログ 面白法人カヤックにおけるビルディングブロックとしてのAmazon ECSの活用とサービス間連携の工夫 開発者がアプリケーションを開発・パッケージング・デプロイするための強力な手法として、コンテナ技術はその代表的な1つに挙げられます。そしてそのようなコンテナ技術における様々なユースケースをサポートすべく、AWS では Amazon Elastic Container Service (Amazon ECS) に代表される多様なサービスを提供しています。 Amazon ECS はコンテナの運用管理を容易にするマネージドサービスです。他の AWS サービスとの組み合わせにより多様なワークロードをサポートするシステムを素早く構築可能です。一例として、 AWS Secrets Manager を利用した秘匿情報の連携が挙げられます。これにより、IDやパ
SageMakerとStep Functionsを用いた機械学習パイプラインで構築した検閲システム（前編） - コネヒト開発者ブログ
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 今回はタイトルにもあるようにモデルの学習からデプロイまで一気通貫した機械学習パイプラインをSageMakerとStep Functionsで構築し，新しく検閲システムを開発したお話になります． こちらのエントリーで紹介されている機械学習を用いた検閲システムの技術的な内容になります． ※ 検閲システムの細かい要件や内容については本エントリーでは多くは触れないのでご了承下さい． tech.connehito.com はじめに 今回のエントリーは内容が盛り沢山になっているので，前編と後編の2つに分けて紹介することにします． 前編：SageMaker TrainingJobを用いたモデル学習を行い，SageMaker Experimentsに蓄積された実験結果をS3に保存するまでの話 前回紹介したテックブログ「SageMak
最近よく耳にする「Kubernetes」ですが、実際はどのような使われ方をしているのでしょうか。こちらの記事で「Kubernetes」について答えた、『モンスターストライク』のサーバーサイド開発を担当している浅野大我氏に、「ミクシル延長戦」として「Kubernetes」を実際どのように使っているのか、より詳しく聞きました。前半は実際の「モンスト」での使われ方について。 「Kubernetes」を使いこなせると何がうれしいの？ 司会者：それでは本日のゲスト社員を紹介したいと思っています。『モンスターストライク』事業本部の浅野さんです。よろしくお願いいたします。 浅野大我氏（以下、浅野）：よろしくお願いします。 司会者：では簡単に自己紹介をお願いできればと思います。 浅野：よろしくお願いします。私は2020年にミクシィに入社をしました。ミクシィとの関わりとしては、まず2018年に『モンスタース
SREチーム(新卒)の市川恭佑です。今回は、Tonamelという自社サービス(Web)において負荷試験を導入した事例を紹介します。 このエントリは「先送りされがちな負荷試験の導入について心理的なハードルを下げる」ことを目的としています。 そのため、事例紹介と銘打っていますが、列挙される事実の独立性よりも文脈性を優先しています。 表現が少し冗長に感じるかもしれませんが、負荷試験について距離感を感じている方は是非お付き合いください。 負荷試験を導入するに至った経緯 Tonamelは、本格的なリリースから5年以上という、比較的長い運用歴を持つサービスです。 まず、何故このタイミングで負荷試験を導入することになったのかについて、その経緯を説明します。 ポストモーテムによる気づき（文化的な土台） 今年の3月に公開されたエントリにもあるように、カヤックでは着実にポストモーテム文化が浸透しつつあります。
NestJS を使って最速リリースを目指している話 - ROBOT PAYMENT TECH-BLOG
こんにちは。ROBOT PAYMENTでエンジニアをやっております 牧野です。 今回は新規プロダクトの立ち上げに伴い開発言語からインフラ設計まで0→1でサービスリリースするのに必要な技術選定を行いました。 その際の選定理由や、実際に開発を進めていて得た所感などを書いてみたいと思います。 私は主にバックエンド（フロントエンド以外）を中心に技術選定を行っためそちらを中心に書かせていただきます。 チーム規模 選定技術 TypeScript NestJS GraphQL PostgreSQL AWS App Runner まとめ チーム規模 バックエンドエンジニア2人 フロントエンドエンジニア1人 PM 1人 デザイナー1人 上記を１チームとして最短距離でリリースすべくスクラム開発を行なっています。 既存の請求管理ロボ開発においては、厳密ではないですがコンテナ運用や監視ツール、CICDなど機能開発
[DevSecOps] コンテナ時代のアンチウィルス対策はどうすればいいのか調べてみた｜Anno Takahiro
エンタープライズ企業が新しいクラウドサービスを導入する時には、自社のセキュリティ基準を満たせていることを確認するのが通例である。「セキュリティチェックシート」と呼ばれるエクセルシートを利用して一点一点チェックしていくことが多い。（この質問票で聞かれる内容が個社ごとにばらばらで、システム導入時に双方の負担になってしまっているのを標準化してなんとかできないかと思うことはあるが、この記事ではそこには触れない。） よくあるのが、「アンチウィルスソフトウェアをサーバーにインストールしていること」というチェック項目だ。明快な質問のように見えるが具体で実現するためには色々考えなければいけないことがある。標準的なサーバー構成、つまり、ハードウェアがあって、その中でOSが稼働していて、その上でアプリケーションが動いているというシンプルな構成であれば良いのだが、クラウドインフラを使い倒すようになった今ではマイ
![[DevSecOps] コンテナ時代のアンチウィルス対策はどうすればいいのか調べてみた｜Anno Takahiro](https://cdn-ak-scissors.b.st-hatena.com/image/square/d40f582c13ec7b50a24702f677080474932e9b61/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F24412229%2Frectangle_large_type_2_8c36b95904fe1cfb50326f80f7e5b1fb.jpeg%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)
AWS ECS Fargateは1分間にいくつまで数えられるか-Linux/ARM64とLinux/X86_64の性能比較
AWS Graviton2 プロセッサは、64 ビットの Arm Neoverse コアを使用してアマゾンウェブサービスがカスタムビルドしたもので、Graviton2 を搭載した Fargate は、同等のインテル x86 ベースの Fargate に比べて、最大 40% の料金性能向上と 20% の低コストを実現し、
Amazon Elastic Kubernetes Service (Amazon EKS) の開発チームに移ります - As a Futurist...
ソフトウェア開発をやるぞと決めてカナダに移住して Amazon S3 のチームに入り約 3 年経ったけど、今日から社内で別のチームに移ることになった。エンジニア人生を始めて 10 年ちょっと、初めて自分から参加したいと思って選択したポジションなので、楽しみだ。 10 年間、仕事の選択肢がなかった 僕は大学院を辞めてからカナダの永住権を取るまでの約 10 年間、とにかく日本を出て働ける様になるためだけに生きてきた。なんのスキルもなく大学院でも何もなさずに辞めてしまうような人なので、新卒採用(結局既卒になるんだけど)は 1 社しか合格できず選択肢はなかった。しばらくは手に職をつけようとインフラのスキルを一から磨いたけど、このまま同じことを続けても海外には行けないと思って、海外支社に出向できるチャンスをもらった。そこでインフラよりも開発がやりたいと思った矢先に日本に戻る様に言われ、日本で開発をや
パーフェクトRails 増補改訂版の自身の担当分について - joker1007’s diary
長らく改訂版をお待たせしていたパーフェクトRailsがついに新しくなります。 私は、やはり人間は締切が近くならないと働かない、という極めて重要な事実を改めて学ぶことができたのが良かったと思っています。 そろそろ献本させていただいた本は届き始めている様で、ブログやTwitter等で紹介していただけて嬉しい限りです。 全体の解説や紹介はそちらに任せるとして、私は今回担当していた箇所が大きく変わったので、それについての感想や裏話を書こうかと思います。 前回担当していた箇所 前回は、基本的に終盤のRailsの基本機能を越えたアプリケーションを作る時に助けになる章を担当していました。 元々は、そういう仕事としてRailsアプリケーションを書く上で気にしておきたいこと、というのが書かれた本が余り無く、何とかそういう本を作りたいという思いがあったので、あの辺りの章を担当させてもらいました。 正解の無い部
「AmplifyとAppSyncでモダンでイケてるWebサービスを爆速で立ち上げようぜ 」を話しました #devio2020 | DevelopersIO
こんにちは、もこ@札幌オフィスです。 6月16日より、クラスメソッドの年次技術イベント「Developers.IO 2020 CONNECT」を開催しています。期間は2020年6月16日（火）から7月7日（火）、テーマごとに7日間の日程に分けて開催、セッションはなんと合計100本以上あります。 私は、6月23日（火）のライブセッションの3本目を担当しました。登壇の内容についてはこちらをご覧ください。 登壇動画 ライブセッションだけでなく多数の技術について動画を公開しています。下記のYouTubeチャンネルの登録もお願いします。 登壇資料 Q&A Q1. Amplifyを使うことでインフラ側がブラックボックスになってしまい、セキュリティ上の不安や仕様考慮漏れによる不具合が怖いのですが、どうすればそういった不安を拭えますか？ 確かに脆弱性や不具合がある可能性は無きにしも非ずですが、自前で全てを
モノリシックなRailsアプリケーションで、APIのエンドポイント毎にSLOを設定する - Repro Tech Blog
こんにちは、@r_takaishiです。今回は、モノリシックなRailsアプリケーションが提供するAPIについてエンドポイント毎にSLOを設定できるようにしたので紹介します。 解決したい問題 ReproではRailsアプリケーションが様々なAPIを提供しています。このとき、APIのAvailabilityやLatencyについて可視化して障害が起こっていないか、パフォーマンスが低下していないかを調べることがあります。また、APIについてSLOを設定し、サービスの信頼性を保ちつつ開発を行うこともあるでしょう。 Reproでも可視化やSLOの設定は行ってきました。しかし、それらの対象がALBのTargetGroup単位だったり、APIを提供するECS Service単位でした。このような単位だと、API全体についての状況は分かりますが、個々のAPIについての情報は得られません。例えばエンドポイ
Summary of the Amazon Kinesis Event in the Northern Virginia (US-EAST-1) Region
November, 25th 2020 We wanted to provide you with some additional information about the service disruption that occurred in the Northern Virginia (US-EAST-1) Region on November 25th, 2020. Amazon Kinesis enables real-time processing of streaming data. In addition to its direct use by customers, Kinesis is used by several other AWS services. These services also saw impact during the event. The trig
DevelopersIO 2022にて「OSSで始めるコンテナセキュリティ」というタイトルで登壇しました #devio2022 | DevelopersIO
コンサル部のとばち（@toda_kk）です。 2022/7/26〜28に開催された弊社主催のオンラインイベントDevelopersIO 2022にて、「OSSで始めるコンテナセキュリティ」をテーマに登壇しました。 動画 発表資料 セッション概要 「コンテナセキュリティってなんかいろいろあるけど、結局なにからやればいいの？」という方向けに、コンテナセキュリティの全体像や概要を解説しつつ、コンテナセキュリティに対応するためのOSSを紹介するセッションです。 ざっくりとした内容 OSSを用いることで気軽にコンテナセキュリティを実現してみよう、というテーマでお話ししました。 コンテナセキュリティに関する概要を、コンテナライフサイクルに沿ったリスクの評価と対応という形で整理した上で、関連するAWSサービスと機能を紹介しました。 また、コンテナセキュリティのOSSツールとして、Kubernetesセキ
オフェンシブ視点による Cloud Security 入門 ~AWS 編~ - blog of morioka12
1. 始めに こんにちは、morioka12 です。 本稿では、AWS 環境における攻撃者のオフェンシブな視点で Cloud Security の入門として紹介します。 1. 始めに 免責事項 想定読者 2. クラウドにおける脅威 クラウドの重大セキュリティ脅威 11の悪質な脅威 クラウドサービス利用に関連するリスク Top 10 AWS セキュリティ構成ミス Top 10 3. AWS 環境における攻撃者の観点 3.1 AWS 環境の外部からの観点 3.2 AWS 環境の内部からの観点 4. MITRE ATT&CK Framework for Cloud (IaaS) 4.1 初期アクセス (Initial Access) 4.2 実行 (Execution) 4.3 永続化 (Persistence) 4.4 権限昇格 (Privilege Escalation) 4.5 防御回避
Announcing AWS Graviton2 Support for AWS Fargate – Get up to 40% Better Price-Performance for Your Serverless Containers | Amazon Web Services
AWS News Blog Announcing AWS Graviton2 Support for AWS Fargate – Get up to 40% Better Price-Performance for Your Serverless Containers AWS Graviton2 processors are custom-built by AWS using 64-bit Arm Neoverse cores to deliver the best price-performance for your cloud workloads running in Amazon Elastic Compute Cloud (Amazon EC2). They provide up to 40 percent better price-performance over compara
tl;dr 2020年1年間のはてなブックマークの人気エントリー3万件をもとに技術トレンドを分析。 その結論とPythonでグラフ化した手順を書き記します。 ※ご指摘がありましたが、技術トレンドというよりitニューストレンドと言った方が正しいかもしれません。踏まえてお読みください。 前置き 手元に2020年の1年間ではてなブックマークの技術カテゴリーにおいて人気エントリーに一度でも乗ったことのある記事のタイトルデータが3万件ほどあったため、形態素解析を行い単語の出現頻度順に並べてみました。欠損の割合としては多くても1割程度、つまり少なくとも9割程度のデータは揃っているはずなので精度はかなり高いと思います。 （※はてなブックマークはNewsPicksみたくインターネット上の記事をブックマーク・コメントでき、より多くブックマークされた記事が人気エントリーとしてピックアップされるサービスです。w
TL;DR hashicorp がリリースしたCD ツールの hashicorp/waypoint を試してみる記事 サーバーを立ち上げてデプロイx2をしてみた（感動的に楽） 個人的にECS を運用するときはまっさきに検討したいツール version waypoint v0.1.3 試す 公式のGet Started を参考にためしてみる。 https://learn.hashicorp.com/collections/waypoint/get-started-docker Install 各種OS に対応している。とりあえず今回はMacを選択。 https://learn.hashicorp.com/tutorials/waypoint/get-started-install?in=waypoint/get-started-docker brew からサクッと入る $ brew tap
はじめに こんにちは、AWS事業本部コンサルティング部の酒井です。 直近で携わるプロジェクトでAWS Batchが使われているのですが、経験がなかったので概要を把握するべくハンズオンをやってみました。 同時に CI/CDも触れる「CI/CD for AWS Batch Workshop」というハンズオンがあったので、紹介したいと思います。 ハンズオンに記載のなかった削除リソースも一覧化しているので、参考にしてみてください。 概要 ハンズオンでは以下のことが学べました。 Cloud9 ECR CodeCommit CodeBuild CodePipeline AWS Batch 基本的なGitコマンド 基本的なDockerコマンド やってみる 1. 事前準備 Adminのロールは作成済みなのでスキップし、Cloud9を作成。 yamlファイルをダウンロードし、スタックを作成。 2. 手動デプ
ECSとローカル間でファイルをコピーしたり、対話形式でrun-taskやexecできるデバッグ特化のCLIツールを作りました
はじめに 2021年3月、実行中のコンテナに入ることができる「ECS Exec」がリリースされました。 これがリリースされるまで、ECSでコンテナに入る方法としては、 ECS on EC2 EC2にsshした後にdocker execする ECS on Fargate そもそもできない（Session Managerを使った非公式な方法は除く） といった状況だったため、このリリースでECS（特にFargate）でのデバッグやトラブルシューティングが一気に楽になりました。 ただ、人間欲深い生き物でして、実際にaws ecs execute-commandを使い始めると、今度は、 タスクIDをマネコン等で調べるのが手間なので対話形式で選択したい ECSとローカル間でファイルをコピーしたい（scpしたい） などの欲が新たに発生してしまいます。 「探せばそういうことができるツールがあるんじゃないの
【セッションレポート】 第1回 AWS Fargate かんたんデプロイ選手権 【#AWSDevDay】 | DevelopersIO
本記事はDevDay Day1のセッションレポートとなります。 資料についてもすでに公開済みですので合わせてそちらもご確認ください。 セッション概要 AWSのオフィシャルツールを筆頭に、各種OSSを使用したFargateへのコンテナデプロイを考察する。 登壇者 原 康紘 様（アマゾン ウェブ サービス ジャパン株式会社） セッションの対象と目的 Fargateの利用を検討している方 デプロイツールの特徴を知りたい方 デプロイメントやパイプラインの構築、改善を行いたい方 AWS Fargateとは Dockerコンテナをデプロイする際にツールがないとEC2インスタンスに対してSSH接続してDockerの構築が必要になる この問題を解決するためにECSがサービスとして登場した EC2インスタンス群にDockerコンテナを自動的に構築してくれる EC2インスタンス上で動いているので、OSが動いて
SREチームの長田です。 今回は、カヤックのメンバーが業務で使うために開発・公開しているOSSなプロダクトをまとめて紹介しようという企画です。 KAYAC organization以下にあるものだけでなく、在籍中のメンバーが作ったものもひっくるめて、実際に業務で使用しているものを中心に 紹介しています。 以下の3つのカテゴリに分けて記載しています。 各カテゴリ内はアルファベット順です。 ツール編 人間が手動で実行するもの アプリケーション編 どこかに常駐して、イベントを受け取ると動作するもの ライブラリ編 ツールやアプリケーションから参照されるもの 集めてみたらそこそこの量になったので、本記事では詳細な説明は省いています。 GitHubリポジトリのURLや関連記事のリンクを併記していますので、より詳しく知りたい場合はそちらを参照ください。 (...) 内はそのプロダクトで使用している主なプ
Amazon ECSのデプロイにecspressoを使うとビルド・デプロイの境界やアプリ･インフラのIaC境界が明確になる ~ fujiwara-ware OSS ~ | DevelopersIO
クラスメソッドは2024年に5つのOSSに対して支援を実施しました 当方が推薦した @fujiwara さん作による Amazon ECSのデプロイツールである ecspressoが選定されたので、簡単に紹介します。 継続的デリバリーの責任範囲を明確にするecspresso ecspresso(「エスプレッソ」と発音します)はAWSのコンテナサービスAmazon ECSのデプロイツールです。 ECSでのデリバリーを思い出してみましょう。 ECSのデリバリーは、新しいコンテナイメージのビルドと、新しいコンテナイメージのデプロイの2つのフェーズに分かれている ECSのデプロイは、タスク定義を更新し、サービスの参照するタスク定義を更新すること 頻繁に更新されるアプリケーションに対して、VPCやALBといったインフラストラクチャの更新頻度は低く、この2つの更新のライフサイクルは大きく異なる 以上を
こんばんは。こんにちは！ バックエンドエンジニアのうつみです。 この記事はTVerメンバーによるアドベントカレンダーの22日目の記事です。 TVerにおけるサーバー負荷について 今回の記事は配信部分ではなく、アプリを構成するために必要なAPIサーバーの運用について書いていきたいと思います。（配信系期待されていたらごめんなさい 🙏 TVerではお陰様で毎日たくさんのユーザーの方が利用してくださっているので、サーバーへのアクセスもそこそこの規模になってきます。 地上波の見逃し配信やリアルタイム配信などといったサービス特性上、コンテンツの切り替わり時間などはアクセススパイクが日常的に発生しています。 そういった緩急の激しいアクセスパターンを安定して処理するためにAPIサーバーを適切にスケールアウト、スケールアップをする必要が出てきます。 この記事ではそういった日々の運用について書いていきます。
ActiveRecord::LockWaitTimeout, ActiveRecord::Deadlocked, ActiveRecord::ConnectionTimeoutError が起きた時に原因調査に役立つ情報を表示する gem を作った
それなりの規模のサービスを運用していると、不可解なエラーに遭遇することはよくあるものです。その中でもデータベース関連のエラーは一見難解な問題に見えるかもしれませんが、原因調査に役立つ情報をさえ出力すればたいていの場合は容易に原因を特定できるものです。というわけで、Rails でよく遭遇するエラーの調査に役立つ情報を出力する gem を作成しました。 activerecord-debug_errors 現在次のエラーをサポートしています。 ActiveRecord::LockWaitTimeout (MySQL のみ) ActiveRecord::Deadlocked (MySQL のみ) ActiveRecord::ConnectionTimeoutError 以下、具体的な例を用いてどのような情報が表示されるか説明します。 ActiveRecord::LockWaitTimeout Ac
AWS Aurora MySQL のメンテナンスの準備・実施・振り返りをチーム横断で行った話 - Repro Tech Blog
こんにちは、Sys-Infra Unit の小山です。今回は、AWS Aurora MySQL のメンテナンス準備・実施・振り返りまでを複数チーム横断で行った話を紹介します。 背景と課題 Repro では、AWS Aurora MySQL を利用してサービスを提供しています。Aurora MySQL は、MySQL 互換のリレーショナルデータベースサービスで、Aurora MySQL にも独自のバージョン番号が設定されています。バージョンにはサポート期間が設定されているため、利用しているバージョンのサポート期間が終了する前にはアップデートしておきたいものになります。 今回、Repro で利用している Aurora MySQL のバージョンがサポート終了日に近づいてきたため、バージョンアップデートをする必要がありました。Aurora MySQL のバージョンを上げるには、Aurora MyS
[#serverlessdays 2019]AWSの事何も理解していなかった… Serverless Ingress Workshop :: AWS Workshopでスコア0だったので反省と今後の勉強の仕方を考えてみた | DevelopersIO
はじめに おはようございます､加藤です｡ ServerlessDays Tokyo 2019 のWorkshop 01に参加したのですが､スコア0という悔しい結果になってしまったので､その反省と今後の勉強の仕方を考えてみます｡ 本ブログの｢こうした方が良い｣という感想はスコアアタックという特殊な状況での感想です｡普段はやるべきで無い事を多数含んでいるのでご注意ください｡ 内容はこんな感じです｡ 3人でチームを組み課題にトライ サーバーレス縛り(ECSなどのコンピューティングリソース禁止)でバッチ処理を行う 自動採点システムによるスコアを競う(より速くより正確な物を作ることが目的) 誤りがあるとマイナス評価 時間経過でマイナス評価 制限時間は7時間 お昼休憩などは各チームで自由なタイミングで取る テンプレートやヒントなどは無し 採点システムの仕様に関する案内や進め方についてのフォローは有り
![[#serverlessdays 2019]AWSの事何も理解していなかった… Serverless Ingress Workshop :: AWS Workshopでスコア0だったので反省と今後の勉強の仕方を考えてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7a4b0c7f74630d67fdfd61ded7a0abe16edc36b5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F10%2Ftokyo-thumbnail-min.png)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PyCon JP 2020のTwitter実況システムをGKE上に作った話 - JX通信社エンジニアブログ
AWSコスト削減の一環でecrmを使ってECRの不要イメージを削除した話 - コネヒト開発者ブログ
ECS(Fargate)でDBマイグレーションを行う - やんばるテック
AWSのPrivateリソースに対してProxyを立ててアクセスするときに考えること
AWS CI/CD for Amazon ECS ハンズオンをやってみた | DevelopersIO
AWS ECS Exec を使ってみたTips | 外道父の匠
ビデオ会議に悩まされ続けた編集部が、AWSで｢バーチャル司会者｣を作った話
Kubernetesは、流行る前から使っていた 『モンスターストライク』から見るk8sのイケているところ3つ
運用中のサービスに負荷試験を導入した事例の紹介 - KAYAC Engineers' Blog
はてなブックマーク3万件にみる技術トレンド2020年まとめ - Qiita
Hashicorp の新しいCD ツール "Waypoint" を試してみる - y-ohgi's blog
CI/CDとAWS Batchが体系的に学べるハンズオンをやってみた | DevelopersIO
カヤック発OSSカタログ - KAYAC Engineers' Blog
TVerにおけるスケーリング運用について - TVer Tech Blog