Whitepaper Title
Security Overview of AWS Fargate First published April, 2022 Notices Customers are responsible for making their own independent assessment of the information in this document. This document: (a) is for informational purposes only, (b) represents current AWS product offerings and practices, which are subject to change without notice, and (c) does not create any commitments or assurances from AWS an
コンテナのビルドからECS Task Definitionの更新は一貫して行いたい作業であり, CIツールは課題に対する解を提供します. そしてECSへのデプロイまでに行うべきことはほとんどの場合で同一であります. なのでCIツールの中で再利用可能な手法が取れればパイプラインの構築を高速にかつ容易にしアプリケーション開発に注力することが出来ます. GitHub ActionsではAWSが提供しているActionsがありこれを利用することで少ない設定でECSへのデプロイまで実行することが出来ます. 今回はECS Task Definitionの更新までを実際に試してみます. AWS for GitHub Actions 「AWS for GitHub Actions」はAWSリソースへ対する操作をGitHub Actions上から実行する便利なActionsです. AWSが提供しておりアクセ
Amazon ECR とは コンテナのワークフローとレジストリの役割 コンテナをベースとしたワークフローを組んだ場合、「Build, Ship, Run」に基づき整理すると下記にようになります。 アプリケーションのソースコードとDockerfileというコンテナイメージを構築するためのファイルを用意し、イメージを作成していきます。 Dockerfileというのは、このファイル上にコマンドを記述することで、アプリケーションに必要なライブラリをインストールしたり、コンテナ上に環境変数を指定する役割を持ちます。 さて、ここで重要になってくるのはこのコンテナイメージを保存する先ですね。 そこで出てくるのが、レジストリと呼ばれるものです。 レジストリとは、コンテナイメージを保存するサービスで、Dockerレジストリを基点としてさまざまなプラットフォームにイメージを配布したり、利用者間でイメージを共有
本日より、Arm ベースの AWS Graviton2 プロセッサを搭載した Amazon EC2 M6g インスタンスが一般提供されます。Amazon EC2 M6g インスタンスは、アプリケーションサーバー、マイクロサービス、ゲームサーバー、中小規模のデータベース、キャッシングフリートなどの一連の幅広い汎用ワークロードに対して、現世代の x86 ベースの Amazon EC2 M5 インスタンスよりも料金面で最大 40% 優れたパフォーマンスを提供します。 AWS Graviton2 は AWS により 64-bit の Arm Neoverse コアを使用してカスタム構成されたプロセッサで、Amazon EC2 で実行するクラウドワークロードに、最良の料金とパフォーマンスを提供するものです。これらは、第 1 世代の AWS Graviton プロセッサと比較して、性能が 7 倍、コン
このエントリーは一休.com Advent Calendar 2024の6日目の記事になります。 デモ環境を簡単に作りたい 特定の新機能を関係者にお披露目するためのデモ環境は、簡単に作れて、かつ、修正も素早く反映できると、うれしいです。 デモ環境へのデプロイは、特別なことをするのではなく、既存の開発ワークフローに混ぜ込みたい。 デモ環境は、静的な配置場所があるのではなくて、デプロイ時に動的にリソース確保して作成され、使い終わったら、破棄される。静的な配置場所があると、「デモ環境使いたいので使い終わったら教えてください」的なやり取りが生まれますが、これは、なくしたい。 このうち、1.は、Github ActionsでGithubのイベントをトリガにして、既存の開発ワークフローにうまく混ぜ込んでデプロイできそうです。 2.については、Kubernetesを使って、ロードバランサからアプリケーシ
2023年のマイクロサービス事情 雑談から入ろう。 明言されることは少ないが、「マイクロサービス」には明らかにダメな検討過程と呼ぶべきものがある。 ここ10年のモダンなインフラ基盤で存在感のあるAWS、Kubernetes、etc...が採用しているから、推奨しているから採用。 チーム、部署、所属企業の分断がまずあり、そこを境界にとした「マイクロサービス」を採用。 サービスの特性やロードマップを整理せずに、拡張性が高そうだから。 こういう理由で採用するのは安直だよね。とさすがに2023年末では落ち着いていて、地に足のついた真面目な議論のできる状態だと信じている。（どれが私の経験談かは聞かないでほしい） 少しずつ本題に入る。AWS Lambdaはイベントドリブンなサービスである。それもあってマイクロサービスとの相性がいい。マイクロサービスとの相性が良く、モノリスがアンチパターンなのだ。という
morishitaです。 yamamotoが次のエントリで紹介しましたが、いこーよを Kubernetes 上で運用し始めて3ヶ月になろうとしています。 tech.actindi.net まあトラブルもありますし、やってみてEC2で運用していたのとは勝手が違うところに苦労しつつですが、移行してよかったと思っています。 移行前の状況 いこーよは弊社のメインサービスであり、最も長くメンテナンスを続けているシステムでもあります。 トラブルが発生するとご迷惑をおかけするユーザが多いサービスでもあります。 そのため、とりあえず落ちずに稼働しているしということで、改善のためにインフラに大きく手を入れることには及び腰になっていました。 この数年はサービスの成長にともない現れるシステムの綻びをちょっとづつ改良しながらいこーよを支えているという状況でした。 いこーよの姉妹サービスであるいこレポでは、Rail
「ECRもDocker Hubみたいにパブリックで使えたら便利なのに・・・」 初めてECRを触ったときからハマコーずーっと思ってましたが、2020年12月1日、Andy Jassyのキーノートでは一切触れられず、ECRのパブリックレジストリ化が発表されました！ Amazon Elastic Container Registry Public: A New Public Container Registry | AWS News Blog 以前より、Docker Hubのダウンロードに一定の制限が設定されはじめており、使い方によってはイメージダウンロードのスロットリングが発生していましたが、パブリックレジストリとしての別の選択肢、ECRが使えることで利用シーンも一気に広がることでしょう！ （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 ECR ﾏﾂﾘﾀﾞﾜｯｼｮｲ |_|＿
ベストプラクティスといいつつ、どういう風にやりたいかで変わるというのは往々にしてあります。 ベストプラクティスは求めても意味ないのでどうでもいいとして、いろんなパターンのメリット/デメリットを把握して現状に即しているのかどうかは考え続ける必要があります。 ということで、長年頭を悩ませて納得感があまりない代表が Terraform です。 今回は以下の記事を読んでて、普段やっている Terraform の構成について書いてなかったので記録として残しておきます。 blog.serverworks.co.jp TL;DR; HashiCorp社の Terraform ベストプラクティス Nebulaworks の例 なぜ Terraform の構成は難しいのか よく使っている構成 原則 terraform ファイルの記載内容 この構成で最も設計しないといけないこと 元記事の迷子 workspac
本記事は 【Advent Calendar 2023】 5日目の記事です。 🎄 4日目 ▶▶ 本記事 ▶▶ 6日目 🎅 今回はクラウド活用をしていく上でアプリケーションチームとインフラチームとの間でどのようなコミュニケーションを取っていくべきかをまとめてみようと思います。 また、インフラエンジニアとして僕が普段アプリケーションチームの方と接する時に意識していることも併せて整理してみました。 アプリとインフラどっちがやるんだ問題 ポテンヒットとは エンジニアの境界はより曖昧に 重要なマインドセット ポテンヒットは起きるという事実をまず知ること アレルギー反応を起こさない 密なコミュニケーションを取る 1．全体像を共有する 2．前提知識に違いがあることを理解する 3．課題を共有する さいごに アプリとインフラどっちがやるんだ問題 いきなりですが、このような構成のAWSシステムがあるとします
Streamline container application networking with built-in Amazon ECS support in Amazon VPC Lattice | Amazon Web Services
AWS News Blog Streamline container application networking with built-in Amazon ECS support in Amazon VPC Lattice Since its launch, Amazon VPC Lattice has streamlined complex networking tasks. As a result, my perspective on how to build and connect modern, multi-service applications has changed. As my colleague Danilo wrote in his post announcing the general availability of VPC Lattice: “By using V
会計サービスをはじめ、バックオフィス向けクラウドソフトを提供するfreee。単純作業を効率化し、ユーザーが本質的な仕事に集中できる環境を提供するために、AI技術を駆使したさまざまな取り組みがなされている。 「ユーザーにとって本質的に価値があること（同社では「マジ価値」と呼ばれる）を届けきる」をコミットメントとして掲げる同社の、AI技術を使ったアプローチ方法を連載形式でお届けする。 第3回のテーマは、機械学習の開発環境。 機械学習やディープラーニングの自社開発を続けるうえで、その開発環境について考えるべき事項は多い。データ基盤の開発に始まり、分析やモデル開発、運用までスムースにこなせることに加えて、さまざまなアプリケーションやデータベースとの接続といった部分への配慮も欠かせない。 今回はfreeeの機械学習開発・研究を支えるインフラ基盤とその仕組みを同社AIラボの田中浩之氏に紹介いただく。
DockerイメージビルドのキャッシュをBuildKitを交えつつActionsでやってみた | DevelopersIO
はじめに Dockerイメージのビルドは構成次第で長い時間が掛かり、GitHub Actions上で行う場合に頻度が高くなると利用可能枠の圧迫につながります。Organization全体の限度枠をどのくらい占めているのか、及び残り利用枠が分かりにくいこともあり、先んじてキャッシュして備えることにしました。 効率のよいキャッシュを検討する キャッシュを目的としたActionはいくつかありましたが、今回は使いません。BuildKitプロジェクト成果物のソースコード内での利用形跡が見つからなかったためです。 BuildKitについて 以下のスライドが参考になります。Dockerfile内で効率よくキャッシュするコツにも触れているので、読まれたことがない方には特におすすめします。 BuildKitを併用してキャッシュした場合の時間については、以下のブログ記事にまとまっています。 やってみる 同様の
CI/CD for Machine Learning in 2024: Best Practices & Tips | JFrog ML
Building and deploying code to production environments is a fundamental aspect of software development. This process is equally pivotal in the realm of production-grade Machine Learning, where models undergo regular retraining with new data and are deployed for serving predictions. In this article, we delve into actionable strategies for designing a robust CI/CD pipeline for Machine Learning. Our
Amazon ECS のデプロイツールを調査した際に AWS Copilot をひと通り触ってみたのでそのメモです。 AWS Copilot とは Getting started コンセプト Application Environments Service Jobs Pipelines Manifest Advanced ドメインの設定 既存の VPC、サブネットをインポートする サービスの作成 デプロイ 本番環境の作成 パイプラインの作成 バックエンドサービスの作成 接続確認 データソースの追加 アドオン 単発の ECS タスクを実行 ECS タスクの定期実行 削除 長所 短所 まとめ 参考URL AWS Copilot とは Amazon ECS を簡単にデプロイツールで ECS CLI の後継です。2020年11月に GA になりました。 AWS Copilot のメリットは Doc
SAM を使って CDK + Typescript で実装した Lambda をローカル環境で実行する | DevelopersIO
CDK Dayを観ていたところSAM を使った CDK のローカル環境でのテスト方法が紹介されていたのでドキュメントを読みながら実際に使ってみました。 CDK Day ではsam-beta-cdkと呼ばれていましたが、ドキュメントを確認したところ SAM CLI と記述があったのでプライベートプレビュー時からパブリックプレビューになった段階で名称が変更された可能性があります。記事を執筆した段階で日本語ドキュメントはまだ最新ではなかったため英語のドキュメントを参照しながら進めました。 また、AWS SAMを使ったCDKのローカル環境での利用は2022.02.4現在パブリックプレビュー中なので今後後方互換性の無い変更が加えられる可能性があることにご注意ください。 前準備 CDK をローカルでテストするには AWS CDK、パブリックプレビューバージョンの AWS SAM CLI, Docker
新規プロダクトのAWSサービスコスト見積もり - ROBOT PAYMENT Engineers Blog
こんにちは。ROBOT PAYMENT （以下、ロボペイ）でエンジニアをしているtakamoriです。 私が所属しているチームでは、新規SaaSプロダクトを開発しており、その中でAWSサービスのコスト見積もりを行いました。 そこで今回は、AWSサービスのコスト見積もり方法を書いていきたいと思います。 ※ 注意 ※ 今回の見積もりでは、無料利用枠を考慮していません。 無料利用枠を加味すると、実際の使用料金は見積もりより安くなる可能性があります。 また、見積もりの入力値は、実際のプロダクトで利用する値とは異なる参考値です。 対象のAWSサービス AWSサービスの見積もり方法 AWSサービス見積もりの難しいポイント 見積もり詳細 AWS Amplify 必要なパラメーター パラメーター試算 結果 Amazon Simple Storage Service (S3) 必要なパラメーター パラメータ
D2O：大学出版局と図書館の連携による学術単行書のOA化モデル 京都大学学術研究支援室・藤川二葉（ふじかわふたば） 2021年3月，米・マサチューセッツ工科大学出版局（MIT Press）は，アルカディア基金の支援を受け，「大学出版局と研究図書館（research libraries）が協力し，新しい学術出版のエコシステムを作り上げる大胆な実験」として “Direct to Open（D2O）”モデルによる学術単行書のオープンアクセス（OA）化プログラムを開始した。D2Oは，図書館の共同出資により学術単行書の持続可能なOA化を実現するモデルである。このD2Oモデル開発の背景と具体的な設計について記載した，2022年1月公開のホワイトペーパー “The MIT Press Open Monograph Model: Direct to Open”は，本モデルを，著者，読者，図書館等，どのステ
概要 今回は、SSR/SSG/ISRをAWSで動かす方法やApp Runnerの魅力についてご紹介していきます。 内容 まず始めにTraditionalなWebアプリケーションとモダンなWebアプリケーションについて、それぞれ説明していきます。 次にSSR/SSG/ISRをAWSでホストする方法についてご紹介していきます。 Traditional Web ApplicationとモダンなWebアプリケーション Traditional Web Application 従来のwebアプリケーション => アプリケーションの処理は、サーバ側のみで実行 例えば、JavaならSpring、PythonのDjango、RubyならRailsとか モダンなWebアプリケーション Reactive Web Application アプリケーションの処理をサーバ側、クライアント側に分けて作り込む Clien
Introducing Karpenter – An Open-Source High-Performance Kubernetes Cluster Autoscaler | Amazon Web Services
AWS News Blog Introducing Karpenter – An Open-Source High-Performance Kubernetes Cluster Autoscaler Today we are announcing that Karpenter is ready for production. Karpenter is an open-source, flexible, high-performance Kubernetes cluster autoscaler built with AWS. It helps improve your application availability and cluster efficiency by rapidly launching right-sized compute resources in response t
プライベートなコンテナイメージを Amazon Lightsail コンテナサービスで使う | DevelopersIO
先日に続き、Amazon Lightsail コンテナサービスのネタです。アップデート記事は以下を参照ください。 上記のエントリーで「使用できるコンテナレジストリはパブリックコンテナレジストリのみ」と書いています。 「え、パブリックレジストリしか使えんのやったら、業務アプリとかアカンやん」 と思われたかもしれませんが、そのような場合は Lightsail コンテナサービスに直接 push することでプライベートなコンテナイメージも使用することが出来ます、というのが今回の記事になります。 Lightsail へのイメージ push の準備 以下のツールが必要になりますので、これらをインストールします。 AWS CLI v2.1.1 以降 AWS CLI v1 では Lightsail コンテナサービスへの push がサポートされていません LightsailControl プラグイン AW
近年 Kubernetes の導入事例が増えたことにより、Kubernetes への継続的デリバリーの手段・ツールも様々なものがあります。 CircleCI のような CI/CD ツールを利用して Kubernetes へのデプロイまで一貫した CI/CD パイプラインを作ることも可能ですが、FluxCD そして今回紹介する ArgoCD など CD 専用の OSS ツールと組み合わせる事例も増えてきました。 これらの CD 専用ツールは GitOps を採用している点が共通点として挙げられます。 GitOps とは 2017年に Weaveworks 社がブログ内で紹介した CD の手法 です。 GitOps では、Git を用いて Kubernetes のリソース構成情報を宣言的に記述・管理します。 GitOps によるメリットは下記などが挙げられます。 生産性の向上 Git の操作(
The Architecture of a Modern Startup | by Dmitry Kruglov | Nov, 2022 | Better Programming
workflow — all images by authorThe Tech side of startups can sometimes be very fluid and contain a lot of unknowns. What tech stack to use? Which components might be overkill for now but worth keeping an eye on in the future? How to balance the pace of business features development while keeping the quality bar high enough to have a maintainable codebase? Here I want to share our experience buildi
ちょうどよいビルドツールEarthlyの紹介
ちょうどよいビルドツールEarthlyの紹介 ビルドツールと呼ばれるものは昔から現代まで使われているMake、JavaやKotlinでは一般的なGradle、Googleで使われていたものをOSS化したBazelあたりが有名です。他にも様々なビルドツールが存在するのですが、知名度は低いものの最近自分が注目しているEarthlyというビルドツールを紹介します。 まずEarthlyの特徴をBazelやGradleといった他のビルドツールと比較して簡単に紹介します。 Dockerfile + Makefile風のDSL どんなビルドツールでも基本的には独自DSLでビルド設定を書くことになりますが、EarthlyはDockerfileとMakefileを合体させたようなDSLとなっており、他のビルドツールと比較して分かりやすい方だと思います。このDSLについては後述しますが、このサンプルコードでも
Amazon Web Services ブログ AWS App Runner のご紹介 この記事は Introducing AWS App Runner を翻訳したものです。 本日、 AWS 上でコンテナ化された Web アプリケーションをビルド、および実行するための最も簡単な方法である、 AWS App Runner を発表できることを嬉しく思います。 App Runner はコンテナネイティブのフルマネージドサービスです。オーケストレーターの設定、ビルドパイプラインの準備、ロードバランサーの調整、 TLS 証明書のローテートなどは必要ありません。そしてもちろん、管理すべきサーバもありません。 App Runner はアプリケーション実行時間に対する秒単位での課金と、セキュアなプロダクションワークロードを実行するために必要な全てを提供します。たった数クリックで、パブリックなエンドポイント
actions/artifacts@v4アツい、CIの話題多め、おまけあり｜Productivity Weekly(2023-12-20号)
こんにちは。サイボウズ株式会社 生産性向上チームの平木場です。 僕たち生産性向上チームは毎週水曜日に Productivity Weekly という「1 週間の間に発見された開発者の生産性向上に関するネタを共有する会」を社内で開催しています。 本記事はその時のネタをまとめたものです。 2023-01-25 号から、基本的に隔週で連載することとしました。たまに単独でも投稿するかもしれません。 今週は 2023-12-20 単独号です。 今回が第 137 回目です。過去の記事はこちら。 生産性向上チームのマスコットキャラクター、セイサンシャインくん爆誕 news 📺 GitHub Actions - Artifacts v4 is now Generally Available - The GitHub Blog actions/upload-artifactとactions/downloa
システム部の福原と申します。 前回に引き続き、あーだこーだしている日常を並べていきます。 ご笑覧あれー。 プロローグ：バッチをECSで動かしたい 同僚氏：というわけで、このプロジェクトはPythonのバッチをDockerで動かしたいです。環境の方よろしくおねがいします。 、、、ふむっ。バッチか。。。 REST APIをSpring Bootで立てるってのはもうやったことあるが、これは定期的単発実行の処理だ。 どうしよう？ うちらはAmazon Elastic Container Service (ECS) を使っている。 バッチ実行はこれ↓に従えばよさそうだ。 クラシック Amazon ECS コンソールを使用してスタンドアロンタスクを実行する方法 そういえば弊社の場合バッチ処理は、Hinemosに実行管理させる決まりだ。 HinemosからECSタスクを起動するのどうしよう？ うーむ。な
Amazon Inspector Now Scans AWS Lambda Functions for Vulnerabilities | Amazon Web Services
AWS News Blog Amazon Inspector Now Scans AWS Lambda Functions for Vulnerabilities Amazon Inspector is a vulnerability management service that continually scans workloads across Amazon Elastic Compute Cloud (Amazon EC2) instances, container images living in Amazon Elastic Container Registry (Amazon ECR), and, starting today, AWS Lambda functions and Lambda layers. Until today, customers that wanted
[アップデート]AWS Control Towerのランディングゾーン3.2がリリース！Security Hubサービスマネージド標準のドリフトが検出できるようになりました！ | DevelopersIO
[アップデート]AWS Control Towerのランディングゾーン3.2がリリース！Security Hubサービスマネージド標準のドリフトが検出できるようになりました！ みなさん、こんにちは。 明るい笑顔がトレードマーク、ルイボスティーが大好きな芦沢(＠ashi_ssan)です。 AWS Control Towerのランディングゾーン3.2がリリースされました！ 例のごとく、AWS What’s newよりアップデートブログが公開されています。 ブログではControl TowerとSecurity Hubの統合と書かれていますが、実質的にはランディングゾーン3.2のリリースだと理解したので本ブログのタイトルにはそのように表記しました。 概要 ランディングゾーンとは？ そもそもランディングゾーンとは、AWSのベストプラクティスに基づいて構成したアカウントをスケーラブルに展開していくた
![[アップデート]AWS Control Towerのランディングゾーン3.2がリリース！Security Hubサービスマネージド標準のドリフトが検出できるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/86be0cb0b6ad6a31b63f448f6dc9c714d28374a7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-control-tower.png)
インフラ構築経験ほぼ無しの私がモダンスタックで新サービスを公開するまでの歩み - エス・エム・エス エンジニア テックブログ
エス・エム・エスで介護施設への入居マッチングサービス「安心介護紹介センター」の開発をしている中村と申します。「安心介護紹介センター」は2022年3月にローンチしたばかりの新規サービスで昨年から開発プロジェクトの担当をしています。 安心介護紹介センターはゼロからプロダクトを作るプロジェクトだったので、インフラの構成や監視など全てをゼロから考えて作る必要があったのですが、開発チームのメンバーでその経験が豊富な人はおらず、私にいたっては経験ゼロ。いつもインフラについては社内のインフラチームだったり他の誰かに設計・構築してもらい、自分はアプリケーションのコードを書くのみで、ALBもIAMもSecurity Groupも名前と役割は知っているけれど、自分でAWS環境で設定したことはありませんでした。またローカル環境構築のためにDockerを利用してはいましたが、コンテナでサービスを運用したこともあり
FireLens(Fluent Bit)におけるタグの仕組みについて調査してみた | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です! 皆さんはECS(Fargate)のログドライバーにFireLensを用いた事はありますでしょうか？ FireLensを使用する事で、カスタマイズ次第で柔軟なコンテナログルーティングを実現できるため、非常に便利です。 しかし実際に触ってみると、ログルーティング設定のベースとなっているFluent Bitのタグの仕組みが、思ったより難しいと感じるかもしれません。(私も理解するのに結構苦労してます。。。) そこで今回は、Fluent Bitにおけるタグの仕組みの観点から、FireLensを用いたログルーティングの設定方法についてまとめてみたいと思います！ Fluent Bitにおけるタグとは そもそもFluent Bitにおけるタグとは、どのようなものでしょうか？ Fluent Bitの公式ドキュメントでは、以下の通り説明があります。
AWS Cloud Development Kit v2 開発者プレビューのお知らせ | Amazon Web Services
Amazon Web Services ブログ AWS Cloud Development Kit v2 開発者プレビューのお知らせ AWS Cloud Development Kit (AWS CDK) v2が開発者プレビューとして、TypeScript、Python、Java、C#、Go言語で利用できるようになりました。AWS CDKは、使い慣れたプログラミング言語を使ってクラウドアプリケーションのリソースをモデル化し、プロビジョニングするためのオープンソースのソフトウェア開発フレームワークです。AWS CDKを使用すると、インフラストラクチャをコードとして定義し、AWS CloudFormationを通じてプロビジョニングすることができます。AWS CDKは、実績のあるデフォルト値で事前に設定された高レベルなコンポーネントを提供しているため、専門家でなくてもクラウドアプリケーションを
はじめまして！hacomono インターン生の、インフラとウマと馬が大好きなかわにーと申します。お馬さんかわいい。 2022年6月に入社してから2年弱経ち、このタイミングでやってきたことの整理として振り返り記事を書いています。 hacomono のインターンに興味を持っていただける方の参考となれば幸いです。 （※編集部注：2024年1月現在、hacomono開発チームのインターンは募集停止しております。再開次第、hacomonoプロダクト公式Xなどでお知らせいたします！） hacomono に応募したきっかけ 大学に入学してから今まで、気の赴くままに趣味として低レイヤやインフラ技術を学んでいました。何か役に立つようなプロダクトを作るわけでもなく、ただ自分の好奇心に従って。 しかし、大学院修士1年の頃、早期選考、インターン….、就活早期化の波が押し寄せます。 趣味ばかりで実務経験のない私は、
AWS SageMakerローカルモードで学ぶコンテナベース機械学習 - OPTiM TECH BLOG
R&Dチームの徳田(@dakuton)です。 時系列分析に携わるエンジニア目線でコロナウイルスに関する動向を見ていると、短い期間で当てはまる予測モデルをつくるというよりは、カットオフ発生(データの分断点)を調べることが重要になるだろうと思いながら自宅で静観しています。(どういうことか？気になる方は効果検証入門をお読みください) 本題です。AWS SageMakerについて調べていたら、AWSのリソースを全く消費せずに動作する謎のモード(local mode)があることに気がつきました。今回は、そちらの謎機能をもとに、AWS SageMakerの技術的な部分の解説をしようと思います。 SageMakerとは？ 実行インスタンス データ保管方法 SageMakerコンテナの起動モード デザインパターン ローカルでSageMakerを起動する local modeの存在意義 local mode
こんにちは。サービス部の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2023年版です。 こんにちは。サービス部の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2023年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2022年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 234個 です。 まとめるにあたって、
研究成果公開の新たな国際標準に向けた筑波大学の取組 筑波大学人文社会系・池田潤（いけだじゅん） 筑波大学URA研究戦略推進室・新道真代（しんどうまさよ），森本行人（もりもとゆきひと） 2020年4月1日に，国立大学法人筑波大学とオープンアクセス（OA）出版プラットフォームの提供を行うF1000 Research社は，研究分野にとってより適した言語を英語・日本語から選び，研究成果を公開することが出来る，世界初の「オープンリサーチ出版ゲートウェイ」（以下「筑波大学ゲートウェイ」）の開発に向けた契約を締結した。2020年11月の公開を予定している。 日本のOAは着実に進んではいるが，諸外国と比較するとやや出遅れており，リーダーシップを発揮しているとは言い難い。また，過度に英語に依存した学術情報コミュニケーションにも問題がないとは言い切れない。そこで，本学が日本で初めて後述のF1000 Resea
【アップデート】ECS on FargateがsystemControlsをサポートし、カーネルパラメータが調整できるようになりました | DevelopersIO
【アップデート】ECS on FargateがsystemControlsをサポートし、カーネルパラメータが調整できるようになりました CX事業部@大阪の岩田です。 8/9付のアップデートでECS on Fargateのタスク定義で指定可能なパラメータが増えました 今回のアップデートで指定可能になったパラメータは以下の2つです。 systemControls pidMode 本ブログでは上記アップデートのうちsystemControlsについてご紹介します。 systemControlsとは ECSのタスク定義ではsystemControlsというパラメータが指定可能です。このパラメータはdocker run の --sysctlオプションに相当し、Linuxカーネルの各種カーネルパラメータが設定できるパラメータとなっています。従来このパラメータはECS on Fargateでは指定できず
As part of our standard toolkit, we provide each developer at Skroutz with a writable database snapshot against which she can develop. These snapshots are updated daily through a pipeline that involves taking an LVM snapshot of production data, anonymizing the dataset by stripping all personal data, and transferring it via rsync to the development database servers. The development servers in turn
⚠️ AWSGoat Module 2 のネタバレあり はじめに AWSGost とは 攻撃方法の分類 インフラの料金 ラボ環境の構築 AWSGost リポジトリをフォーク Actions secrets でクレデンシャルを設定 GitHub Actions でデプロイ Module 2の大体の流れ Step 1. SQL Injection 解法 脆弱性があるコード Step 2. File Upload and Task Metadate リバースシェルの用意 待ち受け側 Step 3. ECS Breakout and Instance Metadata 現ユーザの権限を確認 リソースへのアクセスを試行 ケイパビリティを確認 (www-data ユーザ) コンテナ内でroot権限を取得 sudo可能なコマンドを確認 Vim経由でroot権限のシェルを取得 ケイパビリティを確認 (ro
先日ちょっとしたAPIをLambdaとAPI Gatewayを使って作ったので、これを機会に最近の弊社のLambda構築状況について書きたいと思います。 TL;DR あるいは まとめ LambdaはECRによるイメージで起動。こうすることで、開発はイメージを作るところまで、インフラはイメージから後、というように分業できる aws-lambda-powertoolsはいいぞ API GatewayはOpenAPIをterraformに読み込ませることで簡単に設定できる Lambdaのruntime Lambdaは2020年12月からコンテナイメージをサポートしました。これは、ECRに置かれたコンテナイメージをLambdaが読み込んで起動する、というものです。 弊社ではLambdaは基本的にこのコンテナイメージからの起動で構築しています。 コンテナイメージを使う利点は以下の2つです。 コンテナ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ECS Task DefinitionをActionsで自動更新する | DevelopersIO
Dive deep into Amazon ECR (ECRの裏側の仕組みを知ろう)
AWS Graviton2 プロセッサを搭載した Amazon EC2 M6g インスタンスが一般利用可能に
Github ActonsとKubernetesを使って効率的にデモ環境を作る
Lambda + Monolithはアンチパターンなのか？ マイクロサービスでなく「小さくはじめる」選択肢
Kubernetesの導入で考えたこと、一緒に導入したもの - アクトインディ開発者ブログ
ECRをパブリックレジストリとして利用可能になりました！ #reinvent | DevelopersIO
Terraform の構成 - tech.guitarrapc.cóm
クラウド時代におけるポテンヒットの防ぎ方 - NRIネットコムBlog
開発スピードを止めない機械学習インフラ基盤――freeeに学ぶAI開発で本質的価値を提供する方法 | Ledge.ai
AWS Copilot をひと通り使ってみた - 本日も乙
E2518 – D2O：大学出版局と図書館の連携による学術単行書のOA化モデル
SSR/SSG/ISRって何？？ AWSでホストする方法
GitOps とは? ArgoCD による、Kubernetes への継続的デリバリーを実現しよう
AWS App Runner のご紹介 | Amazon Web Services
バッチシステムをAmazon ECSで作った話 - GMO Research & AI Tech Blog
hacomonoでインターンを始めてから今までの振り返り - hacomono TECH BLOG
【2023年】AWS全サービスまとめ | DevelopersIO
E2288 – 研究成果公開の新たな国際標準に向けた筑波大学の取組
Uncovering a 24-year-old bug in the Linux Kernel
やられAWS環境「AWSGoat」でペンテストを学習 - まったり技術ブログ
最近やってるLambdaとAPI Gatewayの開発方法の話