【未経験開発 Rails/React/AWS/Docker/CircleCI】独学＋メンターでここまで出来た！Web知識ゼロからモダンな技術アプリ開発までに利用した5つのサービス - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 0. はじめに こんにちは！@ddpmtcpbrと申します。 当記事は、「Webエンジニアへのキャリアチェンジを目指している開発未経験者が、モダンな技術を備えたアプリを開発するまでの学習過程」についてまとめたものです。 現在筆者は非IT系企業の社員として働いており、Web開発エンジニアとしての実務経験はありません。 そんな筆者がWebエンジニアとしてのキャリアチェンジをするためのポートフォリオとして、本アプリを開発しました。 学習開始から現時点までにおいて、プログラミングスクール等には通っておらず、学習はほぼすべて独学&一部メンターサー
本日より、Arm ベースの AWS Graviton2 プロセッサを搭載した Amazon EC2 M6g インスタンスが一般提供されます。Amazon EC2 M6g インスタンスは、アプリケーションサーバー、マイクロサービス、ゲームサーバー、中小規模のデータベース、キャッシングフリートなどの一連の幅広い汎用ワークロードに対して、現世代の x86 ベースの Amazon EC2 M5 インスタンスよりも料金面で最大 40% 優れたパフォーマンスを提供します。 AWS Graviton2 は AWS により 64-bit の Arm Neoverse コアを使用してカスタム構成されたプロセッサで、Amazon EC2 で実行するクラウドワークロードに、最良の料金とパフォーマンスを提供するものです。これらは、第 1 世代の AWS Graviton プロセッサと比較して、性能が 7 倍、コン
このエントリーは一休.com Advent Calendar 2024の6日目の記事になります。 デモ環境を簡単に作りたい 特定の新機能を関係者にお披露目するためのデモ環境は、簡単に作れて、かつ、修正も素早く反映できると、うれしいです。 デモ環境へのデプロイは、特別なことをするのではなく、既存の開発ワークフローに混ぜ込みたい。 デモ環境は、静的な配置場所があるのではなくて、デプロイ時に動的にリソース確保して作成され、使い終わったら、破棄される。静的な配置場所があると、「デモ環境使いたいので使い終わったら教えてください」的なやり取りが生まれますが、これは、なくしたい。 このうち、1.は、Github ActionsでGithubのイベントをトリガにして、既存の開発ワークフローにうまく混ぜ込んでデプロイできそうです。 2.については、Kubernetesを使って、ロードバランサからアプリケーシ
2023年のマイクロサービス事情 雑談から入ろう。 明言されることは少ないが、「マイクロサービス」には明らかにダメな検討過程と呼ぶべきものがある。 ここ10年のモダンなインフラ基盤で存在感のあるAWS、Kubernetes、etc...が採用しているから、推奨しているから採用。 チーム、部署、所属企業の分断がまずあり、そこを境界にとした「マイクロサービス」を採用。 サービスの特性やロードマップを整理せずに、拡張性が高そうだから。 こういう理由で採用するのは安直だよね。とさすがに2023年末では落ち着いていて、地に足のついた真面目な議論のできる状態だと信じている。（どれが私の経験談かは聞かないでほしい） 少しずつ本題に入る。AWS Lambdaはイベントドリブンなサービスである。それもあってマイクロサービスとの相性がいい。マイクロサービスとの相性が良く、モノリスがアンチパターンなのだ。という
morishitaです。 yamamotoが次のエントリで紹介しましたが、いこーよを Kubernetes 上で運用し始めて3ヶ月になろうとしています。 tech.actindi.net まあトラブルもありますし、やってみてEC2で運用していたのとは勝手が違うところに苦労しつつですが、移行してよかったと思っています。 移行前の状況 いこーよは弊社のメインサービスであり、最も長くメンテナンスを続けているシステムでもあります。 トラブルが発生するとご迷惑をおかけするユーザが多いサービスでもあります。 そのため、とりあえず落ちずに稼働しているしということで、改善のためにインフラに大きく手を入れることには及び腰になっていました。 この数年はサービスの成長にともない現れるシステムの綻びをちょっとづつ改良しながらいこーよを支えているという状況でした。 いこーよの姉妹サービスであるいこレポでは、Rail
「ECRもDocker Hubみたいにパブリックで使えたら便利なのに・・・」 初めてECRを触ったときからハマコーずーっと思ってましたが、2020年12月1日、Andy Jassyのキーノートでは一切触れられず、ECRのパブリックレジストリ化が発表されました！ Amazon Elastic Container Registry Public: A New Public Container Registry | AWS News Blog 以前より、Docker Hubのダウンロードに一定の制限が設定されはじめており、使い方によってはイメージダウンロードのスロットリングが発生していましたが、パブリックレジストリとしての別の選択肢、ECRが使えることで利用シーンも一気に広がることでしょう！ （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 ECR ﾏﾂﾘﾀﾞﾜｯｼｮｲ |_|＿
ベストプラクティスといいつつ、どのような風にやりたいかで変わるというのは往々にしてあります。 ベストプラクティスは求めても意味ないのでどうでもいいとして、いろんなパターンのメリット/デメリットを把握して現状に即しているのかどうかは考え続ける必要があります。 ということで、長年頭を悩ませて納得感があまりない代表はTerraformです。 今回は以下の記事を読んでて、普段やっているTerraformの構成について書いてなかったので記録として残しておきます。 https://blog.serverworks.co.jp/where_my_terraform_bestpractice 概要 HashiCorp社の Terraformベストプラクティス Nebulaworksの例 なぜ Terraform の構成は難しいのか よく使っている構成 原則 terraformファイルの記載内容 この構成で
本記事は 【Advent Calendar 2023】 5日目の記事です。 🎄 4日目 ▶▶ 本記事 ▶▶ 6日目 🎅 今回はクラウド活用をしていく上でアプリケーションチームとインフラチームとの間でどのようなコミュニケーションを取っていくべきかをまとめてみようと思います。 また、インフラエンジニアとして僕が普段アプリケーションチームの方と接する時に意識していることも併せて整理してみました。 アプリとインフラどっちがやるんだ問題 ポテンヒットとは エンジニアの境界はより曖昧に 重要なマインドセット ポテンヒットは起きるという事実をまず知ること アレルギー反応を起こさない 密なコミュニケーションを取る 1．全体像を共有する 2．前提知識に違いがあることを理解する 3．課題を共有する さいごに アプリとインフラどっちがやるんだ問題 いきなりですが、このような構成のAWSシステムがあるとします
Streamline container application networking with built-in Amazon ECS support in Amazon VPC Lattice | Amazon Web Services
AWS News Blog Streamline container application networking with built-in Amazon ECS support in Amazon VPC Lattice Since its launch, Amazon VPC Lattice has streamlined complex networking tasks. As a result, my perspective on how to build and connect modern, multi-service applications has changed. As my colleague Danilo wrote in his post announcing the general availability of VPC Lattice: “By using V
DockerイメージビルドのキャッシュをBuildKitを交えつつActionsでやってみた | DevelopersIO
はじめに Dockerイメージのビルドは構成次第で長い時間が掛かり、GitHub Actions上で行う場合に頻度が高くなると利用可能枠の圧迫につながります。Organization全体の限度枠をどのくらい占めているのか、及び残り利用枠が分かりにくいこともあり、先んじてキャッシュして備えることにしました。 効率のよいキャッシュを検討する キャッシュを目的としたActionはいくつかありましたが、今回は使いません。BuildKitプロジェクト成果物のソースコード内での利用形跡が見つからなかったためです。 BuildKitについて 以下のスライドが参考になります。Dockerfile内で効率よくキャッシュするコツにも触れているので、読まれたことがない方には特におすすめします。 BuildKitを併用してキャッシュした場合の時間については、以下のブログ記事にまとまっています。 やってみる 同様の
CI/CD for Machine Learning in 2024: Best Practices & Tips | JFrog ML
Building and deploying code to production environments is a fundamental aspect of software development. This process is equally pivotal in the realm of production-grade Machine Learning, where models undergo regular retraining with new data and are deployed for serving predictions. In this article, we delve into actionable strategies for designing a robust CI/CD pipeline for Machine Learning. Our
Amazon ECS のデプロイツールを調査した際に AWS Copilot をひと通り触ってみたのでそのメモです。 AWS Copilot とは Getting started コンセプト Application Environments Service Jobs Pipelines Manifest Advanced ドメインの設定 既存の VPC、サブネットをインポートする サービスの作成 デプロイ 本番環境の作成 パイプラインの作成 バックエンドサービスの作成 接続確認 データソースの追加 アドオン 単発の ECS タスクを実行 ECS タスクの定期実行 削除 長所 短所 まとめ 参考URL AWS Copilot とは Amazon ECS を簡単にデプロイツールで ECS CLI の後継です。2020年11月に GA になりました。 AWS Copilot のメリットは Doc
SAM を使って CDK + Typescript で実装した Lambda をローカル環境で実行する | DevelopersIO
CDK Dayを観ていたところSAM を使った CDK のローカル環境でのテスト方法が紹介されていたのでドキュメントを読みながら実際に使ってみました。 CDK Day ではsam-beta-cdkと呼ばれていましたが、ドキュメントを確認したところ SAM CLI と記述があったのでプライベートプレビュー時からパブリックプレビューになった段階で名称が変更された可能性があります。記事を執筆した段階で日本語ドキュメントはまだ最新ではなかったため英語のドキュメントを参照しながら進めました。 また、AWS SAMを使ったCDKのローカル環境での利用は2022.02.4現在パブリックプレビュー中なので今後後方互換性の無い変更が加えられる可能性があることにご注意ください。 前準備 CDK をローカルでテストするには AWS CDK、パブリックプレビューバージョンの AWS SAM CLI, Docker
新規プロダクトのAWSサービスコスト見積もり - ROBOT PAYMENT Engineers Blog
こんにちは。ROBOT PAYMENT （以下、ロボペイ）でエンジニアをしているtakamoriです。 私が所属しているチームでは、新規SaaSプロダクトを開発しており、その中でAWSサービスのコスト見積もりを行いました。 そこで今回は、AWSサービスのコスト見積もり方法を書いていきたいと思います。 ※ 注意 ※ 今回の見積もりでは、無料利用枠を考慮していません。 無料利用枠を加味すると、実際の使用料金は見積もりより安くなる可能性があります。 また、見積もりの入力値は、実際のプロダクトで利用する値とは異なる参考値です。 対象のAWSサービス AWSサービスの見積もり方法 AWSサービス見積もりの難しいポイント 見積もり詳細 AWS Amplify 必要なパラメーター パラメーター試算 結果 Amazon Simple Storage Service (S3) 必要なパラメーター パラメータ
概要 今回は、SSR/SSG/ISRをAWSで動かす方法やApp Runnerの魅力についてご紹介していきます。 内容 まず始めにTraditionalなWebアプリケーションとモダンなWebアプリケーションについて、それぞれ説明していきます。 次にSSR/SSG/ISRをAWSでホストする方法についてご紹介していきます。 Traditional Web ApplicationとモダンなWebアプリケーション Traditional Web Application 従来のwebアプリケーション => アプリケーションの処理は、サーバ側のみで実行 例えば、JavaならSpring、PythonのDjango、RubyならRailsとか モダンなWebアプリケーション Reactive Web Application アプリケーションの処理をサーバ側、クライアント側に分けて作り込む Clien
Introducing Karpenter – An Open-Source High-Performance Kubernetes Cluster Autoscaler | Amazon Web Services
AWS News Blog Introducing Karpenter – An Open-Source High-Performance Kubernetes Cluster Autoscaler Today we are announcing that Karpenter is ready for production. Karpenter is an open-source, flexible, high-performance Kubernetes cluster autoscaler built with AWS. It helps improve your application availability and cluster efficiency by rapidly launching right-sized compute resources in response t
プライベートなコンテナイメージを Amazon Lightsail コンテナサービスで使う | DevelopersIO
先日に続き、Amazon Lightsail コンテナサービスのネタです。アップデート記事は以下を参照ください。 上記のエントリーで「使用できるコンテナレジストリはパブリックコンテナレジストリのみ」と書いています。 「え、パブリックレジストリしか使えんのやったら、業務アプリとかアカンやん」 と思われたかもしれませんが、そのような場合は Lightsail コンテナサービスに直接 push することでプライベートなコンテナイメージも使用することが出来ます、というのが今回の記事になります。 Lightsail へのイメージ push の準備 以下のツールが必要になりますので、これらをインストールします。 AWS CLI v2.1.1 以降 AWS CLI v1 では Lightsail コンテナサービスへの push がサポートされていません LightsailControl プラグイン AW
近年 Kubernetes の導入事例が増えたことにより、Kubernetes への継続的デリバリーの手段・ツールも様々なものがあります。 CircleCI のような CI/CD ツールを利用して Kubernetes へのデプロイまで一貫した CI/CD パイプラインを作ることも可能ですが、FluxCD そして今回紹介する ArgoCD など CD 専用の OSS ツールと組み合わせる事例も増えてきました。 これらの CD 専用ツールは GitOps を採用している点が共通点として挙げられます。 GitOps とは 2017年に Weaveworks 社がブログ内で紹介した CD の手法 です。 GitOps では、Git を用いて Kubernetes のリソース構成情報を宣言的に記述・管理します。 GitOps によるメリットは下記などが挙げられます。 生産性の向上 Git の操作(
The Architecture of a Modern Startup | by Dmitry Kruglov | Nov, 2022 | Better Programming
workflow — all images by authorThe Tech side of startups can sometimes be very fluid and contain a lot of unknowns. What tech stack to use? Which components might be overkill for now but worth keeping an eye on in the future? How to balance the pace of business features development while keeping the quality bar high enough to have a maintainable codebase? Here I want to share our experience buildi
ちょうどよいビルドツールEarthlyの紹介
ちょうどよいビルドツールEarthlyの紹介 ビルドツールと呼ばれるものは昔から現代まで使われているMake、JavaやKotlinでは一般的なGradle、Googleで使われていたものをOSS化したBazelあたりが有名です。他にも様々なビルドツールが存在するのですが、知名度は低いものの最近自分が注目しているEarthlyというビルドツールを紹介します。 まずEarthlyの特徴をBazelやGradleといった他のビルドツールと比較して簡単に紹介します。 Dockerfile + Makefile風のDSL どんなビルドツールでも基本的には独自DSLでビルド設定を書くことになりますが、EarthlyはDockerfileとMakefileを合体させたようなDSLとなっており、他のビルドツールと比較して分かりやすい方だと思います。このDSLについては後述しますが、このサンプルコードでも
Amazon Web Services ブログ AWS App Runner のご紹介 この記事は Introducing AWS App Runner を翻訳したものです。 本日、 AWS 上でコンテナ化された Web アプリケーションをビルド、および実行するための最も簡単な方法である、 AWS App Runner を発表できることを嬉しく思います。 App Runner はコンテナネイティブのフルマネージドサービスです。オーケストレーターの設定、ビルドパイプラインの準備、ロードバランサーの調整、 TLS 証明書のローテートなどは必要ありません。そしてもちろん、管理すべきサーバもありません。 App Runner はアプリケーション実行時間に対する秒単位での課金と、セキュアなプロダクションワークロードを実行するために必要な全てを提供します。たった数クリックで、パブリックなエンドポイント
actions/artifacts@v4アツい、CIの話題多め、おまけあり｜Productivity Weekly(2023-12-20号)
こんにちは。サイボウズ株式会社 生産性向上チームの平木場です。 僕たち生産性向上チームは毎週水曜日に Productivity Weekly という「1 週間の間に発見された開発者の生産性向上に関するネタを共有する会」を社内で開催しています。 本記事はその時のネタをまとめたものです。 2023-01-25 号から、基本的に隔週で連載することとしました。たまに単独でも投稿するかもしれません。 今週は 2023-12-20 単独号です。 今回が第 137 回目です。過去の記事はこちら。 生産性向上チームのマスコットキャラクター、セイサンシャインくん爆誕 news 📺 GitHub Actions - Artifacts v4 is now Generally Available - The GitHub Blog actions/upload-artifactとactions/downloa
システム部の福原と申します。 前回に引き続き、あーだこーだしている日常を並べていきます。 ご笑覧あれー。 プロローグ：バッチをECSで動かしたい 同僚氏：というわけで、このプロジェクトはPythonのバッチをDockerで動かしたいです。環境の方よろしくおねがいします。 、、、ふむっ。バッチか。。。 REST APIをSpring Bootで立てるってのはもうやったことあるが、これは定期的単発実行の処理だ。 どうしよう？ うちらはAmazon Elastic Container Service (ECS) を使っている。 バッチ実行はこれ↓に従えばよさそうだ。 クラシック Amazon ECS コンソールを使用してスタンドアロンタスクを実行する方法 そういえば弊社の場合バッチ処理は、Hinemosに実行管理させる決まりだ。 HinemosからECSタスクを起動するのどうしよう？ うーむ。な
Amazon Inspector Now Scans AWS Lambda Functions for Vulnerabilities | Amazon Web Services
AWS News Blog Amazon Inspector Now Scans AWS Lambda Functions for Vulnerabilities Amazon Inspector is a vulnerability management service that continually scans workloads across Amazon Elastic Compute Cloud (Amazon EC2) instances, container images living in Amazon Elastic Container Registry (Amazon ECR), and, starting today, AWS Lambda functions and Lambda layers. Until today, customers that wanted
[アップデート]AWS Control Towerのランディングゾーン3.2がリリース！Security Hubサービスマネージド標準のドリフトが検出できるようになりました！ | DevelopersIO
[アップデート]AWS Control Towerのランディングゾーン3.2がリリース！Security Hubサービスマネージド標準のドリフトが検出できるようになりました！ みなさん、こんにちは。 明るい笑顔がトレードマーク、ルイボスティーが大好きな芦沢(＠ashi_ssan)です。 AWS Control Towerのランディングゾーン3.2がリリースされました！ 例のごとく、AWS What’s newよりアップデートブログが公開されています。 ブログではControl TowerとSecurity Hubの統合と書かれていますが、実質的にはランディングゾーン3.2のリリースだと理解したので本ブログのタイトルにはそのように表記しました。 概要 ランディングゾーンとは？ そもそもランディングゾーンとは、AWSのベストプラクティスに基づいて構成したアカウントをスケーラブルに展開していくた
![[アップデート]AWS Control Towerのランディングゾーン3.2がリリース！Security Hubサービスマネージド標準のドリフトが検出できるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/86be0cb0b6ad6a31b63f448f6dc9c714d28374a7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-control-tower.png)
インフラ構築経験ほぼ無しの私がモダンスタックで新サービスを公開するまでの歩み - エス・エム・エス エンジニア テックブログ
エス・エム・エスで介護施設への入居マッチングサービス「安心介護紹介センター」の開発をしている中村と申します。「安心介護紹介センター」は2022年3月にローンチしたばかりの新規サービスで昨年から開発プロジェクトの担当をしています。 安心介護紹介センターはゼロからプロダクトを作るプロジェクトだったので、インフラの構成や監視など全てをゼロから考えて作る必要があったのですが、開発チームのメンバーでその経験が豊富な人はおらず、私にいたっては経験ゼロ。いつもインフラについては社内のインフラチームだったり他の誰かに設計・構築してもらい、自分はアプリケーションのコードを書くのみで、ALBもIAMもSecurity Groupも名前と役割は知っているけれど、自分でAWS環境で設定したことはありませんでした。またローカル環境構築のためにDockerを利用してはいましたが、コンテナでサービスを運用したこともあり
FireLens(Fluent Bit)におけるタグの仕組みについて調査してみた | DevelopersIO
こんにちは、つくぼし(tsukuboshi0755)です! 皆さんはECS(Fargate)のログドライバーにFireLensを用いた事はありますでしょうか？ FireLensを使用する事で、カスタマイズ次第で柔軟なコンテナログルーティングを実現できるため、非常に便利です。 しかし実際に触ってみると、ログルーティング設定のベースとなっているFluent Bitのタグの仕組みが、思ったより難しいと感じるかもしれません。(私も理解するのに結構苦労してます。。。) そこで今回は、Fluent Bitにおけるタグの仕組みの観点から、FireLensを用いたログルーティングの設定方法についてまとめてみたいと思います！ Fluent Bitにおけるタグとは そもそもFluent Bitにおけるタグとは、どのようなものでしょうか？ Fluent Bitの公式ドキュメントでは、以下の通り説明があります。
AWS Cloud Development Kit v2 開発者プレビューのお知らせ | Amazon Web Services
Amazon Web Services ブログ AWS Cloud Development Kit v2 開発者プレビューのお知らせ AWS Cloud Development Kit (AWS CDK) v2が開発者プレビューとして、TypeScript、Python、Java、C#、Go言語で利用できるようになりました。AWS CDKは、使い慣れたプログラミング言語を使ってクラウドアプリケーションのリソースをモデル化し、プロビジョニングするためのオープンソースのソフトウェア開発フレームワークです。AWS CDKを使用すると、インフラストラクチャをコードとして定義し、AWS CloudFormationを通じてプロビジョニングすることができます。AWS CDKは、実績のあるデフォルト値で事前に設定された高レベルなコンポーネントを提供しているため、専門家でなくてもクラウドアプリケーションを
はじめまして！hacomono インターン生の、インフラとウマと馬が大好きなかわにーと申します。お馬さんかわいい。 2022年6月に入社してから2年弱経ち、このタイミングでやってきたことの整理として振り返り記事を書いています。 hacomono のインターンに興味を持っていただける方の参考となれば幸いです。 （※編集部注：2024年1月現在、hacomono開発チームのインターンは募集停止しております。再開次第、hacomonoプロダクト公式Xなどでお知らせいたします！） hacomono に応募したきっかけ 大学に入学してから今まで、気の赴くままに趣味として低レイヤやインフラ技術を学んでいました。何か役に立つようなプロダクトを作るわけでもなく、ただ自分の好奇心に従って。 しかし、大学院修士1年の頃、早期選考、インターン….、就活早期化の波が押し寄せます。 趣味ばかりで実務経験のない私は、
こんにちは。サービス部の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2023年版です。 こんにちは。サービス部の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2023年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2022年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 234個 です。 まとめるにあたって、
研究成果公開の新たな国際標準に向けた筑波大学の取組 筑波大学人文社会系・池田潤（いけだじゅん） 筑波大学URA研究戦略推進室・新道真代（しんどうまさよ），森本行人（もりもとゆきひと） 2020年4月1日に，国立大学法人筑波大学とオープンアクセス（OA）出版プラットフォームの提供を行うF1000 Research社は，研究分野にとってより適した言語を英語・日本語から選び，研究成果を公開することが出来る，世界初の「オープンリサーチ出版ゲートウェイ」（以下「筑波大学ゲートウェイ」）の開発に向けた契約を締結した。2020年11月の公開を予定している。 日本のOAは着実に進んではいるが，諸外国と比較するとやや出遅れており，リーダーシップを発揮しているとは言い難い。また，過度に英語に依存した学術情報コミュニケーションにも問題がないとは言い切れない。そこで，本学が日本で初めて後述のF1000 Resea
【アップデート】ECS on FargateがsystemControlsをサポートし、カーネルパラメータが調整できるようになりました | DevelopersIO
【アップデート】ECS on FargateがsystemControlsをサポートし、カーネルパラメータが調整できるようになりました CX事業部@大阪の岩田です。 8/9付のアップデートでECS on Fargateのタスク定義で指定可能なパラメータが増えました 今回のアップデートで指定可能になったパラメータは以下の2つです。 systemControls pidMode 本ブログでは上記アップデートのうちsystemControlsについてご紹介します。 systemControlsとは ECSのタスク定義ではsystemControlsというパラメータが指定可能です。このパラメータはdocker run の --sysctlオプションに相当し、Linuxカーネルの各種カーネルパラメータが設定できるパラメータとなっています。従来このパラメータはECS on Fargateでは指定できず
As part of our standard toolkit, we provide each developer at Skroutz with a writable database snapshot against which she can develop. These snapshots are updated daily through a pipeline that involves taking an LVM snapshot of production data, anonymizing the dataset by stripping all personal data, and transferring it via rsync to the development database servers. The development servers in turn
⚠️ AWSGoat Module 2 のネタバレあり はじめに AWSGost とは 攻撃方法の分類 インフラの料金 ラボ環境の構築 AWSGost リポジトリをフォーク Actions secrets でクレデンシャルを設定 GitHub Actions でデプロイ Module 2の大体の流れ Step 1. SQL Injection 解法 脆弱性があるコード Step 2. File Upload and Task Metadate リバースシェルの用意 待ち受け側 Step 3. ECS Breakout and Instance Metadata 現ユーザの権限を確認 リソースへのアクセスを試行 ケイパビリティを確認 (www-data ユーザ) コンテナ内でroot権限を取得 sudo可能なコマンドを確認 Vim経由でroot権限のシェルを取得 ケイパビリティを確認 (ro
D2O：大学出版局と図書館の連携による学術単行書のOA化モデル 京都大学学術研究支援室・藤川二葉（ふじかわふたば） 2021年3月，米・マサチューセッツ工科大学出版局（MIT Press）は，アルカディア基金の支援を受け，「大学出版局と研究図書館（research libraries）が協力し，新しい学術出版のエコシステムを作り上げる大胆な実験」として “Direct to Open（D2O）”モデルによる学術単行書のオープンアクセス（OA）化プログラムを開始した。D2Oは，図書館の共同出資により学術単行書の持続可能なOA化を実現するモデルである。このD2Oモデル開発の背景と具体的な設計について記載した，2022年1月公開のホワイトペーパー “The MIT Press Open Monograph Model: Direct to Open”は，本モデルを，著者，読者，図書館等，どのステ
みなさん、こんにちは。horsewinです。 AWS CDK Advent Calendar 2021 9日目の記事となります。 CDKのCI/CD化を手助けしてくれるConstructの1つである、CDK Pipelines（@aws-cdk/pipelines module）に触れていきます。 複数人でCDKを利用したCI/CDを導入する上でぜひ検討の1つにしてみてください。 今回触れること、触れないこと 本記事では次の内容について触れていきます。 CDK開発にCI/CDを組み込むモチベーション CDK Pipelinesとはなにか CDK Pipelinesを利用する上でのTips 次の内容には触れません。ただしAWS公式のドキュメントやリンクをリファーはしますので適宜参考にしてください。 CDK Pipelinesの作成の流れ（ハンズオンなど） CDK/CFnで悩むリソース参照方式
先日ちょっとしたAPIをLambdaとAPI Gatewayを使って作ったので、これを機会に最近の弊社のLambda構築状況について書きたいと思います。 TL;DR あるいは まとめ LambdaはECRによるイメージで起動。こうすることで、開発はイメージを作るところまで、インフラはイメージから後、というように分業できる aws-lambda-powertoolsはいいぞ API GatewayはOpenAPIをterraformに読み込ませることで簡単に設定できる Lambdaのruntime Lambdaは2020年12月からコンテナイメージをサポートしました。これは、ECRに置かれたコンテナイメージをLambdaが読み込んで起動する、というものです。 弊社ではLambdaは基本的にこのコンテナイメージからの起動で構築しています。 コンテナイメージを使う利点は以下の2つです。 コンテナ
入門から実践まで CircleCI のノウハウが凝縮された「CircleCI 実践入門」を読んだ - kakakakakku blog
9月に出版された「CircleCI 実践入門」を読んだ．素晴らしかった！なぜ CI/CD が必要なのか？という背景から，CircleCI 入門，CircleCI 実践まで，網羅的に解説されている．ボリュームは多く，読みごたえはあるけど，必要な箇所から読むこともできる．また「継続的デリバリー」と「継続的デプロイ」の違いが明確に解説されているのも良かった．今回は著者の1人である CircleCI の Kim さん (@kimhirokuni) に献本をいただいた．ありがとうございます！出版おめでとうございます！ CircleCI実践入門──CI/CDがもたらす開発速度と品質の両立 (WEB+DB PRESS plus) 作者:浦井 誠人,大竹 智也,金 洋国発売日: 2020/09/14メディア: 単行本（ソフトカバー） 目次 第1章「なぜ CI/CD が必要か」 第2章「CircleCI の
古いCircleCI Slack通知からの移行の道
この記事は、CircleCI Advent Calendar 2021 の3日目です。 昨日は、2021年のChangelogから振り返るCircleCI - その2 でした。そんなのあったのか、と気付かされる内容だったので、その3も楽しみです。 この記事でやることについて、3行まとめ 自社用のSlackアプリを登録する Orbsを利用してSlack通知のための設定を投入する 昔からあるSlack通知設定について、APIを直接コールして停止する ことはじめ CircleCI を使い始めて、早5年。途中で、プランを Performance プランに変えたり、CircleCI 2.x にバージョンがあがったりなど、対応しながら使っています。自分たちの開発チームでは、20プロジェクトほどのビルドや、デプロイをCircleCI上で行っています。 そんなこんなで昔から使っているため、もとからCirc
SageMaker Serverless Inferenceも使っているNewsPicksの機械学習システムの構成を紹介します！ - Uzabase for Engineers
こんにちは。NewsPicksエンジニアの雲越です。 NewsPicksでは、記事のレコメンドを始めとする機械学習を組み込んだシステムがいくつか動いており、中にはAmazon SageMakerを使って実装されているものもあります。 今回はそんなシステムの一つである記事分類システムが、どのようにSageMakerを使っているかについて紹介します。 どんなシステム？ 学習について Training Jobを利用している背景 推論について Serverless Inference導入 CDKで推論エンドポイントを作るのをやめました 今回の対応まとめ 今後の改善 終わりに どんなシステム？ NewsPicks編集部によってオリジナル記事が投稿されたり、URLピックという機能やRSSによって外部メディアの記事が取り込まれたりすると、NewsPicks内に記事が登録されます。 この際に、その記事のタ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS Graviton2 プロセッサを搭載した Amazon EC2 M6g インスタンスが一般利用可能に
Github ActonsとKubernetesを使って効率的にデモ環境を作る
Lambda + Monolithはアンチパターンなのか？ マイクロサービスでなく「小さくはじめる」選択肢
Kubernetesの導入で考えたこと、一緒に導入したもの - アクトインディ開発者ブログ
ECRをパブリックレジストリとして利用可能になりました！ #reinvent | DevelopersIO
Terraformの構成 - tech.guitarrapc.cóm
クラウド時代におけるポテンヒットの防ぎ方 - NRIネットコムBlog
AWS Copilot をひと通り使ってみた - 本日も乙
SSR/SSG/ISRって何？？ AWSでホストする方法
GitOps とは? ArgoCD による、Kubernetes への継続的デリバリーを実現しよう
AWS App Runner のご紹介 | Amazon Web Services
バッチシステムをAmazon ECSで作った話 - GMO Research & AI Tech Blog
hacomonoでインターンを始めてから今までの振り返り - hacomono TECH BLOG
【2023年】AWS全サービスまとめ | DevelopersIO
E2288 – 研究成果公開の新たな国際標準に向けた筑波大学の取組
Uncovering a 24-year-old bug in the Linux Kernel
やられAWS環境「AWSGoat」でペンテストを学習 - まったり技術ブログ
E2518 – D2O：大学出版局と図書館の連携による学術単行書のOA化モデル
CDK Pipelines を導入した複数人開発のススメ - Qiita
最近やってるLambdaとAPI Gatewayの開発方法の話