CDKとGithub ActionsによるCI/CDパイプライン | DevelopersIO
その昔、初めてのサーバーレスアプリケーション開発というブログを書きました。 このシリーズを通して出来上がるものは、AWSのコードシリーズを用いてAWSリソースをデプロイするためのパイプラインです。 時は流れ、2020年。同じような仕組みを作るのであればCDKとGithub Actions使いたいという思いに駆られたので、こんな感じのパイプラインを作成してみました。 今回作成したコードは以下のリポジトリにあげています。 cdk-github-actions 目次 CDKとGithub Actions 今回構築するアプリケーションの全体構成はこちら。 CDKで「クライアントからリクエストを受けて文字列を返却する」簡単なアプリケーションを作成します。 AWSにデプロイされるまでの流れは以下のようになります。 ローカルでCDKを使ったアプリケーションを作成 featureブランチを作成しmaste
Kubernetes実践トラブルシューティング
以下イベントの発表資料です。 https://k8sjp.connpass.com/event/218143/
Below: a time travelling resource monitoring tool
In this blog post we introduce below, an Apache 2.0 licensed resource monitor for modern Linux systems. below was designed and developed by the resource control team at Facebook to view and record historical Linux system data. The resource control team, as the name suggests, is responsible for resource management of Linux systems at scale. Background One of the kernel’s primary responsibilities is
AWS CDK が、単体テストと CDK パイプラインサポートのアップデートを含む v1.111.0 - v1.116.0 をリリース
2021 年 7 月、JavaScript、TypeScript、Java、Python、.NET、Go 向けに AWS Cloud Development Kit (CDK) の 6 つの新しいバージョン (v1.111.0～v1.116.0) がリリースされました。これらのリリースにより、CDK Pipelines は新しい API で一般的に利用可能になり、あらゆる形状とサイズのクラウドアプリケーションのマルチ環境デプロイメントパイプラインを簡単に定義できるようになります。さらに、すべての CDK 言語で利用できる新しいアサーションライブラリに、findResources() などの新しいクラウドテストプリミティブが含まれるようになりました。これらのリリースには、ライブラリ全体の 30 の異なるモジュールに関する 24 件のバグ修正や 50 の新機能も含まれています。こうした変更の多
CloudWatch ダッシュボードの共有 - Amazon CloudWatch
CloudWatch ダッシュボードは、AWS アカウントに直接アクセスできないユーザーと共有できます。これにより、チーム間ではもちろん、利害関係者や組織以外の相手ともダッシュボードを共有できます。チームエリアの大画面にダッシュボードを表示したり、Wiki やその他のウェブページに組み込んだりすることもできます。 ダッシュボードを共有するすべてのユーザーに対し、アカウントの ダッシュボードを共有しているユーザーに付与されるアクセス許可 に一覧表示されているアクセス許可が付与されます。ダッシュボードをパブリックに共有する場合は、ダッシュボードへのリンクを持つすべてのユーザーに対し、これらの許可を付与することになります。 cloudwatch:GetMetricData および ec2:DescribeTags アクセス許可は、特定のメトリクスまたは EC2 インスタンスに対しスコープダウンす
AWS Distro for OpenTelemetry は、Amazon CloudWatch Container Insights における Amazon ECS のサポートと、Amazon Managed Prometheus (Preview) における AWS Lambda アプリケーションのメトリクスサポートを追加します (プレビュー)
本日、AWS Distro for OpenTelemetry (ADOT) は、Amazon CloudWatch Container Insights (プレビュー) の Amazon Elastic Cloud Compute (EC2) で実行される Amazon Elastic Kubernetes Service (EKS) メトリクスのサポートを追加しました。これにより、お客様は、Amazon CloudWatch の他のメトリクスとともに、コンテナメトリクスを簡単に収集して分析できます。また、AWS Lambda アプリケーションのメトリクスを収集して、Amazon Managed Service for Prometheus (プレビュー) に送信することもできます。 今回のリリースでは、ADOT Collector を使用して、CPU、メモリ、ディスク、ネットワークステ
Amazon EKS でなんかいい感じにスポットインスタンスを使う - Qiita
本記事は Amazon EKS Advent Calendar の20日目です！（何故人は直前にならないと書き始めないのでしょうか。私だけですかね。すいません） 少し前に「AWS が Kubernetes でのスポットインスタンスノードの自動ドレイニングをサポート」というリリースがありました。本記事では、リリース内で触れている「AWS Node Termination Handler」を中心に、大幅なコスト削減に利用できるスポットインスタンスを Amazon EKS と組み合わせて使うことについて説明します。結構簡単なのでぜひ試してみて下さい。（スポットインスタンス初心者大歓迎です） スポットインスタンス とは 詳細な説明は 公式ドキュメント を参照して頂ければと思いますが、簡潔に言うとスポットインスタンスとは 制約 を受け入れることで大幅な割引価格で EC2 インスタンスを利用できる機能
An Overview of Docker Desktop Alternatives
It's been a few years since I was a maintainer of minikube, but after the news that Docker Desktop will no longer be free for enterprises and some of the misconceptions of how the technology works, I thought I'd write a post. First, Docker Desktop is a great product, and the tradeoff between implementing an alternative system or paying for my team to use Docker Desktop is a no-brainer. Is it reall
Amazon S3 Storage Lensを使ってストレージコストを下げる5つの方法 | Amazon Web Services
Amazon Web Services ブログ Amazon S3 Storage Lensを使ってストレージコストを下げる5つの方法 このブログはMark Kalus (Principal Product Manager with Amazon S3)とLee Kear(Storage Specialist Solutions Architect specializing in S3)によって執筆された内容を⽇本語化したものです。原⽂はこちらを参照して下さい。 Amazon S3のバケット数が増え、数十から数百のアカウントにまたがっている場合、増大するストレージの管理とコスト効率の改善ができるツールをお探しではないでしょうか。S3 Storage Lensは、S3コンソールに組み込まれた分析機能で、オブジェクトストレージの使用状況やアクティビティの傾向を組織全体で可視化し、コスト削減の機
【Ruby】LinuxとRubyとCoW - 地方エンジニアの学習日記
hiboma.hatenadiary.jp こちらのアンサー記事を書いてみますw なぜ CoW の話が出てきたのか なぜCoWを気にしたのかを話すとまず社内で動かしているAPIサーバがメモリ利用過多となってアラートがなったのが話のスタートでした。サービス自体はUnicornを使って動いています。 メモリ利用過多となったときに調べる手法は言語ごとに様々ですが私はRubyの経験がほぼなくプロファイラなども使ったことがありません。この状況でできることは/procを見るくらいしかなかったので/proc/$pid/smapsを見始めました。そこで始めたのがメモリ共有率の計算でした。 以下のツールを書いてUnicornの親子プロセスのメモリ共有率を確認するとなんと40~60%程度となっていて「え！？」ってなったのが始まりでした。プロセスの生存期間が長いのかと思ったのですが起動時間も出すと数分前に起動し
Rubyのメモリ割り当て方法とcopy-on-writeの限界（翻訳）｜TechRacho by BPS株式会社
概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: The Limits of Copy-on-write: How Ruby Allocates Memory 公開日: 2017/08/28 著者: Brandur サイト: https://brandur.org/ Unicorn（またはPumaやEinhorn）を実行していると、誰しもある奇妙な現象に気がつくでしょう。マスタからforkした（複数の）ワーカープロセスのメモリ使用量は開始当初は低いにもかかわらず、しばらくすると親と同じぐらいにまでメモリ量が増加します。大規模な本番インストールだと各ワーカーのサイズが100MB以上まで増加することもあり、やがてメモリはサーバーでもっとも制約の厳しいリソースになってしまい、しかもCPUはアイドル状態のままです。 現代的なOSの仮想メモリ管理システムは、まさにこの状況を防止するために設
GitHub Actionsとtfupdateを使ってTerraformおよびTerraform Providerのバージョンアップを自動化する - ZOZO TECH BLOG
はじめに こんにちは。SRE部MLOpsチームの築山（@2kyym）です。 Infrastructure as Code（IaC）が一般的になり、またパブリッククラウドをフル活用したインフラ構築が当たり前となりつつあります。そんな中で、インフラの構成管理にTerraformを用いているチームも多いのではないでしょうか。本記事ではTerraformを用いたインフラ構成管理において避けては通れないTerraformやProviderのバージョンアップを自動化し、IaCの運用負荷を削減する方法をご紹介します。MLOpsチームでの運用を参考に、具体的な設定やハマりどころを交えつつ解説できればと思います。 目次 はじめに 目次 Terraformとは MLOpsチームにおけるTerraform運用の背景 Terraform管理の対象リソース Terraform運用において生じた課題 tfupdate
【サービス終了2022/03/01 Hacobune】Discord Bot起動してみた - Qiita
追記: 2022/03/01にサービス提供終了します とても悲しいですが、2022年3月1日（火）にサービスが終了するみたいです この記事からHacobuneを使われた方には大変申し訳ないですが、他サービスへの移行をお願いします。 Discord Botについて紹介もしてるため記事は残して置きますが、Hacobuneではなく他のコンテナサービスで起動をお願いします。 他サービスで起動する方法について今後作成します。 概要 さくらインターネットのHacobuneというサービスでDiscordのBotを運用しています。この起動手順についてまとめます。 Hacobuneは今はβ版のお試し期間なので無料で使えます。すごく簡単なのでお試しください。 Node.jsとTypeScript、Dockerで作成した私のGithubレポジトリで環境を構築していきます。 できるようになること Discordの
2021/9/9 「SRE Gaps 理論と実践からSREを再考する」イベントリポート | sreake.com | 株式会社スリーシェイク
この記事では、SRE提唱、SREサービス提供、SREの大組織での導入について語り尽くしたイベントを要約しお伝えします 2021/9/9 「SRE Gaps 理論と実践からSREを再考する」イベントリポート 先日、『SREの探求』刊行記念として実施されたオンラインイベント、「SRE Gaps 理論と実践からSREを再考する」についてのイベントリポートです。 講演は、『SREの探求』の監訳者であり、外資系ソフトウェア企業で開発者向けマーケティング（デベロッパーアドボケイト）として勤務する山口能迪さん（@ymotongpoo）、当社スリーシェイクでSREサービス事業部の部長である手塚卓也 （@tt0603）、そしてNTTデータでデジタルペイメント開発を行う矢口拓実さん (wantedly) がそれぞれ講演・パネルトークを行いました。 主催はForkwellの重本湧気さん (@xigemoto)、
CIOpsとGitOpsの話 - inductor's blog
はじめに GitOpsという言葉が生まれたのが自分の知る限り2017年頃なのですが、世の中にあるCI/CDの仕組みはまだほとんどがCIOpsもしくは手動のオペレーションによって成り立っていると思っていて、かつては自分もそうだったのですが「Gitで管理されていればGitOpsなんでしょ？」という勘違いを払拭したくてこのエントリーを書いています。 GitOpsとCIOpsは全然違う まず前提としてGitOpsの明確な定義を知らないという場合、あなたの思う「Gitを契機とした自動デプロイの仕組み」は基本的にはCIOpsです。GitOpsとCIOpsは思ったよりも大きな違いがあって、そもそもGitOpsの必要性が分かっていない場合、自動化によって成立しているデプロイはCIOpsが基本です。 CIOpsとGitOpsの一番の違いは、Push型かPull型かである CIOpsの場合、例えばGitHub
AWS Config の料金がなぜこんなに高い？ Amazon Athena でどのリソースが Config の記録対象になっているか調べてみた | DevelopersIO
わたしの検証環境で試していきます。 Config の設定確認 AWS Config 配信チャネルで、出力先の S3 バケットがどこであるか確認しましょう。 普段独立したリソースとして意識する機会は少ないと思いますが、マネジメントコンソールで以下から確認できる部分は配信チャネルの設定を表しています。 S3 バケットに格納されたオブジェクトの URI の例は以下です。 s3://バケット名/AWSLogs/アカウント番号/Config/ap-northeast-1/2021/9/24/ConfigSnapshot/ファイル名.json.gz ちょっとした気づきですが、yyyy/mm/dd形式になっていません。2021/09/24のように月や日を 2 桁に揃えてくれるわけでなく、元の数字が 1 桁のままであればそのまま 1 桁です。 Athena のクエリ結果の出力先 S3 バケットの作成 今回
初心者でもわかるコンテナ / Docker / ECS 話 | DevelopersIO
こんにちはクラスメソッドのスジェです。 今回、devio 2021 decadeでECSに関する内容で登壇するので、その内容をブログでまとめてみようと思います。 ECSというサービスがあることも分かっているし、たくさん使っていることも分かっているけど、どんなサービスなのか？ なぜ使うのか？コンテナは何か？ などコンテナについてよく知らない初心者でも理解できるように、コンテナとDocker、ECSについてご説明したいと思います。 始まり Amazon Elastic Container Service (Amazon ECS) は完全マネージド型コンテナオーケストレーションサービスであり、コンテナ化されたアプリケーションを簡単にデプロイ、管理、スケールするのに役立ちます。- AWS ECS 公式ページ紹介文 コンテナについてよく知らない初心者に「コンテナ化されたアプリケーション」、「コンテナ
CoWはコウ可視化するんやで (aka. Rubyなどがforkした後のCoWを可視化してみる) - ローファイ日記
同僚の皆さんへのアンサーソングです。 hiboma.hatenadiary.jp ryuichi1208.hateblo.jp RubyKaigi やらですっかり遅く... と思ったがRubyKaigi takeoutの振り返りも書いてない... タイトルの通り（通り？）、forkしたプロセスがCoWをどれくらい起こしているか可視化するツールを作りました。 github.com まだ私の理解が浅いところもあるのですが、いったん動作例などを掲示してみます。 hiboma.c の場合 上のhibomaさんのCoWのサンプルプログラムの例です。プロジェクトのmiscというディレクトリ の下に exec_waiter.rb という補助スクリプトを置いてあります。それを経由してプログラムを起動すると、親のPIDを表示して実行が停止します。 cowsnoop/misc$ ruby exec_waite
Making Aurora Write Latency 15x Higher (or More!) by Choosing a Bad Primary Key
Primary Key design is an important thing for InnoDB performance, and choosing a poor PK definition will have an impact on performance and also write propagation in databases. When this comes to Aurora, this impact is even worse than you may notice. In short, we consider a poor definition of a Primary Key in InnoDB as “anything but quasi sequential values”, which may cause very random access to dat
Xiaomi's secret blacklist of phrases sounds scary, but it may not be what it seems
After Lithuania told its citizens to avoid Xiaomi phones over censorship concerns, we've taken a look to see if the claims have any validity. Chinese smartphone makers are often under heavy scrutiny due to geopolitical reasons, and the company that has taken the brunt of criticism is Huawei. However, other companies like Xiaomi haven't been left untouched, as the world's number one smartphone vend
AliExpressで格安CO2レーザー加工機を買ってみた（出力100W 加工範囲90cm x 60cm）｜バーチャルロボット建造師 華姉りあん / リアルロボット建造師 石田賢司
こんにちは！バーチャルネットアイドルの華姉りあんです。 勇者ロボ（変形合体する人型ロボが喋ったりする）を作ろうとして日々活動しているわけですが、うちの機材は切削加工系(CNC、高速切断機、バンドソー、ボール盤など）と3Dプリンタ系(FDM式、光造形式）はそこそこあるものの、レーザー加工機が無いのが長い間気になっていました。 ちょっとしたアクリルや木材の加工なら電動のジグソーや丸鋸で、精度が必要ならCNCフライスで削ってしまうので、レーザー加工機が無くてもなんとかなっていました。でもレーザー加工機があったら楽に切り出ししたり刻印したりと、可能性が広がるんじゃないかという期待はずっとありました。 一度試しに半導体レーザー加工機を買った事があるんですが、3mmのベニヤ板がギリギリ切れるか切れないかという出力しか無く、アクリルは黒色の物以外は全く切れない、プラダンも全く切れない・・・という感じの結
GitHub - landley/toybox: toybox
Toybox: all-in-one Linux command line. --- Getting started You can download static binaries for various targets from: http://landley.net/toybox/bin The special name "." indicates the current directory (just like ".." means the parent directory), and you can run a program that isn't in the $PATH by specifying a path to it, so this should work: wget http://landley.net/toybox/bin/toybox-x86_64 chmod
GitHub Actions + google-github-actions/auth で GCP keyless CI/CD
GitHub Actions + google-github-actions/auth で GCP keyless CI/CD 追記 2021/10/08 v0.3.1 にすると aud 周りの設定変更が必要 ソース 追記 2021/10/07 OIDCトークン発行元のURLが変更になったようです ソース 要約： GitHub ActionsでCI/CD的なことやろうとしたとき、SecretsとかにGCPのService AccountのKeyとか置かなくてもデプロイとかできるようになったらしいのでやったらできた。 経緯 AWS federation comes to GitHub Actions という記事が出て。 GitHub ActionsのOIDC id tokenでGCPにアクセスしてみた といってGCPでもやれるか確かめた人が出て。 Use gcloud with creden
[注意喚起]AliexpressからKingSpecのSSDの購入は止めた方が良い - AZオーディオレビュー
お断り： この記事の内容は私の実体験であり 日本の代理店が販売しているKingSpec SSDに問題があるとは限らない また、AliexpressのKingSpec SSD Storeは正規代理店と自称するが 私はこれを証明する手段もない オーディオ関連の話じゃないけど誰でも遭遇しそうな案件なので話させて頂く 箱にはMLC/TLCと書いてあった 新しく入手したASUS Zenbook UX303LAはハーフサイズのmSATA SSDをサポートしている 買おうとしてらAmazon.co.jpの方が容量が小さかったり値段もたかったので AliexpressからKingSpec half-size mSATA 256GB SSDを購入した 値段も256GBにしては普通の値段だし(日本の方が高いだけ) KingSpecの評判は普通だが悪さをする怪しいメーカーじゃないから買った 一応正規代理店を意識
![[注意喚起]AliexpressからKingSpecのSSDの購入は止めた方が良い - AZオーディオレビュー](https://cdn-ak-scissors.b.st-hatena.com/image/square/5c729a2f33010d2227fb1cfa7c4a378f761e9bc2/height=288;version=1;width=512/https%3A%2F%2Fblogimg.goo.ne.jp%2Fuser_image%2F47%2F46%2F6cb413962a4e5e7fe5a404c71c1de746.png)
古いスマホの救世主か、Ubuntu Touchで出来ること（質問まとめ）
手元にカスタムROMを入れたNexus 5やピュア状態のXperia XZがあって、いずれもUbuntu Touchに対応している。そこで同OSは何ができるのかを調査、その内容をシェアしたい。 （注意）この記事は随時アップデートしていく。 下記は私がUbuntu Touchを導入するにあたって抱いた疑問を書いていく。 OSや開発チームに対する疑問 Q.どの端末に使えるのか？ A.2021年9月25日時点の最新アップデート版に対応している端末は前回の記事に掲載。旧バージョンを含めると同日時点で75端末（最新情報の対応端末ページへ）となっていた。 Q.日本語に対応しているのか A.セットアップで「日本語」を選択すればOK. Q.モバイル通信はできるのか A.APN設定だけで通信できたという報告あり。 Q.デスクトップモードってあるの? A.YES.（Convergenceという目標を掲げ、スマ
Go、D言語、Nim、Rust製マルウェアが増えている怖いワケ
攻撃者は、新種のマルウェアの作成に「風変わりな」プログラミング言語を使うことが増えている。これには、新しくてあまり一般的ではない言語を使うと攻撃の検出を回避し、分析を妨げる効果があるという前提がある。 関連記事 Go言語に注力するDynatrace JavaやPHPからの移行も簡単、改めてGo言語がオススメな理由 関数型言語「Erlang」のススメ──なぜCやJavaではダメなのか？ Microsoftがプログラミング言語「Rust」への支援を強化 「Rust」はなぜクラウドネイティブ開発者の間で大人気なのか？ BlackBerryのリサーチおよびインテリジェンスチームは、一般的ではない言語のサイバー犯罪分野での利用に注目している。 「マルウェアの作成者は、新しい技術を活用するためにスキルと行動を適応させ、変化する能力で知られている」と話すのは、BlackBerryのエリック・ミラム氏（脅
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub Actions で AWS Federation を試す
How to simulate the interruption situation manually to see what aws-node-termination-handler is doing normally · Issue #208 · aws/aws-node-termination-handler
AWS Node Termination Handler
Pixie Protocol Parsing (LPC 2021)
https://lpc.events/event/11/contributions/939/attachments/771/1551/xdp-multi-buff.pdf
https://lpc.events/event/11/contributions/942/attachments/814/1535/bpf_map_tracing_paper.pdf
https://lpc.events/event/11/contributions/946/attachments/783/1472/Socket_migration_for_SO_REUSEPORT.pdf
無料SSLサーバ証明書発行のLet's Encryptに脆弱性 犯罪者が悪用する“穴”とは？