ログコンテナのバージョン管理の為に、ecspresso v2のSSMパラメータストア参照を利用してみた - Qiita
ログコンテナのバージョン管理の為に、ecspresso v2のSSMパラメータストア参照を利用してみたECSSSMecspresso はじめに コンテナデプロイツールであるecspressoですが、ecspresso v2が昨年末にリリースされました！ ecspresso handbookでも紹介されているecspresso v1とv2の変更点の中でも、今回はSSMパラメータストア参照を利用しました。 https://zenn.dev/fujiwara/books/ecspresso-handbook-v2/viewer/v1-v2 何のために利用したか？ ECSのログコンテナ用fluent-bitのイメージですが、 検証環境でstableタグ指定で運用し、ログ転送に問題が無いかをテスト 具体的にはpublic.ecr.aws/aws-observability/aws-for-fluen
[全部乗せ] Amazon Aurora の設定変更で注意が必要なものをまとめてみた | DevelopersIO
アノテーション、テクニカルサポートチームの村上です。 Aurora 利用時に、どんな設定変更を実施するとクラスターやインスタンスにダウンタイムが発生するかご存知でしょうか？ 本ブログでは、ダウンタイムが発生する設定変更と、必ずしもダウンタイムが発生するわけでは無いが注意が必要となる設定変更についてまとめてみました。 ダウンタイムが発生する設定変更 下表の設定変更を実施すると、Aurora クラスター全体または設定変更を実施した DB インスタンスでダウンタイムが発生します。 エンジンバージョンの変更と DB インスタンスクラスの変更に伴うダウンタイムについては、Aurora を長く運用していれば経験されているかと思いますが、他の設定変更についても一度ご確認いただければと思います。 AWS Management Console の使用、コンソール、CLI、API を使用した DB クラスター
![[全部乗せ] Amazon Aurora の設定変更で注意が必要なものをまとめてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0daaf3649414b6f27679779d9a4b12e219c67548/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-aurora.png)
Amazon RDS Proxy が BASE にもたらした期待以上の導入メリット - BASEプロダクトチームブログ
はじめに 基盤チームでバックエンドエンジニアをやっている松田（ @tadamatu ）です。 以前にCTO川口が当ブログ内で公開した以下の記事があります。 devblog.thebase.in 新規接続の限界 BASE のアクセス量の伸びは凄まじくこの構成でも接続エラーが発生するようになってしまいました。 ピーク時に秒間 2 万もの新規接続が primary インスタンスへ行われているといった状態です。 この記事が公開されたのが約２年前で、当時100万程度 だったショップ数は170万を超え、我々はまだまだ伸ばしたいと考えています。 これは、ショップ数の伸びとともに、指数関数的に増えていくユーザのアクセスを捌く必要があることを意味します。 ブログ公開当時、我々はさまざまな検討の末、以下のような対策を取りました。 残された手段は primary のインスタンスに対しての接続数を如何にして減らす
ECS タスクの停止理由を CloudWatch Logs に保管する方法を教えてください | DevelopersIO
困っていた内容 ECS を使用したシステムを構築しています。予期せず ECS タスクが停止した際は、タスクの停止理由を確認しているのですが、しばらくすると停止したタスクはマネージメントコンソールから消えてしまうようです。 表示が消えても構わないように、停止理由を CloudWatch Logs に保管しようと思うのですが、設定する方法を教えてください。 ListTasks - Amazon Elastic Container Service Currently, stopped tasks appear in the returned results for at least one hour. どう対応すればいいの? CloudFormation でecs-stopped-tasks-cwlogs.yamlテンプレートを実行してください。 ecs-stopped-tasks-cwlogs
Oracle Cloudの無料枠でKubernetesクラスタを構築する(完全版) - blog.potproject.net
前回の記事はこちらです。この記事は前回の記事のリマスターみたいなものとなっております。 読む必要はありませんが、この記事よりも詳しく用語の説明をしている部分もあるため、読んだ方が問題が解消できるかもしれません。 Oracle Cloudの無料枠だけでKubernetes(k3s)クラスタを構築する この記事にて、Kubernetesクラスタを作成してから1年と半年ほど・・・ 1年くらいはノーメンテで動作していることを確認していました。 しかし・・・1年を超えたくらいで動作しなくなってしまいまして、やはりスペック に関しては非常に厳しいものがあったようです。 kubectl打ってタイムアウトになってしまうこともしばしばあり、当然ながら実用的にアプリケーションを動作させるのは無理だな、ということでそのまま放置しちゃっていました。 そして時が過ぎて、いきなりすごいニュースが自分のTLに流れてきま
K8sを意識せずにアプリをデプロイできるKubeVelaにシュっと入門
GitHubのトレンドを眺めていたところ、KubeVelaというOSSが目に止まりました。 KubeVelaとは 一言で言えば、開発者が楽にK8sにアプリをデプロイするためのツールセットです。 通常、開発者がK8sにアプリをデプロイする際はPod、Service、Ingress、Resource Request、CRD etc...の概念を理解する必要があり、これらを全て理解することは決して楽ではありません。 KubeVelaはこの労力を最小限にするアプローチの1つとして提供されており、開発者はAppfileという設定ファイルのみを管理するだけで良くなるため、複雑なK8sの設定をあまり意識せずにデプロイすることが可能になります。 今回は、このKubeVelaをローカルのK8sクラスター上に展開しながら、動作を確認していきます。 検証環境 Mac OS Catalina Docker: 19
Snowflake’s Elastic Cloud Services
Authors: Johan Harjono, Dan Karp, Kunal Nabar, Ioannis Papapanagiotou, Rares Radut, Arthur Shi on behalf of the ECS team. Snowflake’s Data Cloud is powered by an advanced data platform provided as Software-as-a-Service (SaaS). Snowflake combines a completely new SQL query engine with an innovative architecture natively designed for the cloud to enable data storage, processing, and analytic solutio
Raspberry Pi4 3台でKubernetesクラスタ構築 - Qiita
ALHアドベントカレンダー2020 12/12(土)はきくりんが担当いたします！！ サーバー、スイッチ、電源、筐体の選定から、組み込み、構築、ナレッジ化とインフラエンジニア総合格闘技的な内容となりました。 目的と背景 ずっとやろうと思っていたラズパイのクラスタ構成を使ったKubernetesの構築ですがこの度ついに着手出来たので情報まとめていきます。 とりあえずクラスタ構成の構築と、webサーバが上がることをゴールとします。 今回クラスタケースの収容数が4つのため、既に持っていたラズパイ3も収容したいと思います。 スイッチングハブと充電器も収容することを考えると3台がMAXだよね、ということに組んでから気付いたので3台構成とします。 一部写真で同居していますがまあ気にしないでください。 構築・ハードウェア編 準備したもの ・新規購入 ※主張の激しいマウスは無関係です。 ・後で追加＋家に転が
Lens | The Kubernetes IDE
Trusted by the world’s best product teams. From innovative startups to iconic enterprises. Unlike Any Kubernetes Tool You’ve Used BeforeDesigned for Developers and DevOps Engineers, Lens provides an unparalleled experience for managing and troubleshooting workloads through one intuitive context-aware UI. The IDE for Kubernetes: Context-aware UIConnect to clusters, explore, gain insights, learn and
Python でクラウドの構成図を作ろう！『Diagrams』でね - 継続は力なり
タダです. 皆さん,普段システムの構成図ってどうやって管理していますか？Excel や PowerPoint,専用のツールを使われていたり色々な方法で管理されているのですが,以前 PlantUML の形式で作図できる「AWS-PlantUML」を紹介させてもらいました. sadayoshi-tada.hatenablog.com 今回も同じコードでの作図ですが Python で記述できるツールの「Diagrams」を紹介します. github.com Diagrams の概要 Diagrams の導入 Diagrams での描画 Web3層構造 サーバレスアーキテクチャ まとめ Diagrams の概要 「Diagrams」は Python でクラウドサービスのアーキテクチャを作図するツールです.「Diagrams」では AWS のほか,Azure,GCP,Alibaba,Oracle C
A visual guide on troubleshooting Kubernetes deployments
A visual guide on troubleshooting Kubernetes deploymentsMay 2024 TL;DR: here's a diagram to help you debug your deployments in Kubernetes (and you can download it in the PDF version and PNG). This diagram is also translated into the following languages: 中文, Translated by Addo Zhang (PDF | PNG)Português — Translated by Marcelo Andrade (PDF | PNG)Español mexicano — Translated by Raymundo Escobar & J
我々は Kubernetes の何を監視すればいいのか？
freee では仮想マシンのインフラ監視に Mackerel を使っていますが、Kubernetes を使っているところは前例にとらわれずゼロベースで見直そうとしています。現状は Elastic Stack と Mackerel のハイブリット構成になっています。 Elastic Stack による Kubernetes モニタリングシステムの紹介 - freee Developers Blog どの SaaS を使うかを決める前に、そもそも Kubernetes の何を監視すればいいのか？ というところから考え直しています。宣言的なマニフェストにより Kubernetes が自律的にあるべき状態を保ってくれるのであれば、これまでの監視とは異なってくるはずです。 監視の観点として、ここでは通知レベルを用いて次の 3 つに分類します。 None: メトリクスは収集するが通知しない Notic
サーバー群への管理者アクセス権限を統制する | ロードバランスすだちくん
シンジです。sshを利用してサーバーへアクセスする際、IDとパスワードでrootにダイレクトアクセスさせてるケースもままあるでしょうが、監査も通らないし乗っ取りリスク高すぎ問題なので辞めたいところです。クラウドを日常的に利用する方々の場合、通常は証明書認証によってサーバーログインを行っていると思います。証明書ファイルが次々と増えていく問題、証明書ファイルを手に入れれば多くの人がサーバーにログインできちゃう問題は目をつぶるしかないのか。 そこでエンプラなどでは、「踏み台サーバー」を作って、そこでアクセス権限をコントロールすることで、サーバーログインへの統制を図るわけですが、第一踏み台から第二踏み台へそして第三踏み台とかいう絶望も現実的に存在している実状です。そもそも、エンプラが踏み台サーバーを自前で作るわけがなく、そういう製品を購入して作ってもらう、はい数千万円、保守費毎年よろしくみたいな世
Kubernetes の TLS 証明書について調べてみた
先日、ステージング環境の K8s クラスタに一切接続できなくなる障害が起きました。調査してみると K8s クラスタの TLS 証明書が失効していたことが原因でした。 ドキュメントにもある通り、kubelet は Kubernetes API の認証に TLS 証明書を使っており、その有効期限はデフォルトで 1 年です。有効期限が 1 年というのは、今回の障害ではじめて知りました。 Certificate Rotation - Kubernetes The kubelet uses certificates for authenticating to the Kubernetes API. By default, these certificates are issued with one year expiration so that they do not need to be rene
Amazon Auroraのデータを高速に『巻き戻す』Backtrack機能がリリースされました！ | DevelopersIO
2018年5月11日 Backtrackの料金情報を追加 大栗です。 個人的にAuroraのアップデートをずっと追っているのですが、アナウンスされてからリリースがされておらずずっと気になっていたBacktrackという即座に過去の状態にもどる機能がリリースされたのでレポートします。 Amazon Aurora Backtrack – Turn Back Time Announcement: Amazon Aurora Backtrack Can Move a Database Back in Time Backtracking an Aurora DB Cluster Backtrackとは？ そもそもはre:Invent 2016のBreakout Sessionで『オンライン ポイントインタイム リストア』としてアナウンスされていました。 【レポート】DAT301: Deep-dive
Amazon Aurora Backtrack – 時間を巻き戻す | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora Backtrack – 時間を巻き戻す こんなご経験、皆さんにもありますよね。重要なプロダクションデータベースに素早く、見かけ上はシンプルな修正を加えなければならないという状況。まずクエリを作成して、ざっと目を通し、そして実行キーを押す。数秒後、WHERE 句を書き忘れたとか、ドロップしたのが誤ったテーブルだったとか、または、他にも深刻な間違いがあったことに気づき、クエリを中断するものの、すでに一部の変更は反映されてしまっている。あなたは深いため息をつき、歯の間から弱々しい音をもらし、Undo (元に戻す) 機能があればよかったのにとうつむくのです。さて、次はどうしますか? 最新の Amazon Aurora Backtrack 今日は Amazon Aurora の新しい「巻き戻し」機能についてご紹介します。 こ
AWS で Kubernetes クラスタを構築して学ぶワークショップ「aws-workshop-for-kubernetes」 - kakakakakku blog
Kubernetes を学ぶため，AWS から公式に公開されているワークショップ資料「aws-workshop-for-kubernetes」を試した．Kubernetes を学ぶためのコンテンツが網羅的にあるため，今回はワークショップの紹介と，実際に試した一部のコンテンツをまとめたいと思う．既に Kubernetes を詳しく知っている人であれば早く進められるかもしれないけど，Kubernetes 初心者だと，理解しながら進めることになるので，全コンテンツを終えるのはかなりの時間が必要になる気がする．ワークショップ資料は全て GitHub に公開されていて，誤植などがあれば，プルリクエストを送ることもできる． github.com なお，ワークショップ資料は AWS Technical Evangelists の「グプタ先生」がメインで作成されていて，それだけでもうモチベーションが上がる
MHAの代替となるか？OrchestratorでMySQLの自動フェールオーバーを試す - Qiita
Orchestratorというツールを最近知り、MHAやmysqlfailoverのような自動フェールオーバーができるということで試してみました。 Orchestratorとは github/orchestrator MySQL、及びMariaDBやPerconaServer等のMySQL互換のDBのレプリケーション構成(Replication topology)を管理するツールで、レプリケーション構成の分析・ビジュアライズ、スレーブの付け替え、自動フェールオーバーなどの機能があります。Perconaのエコシステム(PMM)にもexperimentalながら採用されたり、GitHubのバックエンドでも活躍しているそうです。 中〜大規模、あるいは複雑なレプリケーション構成のクラスタを管理しやすくするためのツール、といった感じです。以下のような機能・特徴があります。 GTID, 非GTID(b
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ラズベリーパイの調理法 構成管理ツール Ansible で Pi2 x 6 のクラスターを構成