OSSでオブザーバビリティを実現する (Grafana Stack x OpenTelemetry on Kubernetes) - RAKUS Developers Blog | ラクス エンジニアブログ
はじめに こんにちは。SREの gumamon です！ NewRelic、Datadog、モダンな監視ツール(オブザーバビリティ)って良いですよね。弊社もKubernetes(k8s)等を利用した環境が増えてきた折、そろそろ必要になってきたのですが、NewRelic、Datadog等のクラウドサービスはランニングコストが高くなりがちです。 では内製できないかやってみよう！・・・というようなことを昨年度から取り組んでいたのですが、やっとこさ形になりましたので改めてブログで紹介させて頂こうと思います。 今回ご紹介するのは、大まかなシステムの構成と設計時の観点です。各コンポーネントの詳細や工夫できた点などについては、改めて別の記事でご紹介できればと思います。 また、「オブザーバビリティとは？」や「試行錯誤の過程」については、以前執筆した以下のブログをご参照ください。 tech-blog.raku
Kubernetesって何？ -大規模なKubernetesを運用するKubernetes as a Serviceチームの話を添えて-
本発表では、まずLINEヤフーについて簡単に説明した後、アプリケーションやシステムを外部に公開する際の負荷分散と耐障害性の重要性について話します。これらの課題を解決するための技術として、Kubernetesとコンテナ技術に焦点を当て、その基本的な概念と利点を解説します。 さらに、Kubernetes運用…
kubectlチートシート
kubectlチートシートこのページには、一般的によく使われるkubectlコマンドとフラグのリストが含まれています。 Kubectlコマンドの補完BASH source <(kubectl completion bash) # 現在のbashシェルにコマンド補完を設定するには、最初にbash-completionパッケージをインストールする必要があります。 echo "source <(kubectl completion bash)" >> ~/.bashrc # bashシェルでのコマンド補完を永続化するために.bashrcに追記します。
Docker Desktopと代替ソフトウェア大集合 - とことんDevOps | 日本仮想化技術のDevOps技術情報メディア
Docker Desktopは普段使いのマシンでコンテナーでアプリケーションを実行することができるソフトウェアで、Dockerのサイトからダウンロードして使うことができます。 開発中のアプリケーションのテストとか、手元の環境でソフトウェアを動かしてみたい時に便利です。VSCodeとの連携もバッチリで、VSCodeコードでコーディングしたアプリケーションをDockerコンテナーで実行するDevContainerにも対応しています。最近のバージョンでLinux Desktop版も提供されるようになったので、もちろんパソコンは必要ですが、Linux DesktopにDocker Desktopをインストールすれば、ほぼ無料でコンテナーベースのアプリケーション開発が可能になります。 良い世の中になりました。 そんな便利なDocker Desktopですが、Dockerの方針変更で次の条件に当てはま
おうちで「おうち Kubernetes インターン」を実施しました | CyberAgent Developers Blog
こんにちは。AI事業本部の青山（@amsy810）です。 2020年版「おうちKubernetesインターン」を実施したため、事後レポートをブログにまとめたいと思います。 コロナ禍のため、機材一式を学生とメンター宅に郵送し、フルリモートでの実施となりました。 またそれに合わせて3 Daysだったものを7 Daysに伸ばして、初日と最終日以外は夕会だけをコアタイムとしたフレックス性で実施しています。 メンターは私以外に、徳田、川部、漆田、源波、中西、岩立、長谷川が参加しています。 概要 今回のおうちKubernetesは Raspberry Pi 4 の 8GB モデル 3台 を使ってクラスタを構成しました。 単純な仕様だと、12 core + 24 GB Memory のクラスタです。もはやノートパソコンに近しい性能ですね。 また、今回 Raspberry Pi 4 になってから最低 2.
[DevOpsプラットフォームの取り組み #7] 独自のKubernetesカスタムオペレーターを用いたCI/CDエンジン - NTT Communications Engineers' Blog
DevOpsプラットフォームの取り組みを紹介する7回目の記事です。 Qmonus Value Stream 開発チームの奥井（ @HirokiOkui ）です。 連載第7回では、Qmonus Value Streamの中核を担うコンポーネントであるAssemblyLineについて深堀りします。 第2回 および 第6回 で解説したとおり、Qmonus Value Streamでは、AssemblyLineという独自のリソースを定義してCI/CDパイプラインを構成します。 AssemblyLineは、 Tekton と同様にKubernetesのカスタムオペレーターとして実装されています。 AssemblyLineは、Tekton Pipelineを実行するワークフローエンジンとしての責務に加えて、柔軟性の高いCI/CDパイプラインを構成・実行するために必要な様々な機能を有しています。 本記事
![[DevOpsプラットフォームの取り組み #7] 独自のKubernetesカスタムオペレーターを用いたCI/CDエンジン - NTT Communications Engineers' Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/4b4d282f21972d50f54049e3ed673f02f3f9b864/height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F00d2bc41a113752e0b9cc13ee58000c3814e5715%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252FN%252FNTTCom%252F20220916%252F20220916161541.png)
ECSで作業用のタスクをサクッと作るためのツールを作成した - カンムテックブログ
インフラエンジニアの菅原です。 最近、バイクに念願のグリップヒーターをつけました。 これでツーリング時の手の寒さが多少楽になりそうで喜んでいます。 とはいってもなかなか出かけられないのですが… 現在私はAWS Fargateを使ったサービスをECS上に構築を進めており、日々コンテナと戯れています。 基本的にストレージ以外のコンポーネントはほとんどECSで動いているのですが、VPCのネットワーク内でちょっとした作業（たとえばネットワークの疎通確認など）をしたい場合、都度新しいタスクを起動して作業しています。 また、DBにテストデータを入れたかったり、どうしてもDBを直接操作したいことがある場合、stoneを新しいタスクを起動した上で、そのタスクを踏み台としてaws ssm start-sessionでポートフォワーディングを行い、手元から直接DBにアクセスできるようにしたりしています。 しか
エンジニアはGood Citizenであれ。OSSコミュニティ活動が形成したKubernetesスペシャリストのキャリア - Findy Engineer Lab
株式会社サイバーエージェントでインフラエンジニアを務める青山真也さんは、KubernetesやOpenStackの専門家として広くその名を知られています。過去には同社において、OpenStackを使ったプライベートクラウドやGKE互換なコンテナプラットフォームをゼロから構築。また、技術コミュニティでの登壇や書籍の執筆、他社での客員研究員・技術アドバイザーとしての活動も積極的に行っています。 唯一無二のキャリアを歩んできた青山さんですが、自身の成長にはOSSコミュニティ活動が大きく影響しており、自らがコミュニティの恩恵を受けてきたからこそ世の中に自分の知見を還元していきたいと語ります。本稿では青山さんのキャリアをたどりながら、過去に取り組んできた活動やその意義について伺いました。 インフラ基盤との出会いは大学時代 ──まずはKubernetesやOpenStackなどの技術に興味を持った理由
我々は Kubernetes の何を監視すればいいのか？ / CloudNative Days Kansai 2019
我々は Kubernetes の何を監視すればいいのか？ / CloudNative Days Kansai 2019
コンテナ・セキュリティ入門 脆弱性 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? コンテナイメージのレジストリでは、脆弱性検査の実装が当たり前になっている。企業でKubernetesなどコンテナを使用するにあたって脆弱性対策がどれほど重要なものか理解するために、脆弱性検査や、関連する国際的な標準について整理した。 脆弱性（ぜいじゃくせい）とは 脆弱性とは、プログラムの動作の不備を悪用される情報セキュリティ上の弱点である。つまり、ソフトウェア上の問題が原因となって生じた欠陥であり、セキュリティホールとも呼ばれる。当然、ソフトウェア開発者は、脆弱性を産まないように細心の注意を払ってコード開発を進めるが、開発者が利用するオ
A Deep Dive into Kubernetes Metrics — Part 3
TL;DR今回はマルチパートシリーズの第三章です。ここではKuberneteクラスターから集めることのできる全てのメトリクスについてお話します。 第二章では、メモリー、CPU,ディスク、ネットワークなどのnode上の一番重要なリソースを選んだり、見極めたりするUSEメソッドについて説明をしたり、実践してみせたりしました。第三章では、コンテナレベルでのメトリクスを詳しく解説していきます。それらのメトリクスはcAdvisorによってリポートされたメトリクスです。 Container Metrics from cAdvisorGoogleが発足したcAdvisorプロジェクトは他に類を見ないプロジェクトとして始まりました。このプロジェクトはnode上の動作中のコンテナからパフォーマンスメトリクスやリソースを集めるためのプロジェクトです。Kuberneteの中ではcAdvisorはkubeletに
kube-schedulerのソースコードを読みながらPodがNodeにBindされるまでを理解する - Qiita
kube-scheduler は Kubernetesにおけるデフォルトスケジューラで、 Pod を Node に Bind する責務(+α)を担っています。 この文章は、(kube-scheduler)のソースコード(v1.13.3)を読み進めながら、「Podがどのような処理を経てNodeにBindされるか」を理解する手助けすることを目的として書かれました。 また、2019-02-05 Kubernetes 読書会 #4の資料としても用られました。 kube-schedulerのエントリーポイント(cmd/kube-scheduler/scheduler.go)から順に読んでいくスタイルで解説しています。 ソースコードをいきなり読む前に この文章では図をつかったわかりやすい解説ができていません。これまでに、自分でソースコードを読み解いて、解説スライド・記事を作ってくださっている方がいます
KubernetesのSchedulerを評価するためのシミュレーター「k8s-cluster-simulator」公開 - Preferred Networks Research & Development
概要 2018年夏のインターンおよびPEとして勤務した薮内さんとそのメンターである谷脇、大村で開発したKubernetesクラスターのシミュレーターであるk8s-cluster-simulatorのアルファ版をオープンソースとして公開しました。このシミュレーターはKubernetesクラスタに投入されるPodのワークロードを時間とともにシミュレートできるため、Kubernetesのスケジューラーを本番環境に投入する前に評価することができます。 開発の動機 PFNでは巨大なオンプレのGPUクラスタを持っており、その上でKubernetesを使って様々な実行時間の機械学習ジョブを研究者が実行しています。我々クラスターサービスチームのミッションの一つとして、GPUの利用率を向上させ費用対効果をあげることが挙げられます。一方で、研究者間で使えるリソースの平等さも考慮しなければなりません。これを実現
Kubernetes は辛いのか？ - @amsy810's Blog
こんにちは。 @amsy810 です。 下記のブログが出てから『Kubernetes は運用しきれない』と耳にすることが多くなってきたので、雰囲気で曲解されて Kubernetes is difficult とならないよう、マネージドでシンプルに使うだけなら難しくないよと伝えるために書きました。 Kubernetes がいいよと伝えるためではありません。 yakst.com TL;DR 上記のブログについては概ね同意見です。 辛いのは自前で Kubernetes クラスタの管理自体を行う場合です。 GKE などのマネージド Kubernetes サービスを利用するケースでは、Kubernetes の管理は殆ど必要がなくなります。 例えば GKE の場合には、自動クラスタアップグレード・自動クラスタスケーリングなどが用意されています。他にも自動ノードプロビジョニング機能（CPU・メモリ・GP
t2.micro 1台でEKSを起動してみた - Qiita
AWSの無料枠といえばt2.microです。 ということで、EKSをWorkerがt2.micro 1台という構成で構築してみました。1 (2018/06/12) CloudFormationテンプレートのMaxPodsの設定が影響している可能性を考慮していなかったため、追記しました。 結論 EKSのWorkerは、t2.microでも特に問題なく構築でき、Podの起動も可能でした。 ただし、IPアドレス数の制限により、Podは2つ以上起動できませんでした。 IPアドレスが枯渇するとWorkerもPodもスケールできなくなると思われるので、IPアドレス数の制限には注意が必要そうです。 インスタンスタイプごとに、IPアドレス数の制限と、MaxPodsによる制限と、他にも何らかの制限があり、Podの起動数が制限されているようです。 スケールを考えるうえで、Podの起動数の制限には注意が必要そう
Cloud Services Platform -- ハイブリッド クラウドへの新しいアプローチ | Google Cloud 公式ブログ
※この投稿は米国時間 2019 年 2 月 21 日に Google Cloud blog に投稿されたものの抄訳です。 ハイブリッド クラウドの採用を検討したことがある方なら、通常 1 つのクラウド ベンダーを選定し、新しいハードウェアを購入し、既存のオンプレミス環境の統合という難題に挑むことだとお考えでしょう。私たち Google Cloud のアプローチは違います。ソフトウェア ベースのハイブリッド プロダクトを提供し、Kubernetes と Istio のパワーを活用してオンプレミスのインフラストラクチャに Google Cloud のサービスを導入するのです。つまり、あなたがいる場所にクラウドがやってくるというわけです。 私たちは昨年の Google Cloud Next で Cloud Services Platform（CSP）のビジョンを発表しました。そしてこの度、その
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kerberos Sidecar Container
Create encrypted PVCs - Portworx Documentation
Storage Classes
アプリケーション開発者は Amazon ECS あるいは Kubernetes をどこまで知るべきか #AWSDevDay / You build it, you run it
