今あらためてコンテナ界隈を俯瞰する「Docker/Kubernetes コンテナ開発入門」 | DevelopersIO
単著ならではの一貫性と、筆者のノウハウをありったけ突っ込んでやろう！というあっつい想いを感じる素晴らしい書籍です。 「2018年から2024年、コンテナ界隈もいろいろ変わったもんだなぁ…（しみじみ）」 献本いただいた「Docker/Kubernetes 実践コンテナ開発入門 改訂新版」を眺めながら、ハマコーはそんな感慨にふけっておりました。 5年前、Docker始める人はまずこれ！書評「Docker/Kubernetes 実践コンテナ開発入門」で旧版の書評を書いたご縁で、著者の山田さんより改訂新版の献本をいただき、今この場にその本があるというわけです。 改めて中身読んでいたのですが、単著でこれはマジでやばいです。今コンテナを使った開発を進めようとしたときにでてくるであろう、開発〜運用面でのトピックが幅広く凝縮されている本で、「これ一冊読んどけば、マジはずれないよ」というぐらいの力が入った書
こんにちは、ビコーペガサスです。この度、「Docker/Kubernetes 実践コンテナ開発入門 改訂新版」を出版します。本書は2018年に出版した初版を全面改訂したものです。 【新刊】2024年2月24日発売『Docker/Kubernetes実践コンテナ開発入門 改訂新版』本体3,600円+税，山田明憲 著，Docker/Kubernetesを実践で使いこなす！コンテナ開発・運用の第一歩！https://t.co/jRfsDFnuKu pic.twitter.com/dd0qo4DZM1 — 技術評論社販売促進部 (@gihyo_hansoku) February 13, 2024 「改訂新版」のモチベーション 初版の出版から早5年半が過ぎ、コンテナ技術の情報は大きく変化しました。コンテナ技術の基本的な部分は変わらないとはいえ、初版の内容が陳腐化するだけの時間が流れたことは否定しよう
はてなにおけるEKSの運用と自動化 (2024年版) - Hatena Developer Blog
サービスプラットフォームチームで SRE を担当している id:masayosu です。 先月からですが Hatena Developer Blog にて SRE 連載を始めました。先月の記事は はてなブログの DB を RDS for MySQL 8.0 にアップグレードした話 - Hatena Developer Blog です。 毎月はてなの SRE が交代でブログ記事を書きますのでお楽しみに。 この記事は2024年2月の SRE 連載の記事です。 はてなの EKS 利用について 私が所属するサービスプラットフォームチームでは EKS の運用を続けており、先日 Kubernetes 1.23 から 1.28 へのアップグレードを完了しました。 私のチームは少人数で形成されているのですが、担当しているサービスは大小様々あり EKS クラスター上では数十個のサービスが稼働しています。 少
はじめまして。Gaudiyでエンジニアをしているあんどう（@Andoobomber）です。 以前、「OpenTelemetry Collector導入のPoCと今後に向けて」という記事を弊エンジニアの sato（@yusukesatoo06）より公開しました。簡単に記事を要約すると、 OpenTelemetry及びOpenTelemetry Collectorの説明 実際にPoCを作ってみる 実導入を試みたがOpenTelemetry Collectorのホスティングに悩み、今後の課題として保留となった といった内容でした。 あれから1年経ち、GaudiyではOpenTelemetry Collectorを本番環境に組み込み、OpenTelemetryの仕様に準拠して計装し、データの分析や監視を行っています。この記事では、前回からの進捗を紹介すると共にOpenTelemetryの導入方法を
2023年に読んだ本
転職ドラフトからオライリーの本たくさんもらったので欲しかったやつとりあえず全部読んでみた。 <pr> 紹介コード RVSC を使うとお互いにもらえるので気になる人は是非。 https://job-draft.jp/sign_up?utm_term=RVSC </pr> オブザーバビリティ・エンジニアリング 良い本。トレーシングやOpenTelemetryの本と思って買っていたが、実際はオブザーバビリティを確保するための色々な手法を紹介している。そのような手法が発達するまでの歴史の流れの解説も面白かった。従来のメトリクスとモニタリングだけでは現代の分散システムのデバッグが困難ということで、 オブザーバビリティ・エンジニアリングを導入する上での説得に使えそうな文言がたくさん散りばめられている。その手法の一つが、そもそも問題が起きてからデバッグのためにデバッガを挟み込んでデプロイしたくないという
OSSでオブザーバビリティを実現する (Elastic Stack x OpenTelemetry on Kubernetes) - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。インフラエンジニアの gumamon です！ 最近はSRE的なことも ちょこちょこ やらせて頂いています。 NewRelic、Datadog、モダンな監視(オブザーバビリティ)って良いですよね。 弊社もKubernetes(k8s)等を利用した環境が増えてきた折、そろそろ必要になってきた(と思っている)のですが、NewRelic、Datadog等のクラウドサービスはランニングコストが安くない。 そこで内製できないかやってみよう！ということになり、試行錯誤をした結果どうにか表題の構成で作ることができたのでご紹介をしたいと思います！ この記事では、k8sを観測対象とし、オブザーバビリティを実現した際のアーキテクチャ構成、並びに四苦八苦する中で得た観測の勘所(私見)についてご紹介します。 目次 目次 オブザーバビリティとは オブザーバビリティ(OSS)の実現事例 全体構成 Elast
登壇者の自己紹介とアジェンダの紹介 sugasuga氏：こんにちは。今日は、ピクシブの機械学習基盤に関する発表をいたします。 まずは自己紹介から始めさせてください。自分は、機械学習チームでエンジニアをしているsugasugaといいます。サブで採用・広報活動にも関わっています。最近の趣味は、トレーニングです。 今日お話しすることは、（スライドを示して）こちらを予定しています。機械学習基盤について。そして、基盤で使われている技術について。運用してみて感じたメリットとデメリットについてお話しします。 大規模なデータの効率的な処理、機械学習サービスの展開のしやすさ、効率的な開発などに課題があった 本題に移る前に、導入として、どういったところで機械学習が活用されていて、なぜ機械学習基盤が必要かについてお話しします。 活用されている場面としては、違反検知、レコメンド、広告、3Dなど多岐にわたります。こ
WEARにおけるKubernetesネイティブな負荷試験基盤の導入とその効果 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部バックエンド部SREの山岡（@ymktmk）です。普段はファッションコーディネートアプリ「WEAR」のSREとしてクラウドの運用やリプレイスをおこなっています。 昨年から、私たちのチームでは分散した技術スタックをKubernetesへ統一するリプレイスプロジェクトを開始し、先月ついにKubernetesへの移行が完了しました。 techblog.zozo.com また、Kubernetesへの段階的な移行と並行して、Kubernetesの柔軟性を活かした運用改善や開発者体験の向上に取り組んできました。その一環として、k6-operatorを活用した負荷試験基盤を作成しました。 本記事ではWEARにKubernetesネイティブな負荷試験基盤を導入した背景とその効果についてご紹介します。Kubernetes環境における負荷試験基盤の導入を検
こんにちは、カヤック SRE の市川です。 このエントリは【カヤック】面白法人グループ Advent Calendar 2023の1日目の記事です。 はじめに いきなり鬼のように私事ですが、結婚することになりました。 ISUCON 起床試験に失敗し、成長への決意を込めて（？）購入したチュードル 技術ブログとは全く関係ない話と見せかけて、婚約者が MySQL 互換な分散 DB の会社で働いていることが、想像していた以上に「データの整合性と向き合う機運」の高まりに繋がりました。 ということで今年は気合を入れて 気合いで DDIA 読破 Advent Calendar 2023 なるものを計画しているのですが、会社のアドベントカレンダーも運営担当をしているので、トップバッターやっていきます。 GopherCon Singapore での学び 個人的な話が連続して恐縮ですが年末なので（？）お許しく
はじめに 背景 タスクランナーを導入するモチベーション パラメータ管理ツールを導入するモチベーション 実現したいこと モデルや環境に依存しないタスクによるパイプラインの操作 共通部分と環境特有部分を分離したパラメータ定義 パラメータ定義の構造化 実装方法 利用するツール パラメータファイル 構造化パラメータのマージ処理の実装 おわりに はじめに enechain データサイエンスデスク エンジニアの藤村です。 enechainでは市場活性化を目的として、機械学習や最適化アルゴリズムを用いて電力や燃料などの商品に関する指標を算出し、社内外に提供しています。本稿では、これらを算出するモデルの構築・運用を効率化するために作成した、タスクランナーinvokeとパラメータ管理ツールhydraを一体化したシステムを紹介します。 背景 タスクランナーを導入するモチベーション 機械学習モデルの構築・運用に
Kubernetesで障害発生するとNT-Dが発動しユニコーンガンダムのサイコフレームが発光するシステムの開発 - Qiita
モチベーション 自宅のKubernetsの運用を行っていると、障害が発生してもついつい後回しにしてしまいがちです。 これにより、家庭内の情シス部門としては、ユーザ(家族)からクレームを受けることがしばしばあり、家庭の平穏を脅かすものでした。 そこで、障害が発生しても直ぐに気がつけ、さらにテンションを上げるものが欲しくなりました。 真っ先に思い出したのが、いにしえ(?)のデータセンターのパトランプです。 障害発生時に設置されたパトランプが光り出しスタッフに緊張感が走ったものでした。 しかし、パトランプは残念ながら持ち合わせていないため、光らせてテンションの上がるものを家の中を物色すると、積みプラされた「RX-0ユニコーンガンダム」を発見してしまいました。 この積みプラされていたユニコーンガンダム、幸いなことにLEDが組み込まれた光る奴でした。 発見した瞬間、障害発生でNT-Dが発動しデストロ
ゼロからはじめるOpenShift Virtualization（1）OpenShiftのインストール - 赤帽エンジニアブログ
Red Hatでソリューションアーキテクトをしている田中司恩(@tnk4on)です。 この連載はvSphere環境上にOpenShift Container Platform（以下、OpenShift）およびOpenShift Virtualizationの環境構築を解説するシリーズです。 可能な限り最小構成での検証環境の構築を目指し、1台のESXi上にOpenShiftをインストールしてネスト仮想環境でOpenShift Virtualizationを実行する方法を解説します。 また環境の構築後はvSphere上の仮想マシンを移行ツール（Migration Toolkit for Virtualization）を使ってOpenShift Virtualization上へ移行することもできます。 初回の本記事ではOpenShiftのインストールについて解説します。 今後の連載予定は下記の通
Cloud Spannerを使う大規模アプリケーションの負荷試験におけるアプローチとチューニング | BLOG - DeNA Engineering
2024.05.14 技術記事 Cloud Spannerを使う大規模アプリケーションの負荷試験におけるアプローチとチューニング by tomohiro.katsukura #loadtest #google-cloud #spanner ゲームサービス事業本部の勝倉です。 この投稿では、Cloud Spanner を使う大規模アプリケーション 1 での負荷試験の方法論と、チューニング方法について記述しています。 前半は、従来的な負荷試験の手法が抱える課題を整理し、それらを解決する新しい方法論を紹介しています。 後半は、Cloud Spanner で秒間500万超のクエリ(5M+ QPS)の負荷を捌くまでに出てきたボトルネックの見つけ方と潰し方について紹介しています。 1. 負荷試験の悩みどころ バックエンドアプリケーションの開発において、負荷試験は重要なチェックポイントになります。 これ
ArgoCDバージョンアップを安全かつ迅速に行うための取り組み - freee Developers Hub
概要 freeeではAmazon Web Services (AWS) Elastic Kuerbentes Service (EKS) 上にほとんどのアプリケーションが載っており、EKSへのデプロイ基盤としてはOSSの ArgoCD を利用しています。 ArgoCDから各クラスタにデプロイを行うため、非常に中央集権的なアーキテクチャとなっています。そのため、ArgoCDのバージョンアップは安全かつ迅速に行う必要があります。 本記事では、ArgoCDのバージョンアップの際に行っている取り組みをいくつか紹介します。 かなりマニアックですが、イントロダクションとまとめだけでも読んでいただければ幸いです。 イントロダクション 2023/04からfreeeでPlatform Deliveryチームに所属している gussan です。 Platform DeliveryチームはCI/CD全般のPla
S3マウント用のCSIドライバーが提供され、EKSからS3を永続ボリュームとしてマウント可能になりました！ #AWSreInvent | DevelopersIO
S3マウント用のCSIドライバーが提供され、EKSからS3を永続ボリュームとしてマウント可能になりました！ #AWSreInvent 「Kubernetesで大型のファイル扱うの面倒くさい。NodeのAMIに埋め込むとかじゃだめ？」 「やりたいことはわかるけど、運用めっちゃ面倒くさいでしょ、それ」 大型のファイルを扱う場合、ストレージの料金や運用に手間がかかるため、オブジェクトストレージ（S3）に格納することはよくあるシチュエーションだと思います。 今回のアップデートで、S3のマウントポイントがCSI（Container Storage Interface）に対応し、Kubernetesの永続ボリュームとしてS3をマウントすることができるようになりました。Kubernetesでホストするアプリケーションの活用方法が大幅に広がる意欲的なアップデートとなります。 このブログでは、アップデートの
Software Design 2024年6月号 連載「レガシーシステム攻略のプロセス」第2回 ZOZOTOWNリプレイスにおけるIaCやCI/CD関連の取り組み - ZOZO TECH BLOG
はじめに 技術評論社様より発刊されているSoftware Designの2024年5月号より「レガシーシステム攻略のプロセス」と題した全8回の連載が始まりました。 本連載では、ZOZOTOWNリプレイスプロジェクトについて紹介します。2020年に再始動したZOZOTOWNリプレイスでは、「マイクロサービス化」が大きなカギとなりました。今回は、SRE部が行った、リプレイス方針の決定から導入ツールの選定、マイクロサービスのリリース方法の改善までを紹介していきます。 目次 はじめに 目次 ZOZOTOWNリプレイスにおけるSRE部の方針 IaCの導入 IaCとは プラットフォーム基盤におけるIaC CI/CDの導入 CI/CDとは GitHub Actions 変更のあるインフラリソースのみをCIの対象とする工夫 Canary Releaseの導入 Canary Releaseとは ZOZO A
はじめまして、LINEヤフー株式会社でKubernetes as a ServiceのPlatform Engineerを務めている小林と申します。 私は業務で使っているという都合もあり、 kustomize（※）というOSSの開発者もしています。 ※ kustomize：kustomizeは、KubernetesのYAMLマニフェストファイルをテンプレート化せずに管理するためのツールです。ベースとなるマニフェストに対して、パッチやオーバーレイといった方法で変更を加えることができます。これにより環境ごとの設定差分を管理し、再利用可能なマニフェストファイル群を作成することが可能となります。 前回のKubeConにて、OSSへの貢献から Kubernetes Contributor Awards という賞を受賞させて頂きましたので、私のLINEヤフー株式会社でのKubernetesやOSSとの
※本記事は、技術評論社「Software Design」(2023年10月号)に寄稿した連載記事「Google Cloudで実践するSREプラクティス」からの転載です。発行元からの許可を得て掲載しております。 はじめに 前回はRenovateによる依存関係の更新について解説しました。今回はArgo CD1を利用した、Kubernetesへの継続的デリバリ(Continuous Delivery、CD)について紹介します。Argo CDとは何か、なぜ使うのか、基本的な機能やキャディでどのように活用しているかを紹介します(図1)。 ▼図1 CADDiスタックにおける今回の位置付け Argo CDとは Argo CDはKubernetesへの継続的デリバリを行うツールです。Gitリポジトリをソースとして継続的デリバリを行う手法をGitOpsと呼びます2。Argo CDはKubernetesへのデ
はじめに こんにちは、MLデータ部データ基盤ブロックの仲地です。初めてのテックブログへの投稿になります。主に業務ではデータ基盤の開発・運用を担当しています。 データ基盤ブロックではELTツールであるAirbyteを導入し、一部のデータ転送パイプラインをリプレイスしました。本記事ではそのAirbyteの構築方法と運用するにあたって工夫した点を紹介します。 目次 はじめに 目次 背景 Airbyte OSS Connectorの豊富さ ETLではなくEL(T) コミュニティが活発 GCP上でAirbyteを構築 全体構成 Terraform Kubernetesのマニフェスト KubernetesのSecret Kubernetesのデプロイ 工夫した点 GKE上での構築 Airflowによるスケジュール実行 MinIOを用いない PVCのAccessModeの変更 ServiceAccoun
GitHub - open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI)
🖥️ Intuitive Interface: Our chat interface takes inspiration from ChatGPT, ensuring a user-friendly experience. 📱 Responsive Design: Enjoy a seamless experience on both desktop and mobile devices. ⚡ Swift Responsiveness: Enjoy fast and responsive performance. 🚀 Effortless Setup: Install seamlessly using Docker or Kubernetes (kubectl, kustomize or helm) for a hassle-free experience. 🌈 Theme Cus
社内勉強会での発表資料を外部公開向けに一部加工したものになります。
背景とか目的 最近Kubernetesを使って、色々試したいことが多い。 一発コマンドでマルチクラスタを作って、きれいさっぱりさよならしたい。 物理マシン数台でclusterを構築したり、管理するのがめんどくさい。 自分の開発マシンだけでマルチノードクラスタを立ち上げて、アプリの動作を確認したい。 Kindとは Kubernetes IN Docker らしいです。少しだけ概要にも触れておきます。 Kubernetesのノードとしてdockerコンテナを起動しています。dockerコンテナ一つがKubernetesのノードとして割り当てられます。 dockerコンテナの中(仮想的なノードの中)ではコンテナランタイム(containerd)が起動しています。このコンテナランタイムがKubernetesのコンポーネントやアプリケーションをコンテナとして管理しています。dockerコンテナの中で
ホスティング事業部 SREチームの @takumakume です。 11/21に「技術的負債に向き合う Online Conference」 が開催されました。 ペパボからは、技術責任者の @kenchan と @takumakume が登壇しました。 この記事では、@takumakume が登壇した「ソフトウェアの継続的アップデートをコンテナ化によって加速させる」というタイトルのLTについて紹介します。LTでは駆け足の説明でしたので、補足的な位置づけとなります。 簡単に説明すると 変更しにくいシステムは放置されるので、コンテナ化して変更しやすくした！ という話です。 以降で詳しく説明していきます。 ソフトウェアアップデートの必要性について ソフトウェアを継続的にアップデートしなければシステムは徐々に壊れていきます。予想外のタイミングと規模でアップデートを強制されることに繋がり、ビジネスに
本文の内容は、2024年7月26日に Nigel Douglas が投稿したブログ(https://sysdig.com/blog/whats-new-kubernetes-1-31/)を元に日本語に翻訳・再構成した内容となっております。 Kubernetes 1.31が間もなく登場します。このリリースでは、プロジェクトに大きな変更が加えられます。では、このリリースの新機能は何でしょうか? Kubernetes 1.31には、このリリースで「 Graduating 」として追跡されている 37 項目を含む、多数の機能強化が含まれています。これらのうち、待望の Kubernetes 向け AppArmor サポートを含む11 の機能強化がステーブルに移行します。これには、API でコンテナまたはポッドの AppArmor プロファイルを指定し、そのプロファイルをコンテナランタイムによって適用
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker/Kubernetes 実践コンテナ開発入門 改訂新版を出版します
OpenTelemetry Collector導入の実践編とその後 - Gaudiy Tech Blog
ピクシブ社エンジニアが語る、機械学習基盤とその技術 「GCPバッチ基盤」「リアルタイムの推論基盤」「ノートブック開発環境」整備の裏側
Go サーバーで外部 API 操作の原子性を頑張る - KAYAC engineers' blog
タスクとパラメータの一元管理で実現するMLOps - enechain Tech Blog
kustomize開発リードを任され、表彰されるまでの経緯とOSS貢献へのアドバイス
第7回: Argo CDによるKubernetesへの継続的デリバリ - CADDi ENGINEER Tech Blog
GKE上にAirbyteを構築しSaaSデータ連携をリプレイスした話 - ZOZO TECH BLOG
kustomizeをいい感じに使う方法
Kindを使ったKubernetes環境構築 - Qiita
ソフトウェアの継続的アップデートをコンテナ化によって加速させる - Pepabo Tech Portal
Kubernetes 1.31 – 新機能は？