章立て はじめに Docker・Container型仮想化とは Docker一強時代終焉の兆し Container技術関連史 様々なContainer Runtime おわりに 1. はじめに Containerを使うならDocker、という常識が崩れつつある。軽量な仮想環境であるContainerは、開発からリリース後もすでに欠かせないツールであるため、エンジニアは避けて通れない。Container実行ツール（Container Runtime）として挙げられるのがほぼDocker一択であり、それで十分と思われていたのだが、Dockerの脆弱性や消費リソースなどの問題、Kubernetes（K8s）の登場による影響、containerdやcri-o等の他のContainer Runtimeの登場により状況が劇的に変化している。本記事では、これからContainerを利用したい人や再度情報
この記事はNTTコムウェア Advent Calendar 2021 20日目の記事です。 NTTコムウェアの古西です。AI・データサイエンス推進室で技術マネージャをしています。 システムインテグレーター、略してSIerは、顧客のためにITシステムやサービス・ソリューション・プロダクトを開発・運用する会社です。一部自社サービスがあるものの、特定の顧客企業に対してシステムを提供することが多いです。 ネット上では「SIerはオワコン」1と言われることもありますが、私自身は入社のときに「人と技術を仲介する仕事がしたい」と言って仕事をしはじめてから約25年間、SIerで顧客や自社の人と技術を仲介する仕事をしてきました。私がこれまでの経験から「SIerで幸せな技術キャリア」を築くために意識したほうがいいと思うことを、若年層とベテラン層にわけて3つずつ、書いておこうと思います。 若年層(20代～30代
VMwareがBroadcomに買収され、人がバサバサ切られ、次は製品に大鉈が振られ、無償版のESXiも当たり前ながら終了となりました。 blogs.vmware.com 無償のESXiと言えば4.0か4.1くらいの頃に無償版が登場して、かれこれ15年くらい提供されてきたので、ちょっとしたサーバーインフラ好きなご家庭なら1つくらいESXi環境があったのではないでしょうか（ほんまか？） うちの自宅も2013年の自作PC導入時のタイミングから10年ちょっと無償版ESXiのお世話になってきました。本当に、今までお世話になりました。 akkiesoft.hatenablog.jp 今後はvSphereのEssentials PlusとStandardが残りつつ、買い切りモデルからサブスクリプションモデルに移行するようですが、自宅サーバーをほそぼそやるには過剰なものになると思うので、別の環境への移行
シェル・ワンライナー 160 本ノックを完走した - NTT Communications Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2022 4 日目の記事です。 こんにちは。 SDPF クラウド・仮想サーバーチームの杉浦です。 普段は OpenStack の開発・運用をしています。 みなさんはシェル芸と聞いてどのようなコマンドを想像しますか？ 私は以下のような怖いコマンド 1 を想像していました # 無限に process を fork するコマンドです # 実行するときは自己責任でお願いします :(){ :|:& };: ですがシェル芸はもっと親しみやすくて 2 実用的なものです。 私はシェル芸のシェの字もできないくらいシェル芸初心者だったのですが、 1日1問、半年以内に習得 シェル・ワンライナー160本ノック という本を完走してシェル芸チョットワカルようになったので、本の宣伝をしつつ完走した感想を紹介しようと思います。 1日1問、
TL;DR 「オペレーティングシステム？知ってるよ。WindowsとかMacのことだよね」というぐらいの知識だった私が、二週間ほどひたすらWikipediaでインプットしまくったクソ浅い情報を共有します。 最初の動機 「Go言語が対応しているアーキテクチャってなんだろ？」 Go言語には環境変数をコンパイラに渡すことで、出力されるバイナリの対応するOSとアーキテクチャを変えることができます。 GOOS がオペレーティングシステム(OS)、 GOARCH がアーキテクチャです。 こんな感じにビルドすると、 linux というオペレーティングシステムで、 ppc64 というアーキテクチャに対応したバイナリが出力されます。 なるほど。 じゃあ、 Go言語が対応しているOSとアーキテクチャって何があるの？ と疑問が湧いてきますね。 その疑問に応えるコマンドが go tool dist list です
Terraform入門資料(v0.12.0対応) ~基本知識から設計や運用、知っておくべきtipsまで~ - Qiita
Terraform入門資料(v0.12.0対応) ~基本知識から設計や運用、知っておくべきtipsまで~AWSIaCTerraformインフラのコード化 はじめに 今日は体調がよろしくないので、大人しく勉強会用のTerraform入門資料をしこしこ作る。。オライリーのIaC本読み返しながら — nari@BOOTHで好評発売中「GoとAWS CDKで作る本格SlackBot入門」 (@fukubaka0825) October 6, 2019 こんにちは。[Wano株式会社] (https://wano.co.jp/)の[nari](https://twitter.com/fukubaka0825)と申します。 本日、WanoグループでTerraform入門をテーマとした勉強会を行いました。 その際使用した勉強資料を、Qiitaに一般公開いたします。 対象参加者(読者) インフラのコード化
「スキルの掛け算」が未来を切り開く。文学部出身のひよこ大佐がレッドハットに転職できたわけ - Findy Engineer Lab
Twitterを使って転職すること、そのメリット プログラミングに興味ありつつ文学部に進み就活で苦戦 就活情報に踊らされる中で「理系でなくてもIT業界で働ける」ことに衝撃 Linuxやオープンソースコミュニティとの出会いが武器になった 開発はできなくても翻訳ならば貢献できる さまざまな「技術遊び」が、IT企業への就活やTwitter転職を支えてきた レッドハットのカルチャーとテクニカルサポートという仕事 知的好奇心を高めて、掛け算できるスキルを見つけよう 新しい技術的な知識を学ぶことは「楽しい」 スキルを整理してアピールポイントを見つけよう こんにちは、ひよこ大佐（@hiyoko_taisa）です。およそ2年前、Twitterのあるツイートがきっかけで、レッドハット株式会社に転職しました。現在はテクニカルサポートエンジニアとして、ITインフラの自動化ツール「Ansible Automati
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
Spring Boot 3の新機能を使ってみよう！ 2からアップグレードする手順、Observability機能、ネイティブイメージ化｜ハイクラス転職・求人情報サイト AMBI（アンビ）
ハイクラス求人TOPIT記事一覧Spring Boot 3の新機能を使ってみよう！ 2からアップグレードする手順、Observability機能、ネイティブイメージ化 Spring Boot 3の新機能を使ってみよう！ 2からアップグレードする手順、Observability機能、ネイティブイメージ化 Javaの開発フレームワークであるSpringの最新バージョンとして、Spring Boot 3が2022年11月にリリースされました。この記事ではSpring Boot 2で書かれたサンプルコードをSpring Boot 3にアップグレードしながら、考慮点や新機能を体感していただきます。ヴイエムウェア株式会社の星野真知さんによる解説です。 Javaのエコシステム、その中でも世界で一番の人気を誇るのが（JetBrains社の調査によると）Spring FrameworkおよびSpring B
情報検索・検索エンジン Advent Calendar 2019 の5日目の記事です。このAdvent Calendarを作った@takuya_aさんより、お誘いいただきました。 @minoru_osuka もし余裕あれば12/5の記事お願いします！ https://t.co/YIA9tIB4Gj — takuya-a (@takuya_b) December 1, 2019 ということで、仕事とは別で個人的に始めたプロジェクトについて紹介できたらと思います。 私自身はApache Solrを好んで利用しています。 ただ、最近のサーバサイドの技術の移り変わりや、新しい開発言語の登場など、取り巻く環境が変化してきています。それらの習得も踏まえ、使ったことのない開発言語を用いて軽量な全文検索サーバを作り始めるという内容です。 開発した経緯 インフラの変化 ここ数年でインフラは大きく変化しました
はじめに 本記事では、Kubernetesで実現するマルチテナントについて、2020年9月時点での現状と、将来的に利用できるであろう機能の紹介をいたします。各機能についての詳細は、参考ドキュメント等を参照していただければと思います。 本記事の要点 マルチテナントは単一のクラスター上に複数のテナントを共存させることを指す。 Kubernetesにはマルチテナントを実現するための機能が備わっている。 アクセスコントロール：RBAC セキュリティ：Namespace / Network Policy / Pod Security Policy リソースの隔離：ResourceQuota / LimitRange / Affinity / Taintなど Kubernetesのマルチテナント機能は、SIGを中心として機能開発が進められている。 Benchmarks Tenant Controlle
こんにちは、sue445です。 先日社内で使ってるGitLabのリプレイスをしたのでその辺の話をしたいと思います。 リプレイスの内容 今回のGitLabリプレイスでは主に下記を行いました。 サーバ移設に伴いURL以外全部変えた レガシーな環境で運用されていたGitLabを全てDockerコンテナに載せた MySQLからPostgreSQLに移行 以上を1時間弱のメンテでやりきった 構成 ざっくり書くと、SSL終端のフロントサーバのみ同じで、それ以外のバックエンドを全部変えました。 旧 APサーバ Debian Wheezy CPU: Intel Xeon E5-2640v2 * 2 Memory: 40GB Disk: 64G + 512G MySQL兼Redisサーバ Debian Wheezy CPU: Intel Xeon X3430 Memory: 8GB Disk: 256G M
Kubernetesの読み方 Kubernetesと書いて、どう読むでしょうか。 登場時には、クーベルネイティスと読む人やクーベネティスと読んだり、いったいなんて読むのが正解なんだろうと悩んだままなんとなくクーベルネティスがいいかななんて思っていました。 今日、日経にこんな記事が出ました。 www.nikkei.com ・・・その主役は、グーグルが開発した仮想化ソフトの運用ツール「クバネティス」・・・ クバネティス！！！。また新しい呼び方ですが、日経に出たということは今後は経営層はクバネティスと言ってくるはずなので、少なくとも日本国内では、く・・くばねてぃす・・と呼ぶことにしようと思います。 Kubernetesはまだ成功していない 国内のメディア記事を読む限り、結構たくさんのワークロードがKuberenetesで動くようになってきたように思います。特に大量のコンテナで分散処理する必要があ
プロキシサーバとは プロキシとは、クライアントとサーバの間に中継サーバとして配置するサーバのことです。プロキシは、クライアントから見た場合、サーバのように振る舞い、サーバから見た場合、クライアントのように振る舞います。クライアントアプリケーションは、プロキシへ通信を行い、プロキシはそのリクエストを受信し、受信したリクエストを本来送られるべきサーバへ転送するかのように送信します。サーバは、リクエストを送信してきたプロキシへ応答を返します。プロキシは応答に対応したクライアントに対して、応答を送信します。 プロキシサーバの種類 プロキシは、通信を中継するため通信内容をログに残したり、検査したり、書き換えたりといった処理が可能です。そのため、様々なプロトコルに対応した汎用的なプロキシと、アプリケーション（プロトコル）毎に特化した処理を行うソフトウェアがあります。 なお、Webプロキシは、HTTPプ
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 デザインディレクション・ブック 橋本 陽夫 現場のプロがやさしく書いたWebサイトの分析・改善の教科書【改訂3版 GA4対応】 小川 卓 解釈可能なAI Ajay Thampi(著), 松田晃一(翻訳) PowerPoint 目指せ達人 基本&活用術 Office 2021 & Microsoft 365対応 PowerPoint基本＆活用術編集部 ランサムウェア対策 実践ガイド 田中啓介, 山重徹 TODによるサステナ
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
Kubernetes環境に特化したCI/CDツール「Jenkins X」を試してみる | さくらのナレッジ
広く使われている継続的インテグレーション（CI）/継続的デリバリ（CD）ツールの1つに「Jenkins」がある。このJenkinsの開発チームが、Kubernetesに特化したCI/CDツール「Jenkins X」を発表した。今回はこのJenkins Xの特徴やインストール、基本的な使い方を紹介する。 昨今ではソフトウェア開発を迅速に進めるために「継続的インテグレーション（CI）」と呼ばれる手法が広く採用されている。CIはバージョン管理システムなどと組み合わせて使われるのが一般的で、たとえばバージョン管理システムへのコミットをトリガーとして自動的にビルドやテスト、パッケージ作成を実行する仕組みなどを構築できる。また、最近では「継続的デリバリ（CD）」という手法も使われる。CDはCIと似ているが、運用環境へのデプロイまでも自動で行うという仕組みだ。 CIツールとして著名なものの1つに、以前紹
技術部プラットフォームグループ SRE の akichan です。 ペパボでは Nyah と呼ばれる OpenStack のプライベートクラウドを運用しており、Load Balancer as a Service(LBaaS) の Octavia が利用可能です。 先日、このLBaaSに対する不正なアクセスからシステムを防御するために、特定のIPアドレス帯からの通信をブロックするソフトウエアをGoで実装しました。その際に、社内のGoの有識者にレビューしてもらいながら、どのようにリファクタリングを行なっていったかを通して、私と同じようなGoの初学者が押さえておくと良さそうなポイントについてお伝えできればと思います。 Amphora Protector 今回開発した Amphora Protector について簡単に解説します。 Octavia の LoadBalancer の実態は、HAPr
達人出版会
探検! Python Flask Robert Picard, 濱野 司(訳) BareMetalで遊ぶ Raspberry Pi 西永俊文 なるほどUnixプロセス ― Rubyで学ぶUnixの基礎 Jesse Storimer, 島田浩二(翻訳), 角谷信太郎(翻訳) 知る、読む、使う！ オープンソースライセンス 可知豊 きつねさんでもわかるLLVM 柏木餅子, 風薬 R／RStudioでやさしく学ぶプログラミングとデータ分析 掌田津耶乃 データサイエンティストのための特徴量エンジニアリング Soledad Galli(著), 松田晃一(訳) 実践力をアップする Pythonによるアルゴリズムの教科書 クジラ飛行机 スッキリわかるサーブレット＆JSP入門 第4版 国本 大悟(著), 株式会社フレアリンク(監修) 徹底攻略 基本情報技術者教科書 令和6年度 株式会社わくわくスタディワール
無料でGoogleドライブ・FTPなど70以上のストレージサービスに対応しているファイル転送・同期アプリ「Rclone」を使ってみたレビュー
さまざまなクラウドサービスを使っている場合、それぞれのシステムに応じたファイルの転送手段を準備するのは面倒なもの。「Rclone」は70種類以上のストレージサービスに対応しており1つのアプリでほぼ全てのストレージサービスとファイルのやりとりをできるとのことなので、実際に使ってみました。 Rclone https://rclone.org/ RcloneはUNIXコマンドで言うところの「rsync(同期)」「cp(コピー)」「mv(移動)」「mount(マウント)」「ls(ファイル一覧表示)」「ncdu(ディスク使用量確認)」「tree(ディレクトリ構造をツリー表示)」「rm(削除)」「cat(ファイルの中身表示)」の動作が行えるとのこと。 また、「--dry-run」に対応しており事前にコマンドの結果をプレビューすることで重要なファイルを削除してしまうというミスを減らすことが可能となってい
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、システム統括本部でPrivate PaaSを担当している増田彬（@Go_zen_chu）と水落啓太（@keitam913）です。 僕たちはPaaSチームとして3年半ほど、ヤフー社内で利用されるPrivate PaaSの運用と関連システムの開発に携わってきました。 その中でどのようにPaaSを通じて利用者へ利便性を提供し、安定して稼働する体制作りをしてきたのかをお話しします。 PaaSとは？ PaaS（Platform as a Service）という単語はさまざまな用途で利用されますが、その中で僕たちが提供しているのは、「社内のエンジニアが簡単にアプリケーションを動作することができるプラットフォーム」です。 この「簡単
はじめに 背景 方針 uroboros 名前の由来 インストール 使い方 オプション引数の共有 注意点 今後の展望 まとめ はじめに Pythonの全てのCLIアプリケーションフレームワークに習熟してるわけではないです． 自分が必要だと思ったものから優先的に実装しています．こうした方がいいとかあれば，リポジトリのIssueにお願いします． 背景 2019年現在，ソフトウェア系の研究をする人が避けて通れない言語がPythonと言っても過言では無くなってきました（炎上）．実験でスクリプトを回すとき，パラメータ変更のために毎回ソースコードを書き換えるなんていう真似をしている人はおそらく居ないと思いますが，皆様どのようにCLIアプリケーションを構築されていますでしょうか． Pythonの有名なCLIアプリケーションフレームワークはいくつかあります．僕の個人的な感想を併記します． Click ○：関
KubeflowとJupyter Enterprise GatewayでJupyter Notebook環境をさらに便利に | CyberAgent Developers Blog
KubeflowとJupyter Enterprise GatewayでJupyter Notebook環境をさらに便利に AI事業本部のインフラ組織SIAでエンジニアをしている牧垣です。 はじめに Jupyter Notebookは機械学習・データ解析の分野ではすっかり空気のようなインフラになりました。仮説・実験・考察のサイクルを回しやすいので、科学分野では昔から人気があります。コードと結果が可視化できるという基本機能そのものに、作業ログや手順書・使い方ドキュメントなど、他分野での需要もあります。 夢を膨らませると用途はまだまだ思いつきそうですが、つまり「複数人で同じものを見て、同じ認識をすることができる」というのがJupyter Notebookの良いところです。「あの件、どうだった？」「あ、たぶん大丈夫だと思います」といったあやしげな状態になりにくくなります。また、可視化が容易な点も
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの相良と言います。クラウドプラットフォーム本部で、ヤフーの次世代IaaS基盤を検討しています。 12月24日、クリスマスイブの本日の記事では、ヤフーの次世代IaaS基盤の取り組みをご紹介したいと思います。最初に次世代IaaS基盤の取り組み背景をご紹介し、検証・評価中のKubeVirtという技術について、IaaS基盤の代表的ソフトであるOpenStackと比較することで、その特徴を説明します。最後に、大規模環境を扱うヤフーならではの課題についても触れたいと思います。 なお、本記事では2020年12月時点の最新版（v0.36.0）のKubeVirtを前提にご説明します。 ヤフーの次世代IaaS基盤の取り組み ヤフーで
コンピューターを構成するパーツのひとつである「NIC」は、主にEthernetで使用するRJ45コネクタを搭載した拡張カードのことを指すのが一般的です。高性能なNICは数万円と値が張るパーツですが、そうした高性能なNICと同じチップを搭載していると説明があり、しかも格安で販売されている「ノーブランド」のNICが存在します。実際にノーブランドのNICを購入して、その正体と性能を確かめてみました。 ・目次 ◆購入経路と外観 ◆「ノーブランド」の正体 ◆「ノーブランド」の性能 ◆購入経路と外観 今回はオリオスペックで2ポートのNIC「NB-INT-I350T2-S」を税込3850円で購入。仮想化技術のひとつであるSR-IOVに対応している「Intel I350-AM2」コントローラーを搭載したノーブランドのNICを選びました。 ノーブランド NB-INT-I350T2-S Intel I350-
おうち電力の Observability: parser combinator をガリガリ書いてスマートメーターとおしゃべりする - NTT Communications Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2023 6日目の記事です。 こんにちは。 SDPF クラウド・仮想サーバーチームの杉浦 (@Kumassy_) です。 普段は OpenStack の開発・運用をしており、最近は Observability まわりを取り組んでいます。 この記事では、以前私が Tech-Night という社内 LT 会で発表した以下のプロジェクトのご紹介します。 Tech-Night については以下の記事をご覧ください。 きっかけ 今年は不安定な世界情勢と円安、猛暑により電気代を気にする機会が多かったのではないでしょうか。 私もあるとき 7-9 月の電気代を確認したところ、電力使用量が 330 kWh、電気代が 10,000 円を超えていました。これは私のチームの 4 人家族のご家庭と比べても多い値でした。 なぜ私の家では
「Ubuntu 19.10」では、MicroK8sが厳密に隔離されており、エッジゲートウェイに理想的な小さなフットプリントの中で、完全な分離とセキュリティが確保された本番稼働グレードのKubernetes環境が保証される。Istio、Knative、CoreDNS、Prometheus、JaegerといったMicroK8sアドオンは、単一のコマンドによるエッジでのセキュアなデプロイが可能になっている。 また、新たなアーキテクチャとして「Raspberry Pi 4 Model B」をサポートしており、開発者はMicroK8sを使ってエッジでワークロードを調整するために十分な能力を備えた、低コストのボードコンピュータを手に入れられる。 さらに、OpenStackの20番目のリリースである、Charmed OpenStackのリリース「Train」を搭載し、「Train」のライブマイグレーショ
KubeFest Tokyo 2020は Kubernetesを利用している人、これから導入したい人が新しいことを学んだり、ネットワーキングすることを狙いとして開催するワンデイのオンラインイベントです。ヤフー/ゼットラボの技術者が、Kubernetesでステートフルアプリケーションを動かす知見を語ります。前半はKubernetes as a Service向けステートフルサービスの実現について。（全2回） ヤフー/ゼットラボのステートフルアプリケーションへの挑戦 坂下幸徳氏（以下、坂下）：では発表を始めたいと思います。『ヤフー/ゼットラボのステートフルアプリケーションへの挑戦』と題しまして発表いたします。 本日のアジェンダです。まず前半は私からKubernetes as a Service向けステートフルサービスの実現と題しまして発表します。後半はヤフーの飯田からステートフルアプリケーショ
今日から始めるPrometheusによるシステム監視(1) 〜Prometheusの特徴とアーキテクチャ〜 | さくらのナレッジ
この記事は2021年3月6日に行われたオープンソースカンファレンス 2021 Online/Springにおける発表を文章化したものです。 今回は「今日から始めるPrometheusによるシステム監視」ということで、Prometheusというツールについてご紹介をしていこうかなと思います。皆さんに「Prometheus完全に理解した」と言えるようになっていただきたい、というのが今回の目標です。 本連載は3本で構成されていて、それぞれ以下の内容を扱います。 Prometheusの特徴とアーキテクチャ(この記事) PrometheusとCNCF、Observability Prometheusを使ってみよう Prometheusとは Prometheus（プロメテウス）は、SoundCloudという海外の音楽系サービスのエンジニアによって開発された監視システムです。もともと、Kubernete
ヤフーのIaaSを支えるKubernetes/Helm――新卒1、2年目エンジニアは2017年から塩漬けの400ノードをどうアップデートするか
ヤフーのIaaSを支えるKubernetes/Helm――新卒1、2年目エンジニアは2017年から塩漬けの400ノードをどうアップデートするか：特集：「惰性をやめる、慣習を疑う」こんどこそ楽になる運用管理（4） Kubernetesのクラスタ数は10以上あり、その配下にある400以上のノードが支えるヤフーのIaaS基盤。その規模故にコンポーネントの管理に使うKubernetesとHelmのバージョンアップは2017年から行っていなかった。そして今、止まった時を動かすべく、新卒1、2年目のエンジニアが大規模環境のアップデートに挑む――運用管理者に光を当てるオンラインイベント「Cloud Operator Days Tokyo 2021」の同社による講演から、大規模Kubernetes環境運用のヒントを学ぼう。 2017年から時を止めたKubernetesとHelm Yahoo! JAPANの
本連載ではこれまでにも第483回「UbuntuとOpenNebulaでもういちどクラウド環境を構築してみよう」などで、クラウド構築・管理ツールであるOpenNebulaを紹介してきました。今回はこのOpenNebulaをコマンド一発で導入できる「miniONE」を紹介しましょう。 OpenNebulaとminiONE OpenNebulaはプライベートクラウドを構築・管理するためのソフトウェアです。プライベートクラウドの構築・管理ツールといえばOpenStackが有名ですが、OpenNebulaはそれよりも古くから存在し、Eucalyptusと同じぐらいの歴史を持っています。さらに、もともとはKVMベースのツールだったものの、最近ではLXDやFirecrackerをサポートしたり、Kubernetes、Docker Hubとの連携もできるようになるなど、日進月歩なクラウドインフラストラクチ
Open vSwitch Firewall Driverで他のVMのパケットを受信する問題の検証 | CyberAgent Developers Blog
こんにちは、技術本部 プライベートクラウドグループの中西（@whywaita）です。 今回はCA Tech JOBの制度を用いてインターンに参加して頂いた川原さんからの寄稿記事です。 以下本文です。 こんにちは、インターン生の川原です。 本稿ではインターン中に遭遇したOpenStackのOpen vSwitch Firewall Driverに関するバグについて検証と修正方法について紹介します。 症状 以下の図のようにあるVMからハイパーバイザノード外のホストに対して帯域を多く消費するようなベンチマークを行なったところ、ハイパーバイザノードで起動しているVMの通信量が以下のグラフの様になりました。 上半分がそれぞれのVMが送信した通信量、下半分が受信した通信量です。 送信量のグラフからベンチマークを実施しているVM(送信元VM)の送信量は500 Mbps程度であることがわかります。 対して
おうち Kubernetes 向けに Synology CSI Driver に VolumeExpansion を実装した話 - @amsy810's Blog
こんにちは。 青山（amsy810 ）です。 この記事は Kubernetes Advent Calendar の 1 日目の記事です。 いよいよアドベントカレンダーが始まりましたね。1か月間わいわいしていきましょう！ どこかの誰かに実装系の記事のほうが面白いよねってフリをされたので、今年は Synology CSI Driver に VolumeExpansion を実装しつつ、内部実装の紹介 をします。 VolumeExpansion は 1日あれば実装が終わるくらいの規模感でした。 おうち Kubernetes みなさんのおうちの Kubernetes はどこにありますか？ ちなみに私は下駄箱にあります。下駄箱DC。上流スイッチもここに集約されています。 そして皆さんストレージはどうしてますか？ hostPath や Local PV で我慢してる人がいたり、Longhorn や R
Ubuntu Weekly Topics 2019年10月25日号Ubuntu 20.04 LTS “Focal Fossa”（仮称）・Ubuntu 19.10リリース記念オフラインミーティング 19.12 Ubuntu 20.04 LTS “Focal Fossa”（仮称） 19.10が無事にリリースされ、20.04 LTSの準備の時間になりました。コードネームの明確なアナウンスはないものの、LPのエントリポイントやリリーススケジュールからは、“Focal Fossa”（注目を集めるフォッサ）という名前が見てとれます[1]。 このまま進めばショートネームは「focal」となるはずですが、まだ「F」という呼び方をしているケースもあり、確定しているのかどうかはまだ分かりません。 リリーススケジュールはまだ仮のもので、現時点で何かを考えるべきタイミングではありませんが、暫定で2020年4
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーでプライベートIaaS（Infrastructure as a Service）の構築・運用を担当している高橋です。 IaaSはサーバやストレージ、ネットワークなどのリソースを仮想的に定義してサービスとして提供することを指します。ヤフーでは社内のプラットフォームやユーザに提供するサービスの運用のためIaaSを社内で構築・提供しています。 本記事ではヤフー内のIaaSをかげで支えるKubernetesのアップデート事情について紹介します。 ヤフーのIaaSの構成 IaaSに関連する仮想マシン、そして仮想マシンを動かすためのハイパーバイザーやネットワークといったリソースを管理するためにOpenStackというOSSが
こんにちは。浪速の太刀使いこと P山 です。今日はGMOペパボが提供する国内最大級のネットショップ作成サービスであるカラーミーショップ(以降カラーミー)において、どのようなSREの取り組みを行っているかを紹介します。 カラーミーの構成 カラーミーはお客様のショップのコンテンツを配信するサーバ、そこからコールされるAPIサーバなど、いくつかの役割のサーバで構成されています。それらが動作するインフラのほとんどは自社で運用するOpenStack上で動くVM、もしくはKubernetesで提供しています。 データストアはAWS DirectConnectと組み合わせてRDSやElastiCacheを利用しており、一部、KubernetesにおいてもEKSとOpenStackでマルチクラウド構成で利用しています。このようにクラウドサービスが得意な部分はどんどん委譲することで、自分たちが得意とする領域
_%25E3%2581%25AE%25E6%258F%2590%25E4%25BE%259B%25E9%2596%258B%25E5%25A7%258B)
AWS上でのマネージド OpenShift サービス ROSAの提供開始 / 使い方 - 赤帽エンジニアブログ
こんにちは、OpenShift を担当しています、花田です。 2021/3/31 より、Red Hat 版の Kubernetes である OpenShift のマネージドサービスである ROSA (ろさ/ろーさ：Red Hat OpenShift Service on AWS ) の提供が、AWS上で開始されています。 OpenShiftは、オンプレのベアメタルサーバーの上でも、VMware の上でも OpenStack の上でも RHV(Red Hat Virtualization)の上でも、AWSの上でも、Azure の上でも、GCPの上でもテスト済みなので、場所を選ばず、どこでも同じ知識で運用を回す事ができるというのが大きな特徴です。 もともとOSD(OpenShift Dedicated) という AWS / GCP上で提供するOpenShiftのマネージドサービスが存在していま
11月6日から9日に東欧チェコの都市プラハにてUbuntuのコミュニティメンバーが一堂に会すUbuntu Summitが開催されました。今回は、Ubuntu Summitがどのようなものであったのか、なぜRaspberry Piコミュニティの筆者が参加していたのか？などの経緯やその様子も含めてレポートします。 Summit参加のきっかけはUbuCon Asia 2022のステアリングコミッティへの参加 Ubuntu Summit参加のきっかけは、11月下旬に開催されたUbuCon Asia 2022[1]のステアリングコミッティのグローバルチームとして参加していたことでした。筆者の担当はトラベルファンド関係、CFP（スピーカー募集）ガイドライン及びその審査基準、外国人スピーカーの講演に際してのガイドラインでした。 UbuCon Asia 2022の主宰であるUbuntu KoreaのYon
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのクラウドプラットフォーム本部に所属している北田、馬場、高橋です。 私たちのチームは社内向けに IaaS 環境を提供しており、その品質を管理・維持するために監視システムを導入しています。 システムの部分的な障害や冗長性などを監視する目的で、私たちはこれまで Sensu を使っていましたが、その EOL をきっかけに Prometheus へ移行することにしました。 この記事では、Sensu の移行先として Prometheus を選んだ理由、Prometheus を利用した監視システムの構成、そして、Prometheus を導入した際の工夫などを紹介します。 ヤフーの IaaS 環境の監視状況 私たちのチームが社
Cloud Native Days Tokyo 2019/OpenStack Days Tokyo 2019に参加しました #CNDT2019 - Unipos engineer blog
Fringe81 エンジニアの森本です。 7/22（月）〜7/23（火）で開催された Cloud Native Days Tokyo 2019/OpenStack Days Tokyo 2019にエンジニアの遠山とともに参加してきました。 Cloud Native Days Tokyo 2019 昨年度までは Japan Container Daysという名称でコンテナ/クラウドネイティブ技術の日本最大級のカンファレンスでした。 今年はCloud Native Daysと名称を改め、またOpenStack Days Tokyoとの共同開催し、日本最大級のクラウドネイティブとオープンインフラストラクチャーの祭典となっています。 また総セッション数は2日間で100セッション近くもあり、またKubernetesやOpenStackのアップストリームトレーニングも開催され、クラウドネイティブ技術に
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker一強の終焉にあたり、押さえるべきContainer事情
SIerで幸せな技術キャリアを築くために - Qiita
無償版ESXiサ終！次の自宅サーバー環境どうしよう - あっきぃ日誌
11種類のオペレーティング・システムについてまとめてみた - Qiita
Rust初心者がRustで全文検索サーバを作ってみた - Qiita
Kubernetesのマルチテナントの現状を整理する - TECHSTEP
GitLab令和最初のリプレイス。フルコンテナ化ポスグレ移行 - pixiv inside
Kubernetesはまだ成功していない - orangeitems’s diary
無料で使えるプロキシ/ロードバランサのOSS 比較18選 | OSSのデージーネット
実例に学ぶGoをテスタブルに書く基本 - Pepabo Tech Portal
40,000コンテナのPrivate PaaSを実現するために必要だったこと
Pythonの新しいCLIアプリケーションフレームワークuroborosを公開した - ぽよメモ
Kubernetesで管理するヤフーの次世代IaaS基盤
「ノーブランド」のNICは何者なのか、果たして使い物になるのか検証してみた
「Ubuntu 19.10」リリース、エッジでのKubernetes、AI／ML開発環境も強化
コマンド1つでKubernetesクラスタを作成 ゼットラボが開発したKubernetesを容易に管理できるサービス「CaaS」
第629回 数分でオールインワンなプライベートクラウドを構築できるminiONE | gihyo.jp
2019年10月25日号 Ubuntu 20.04 LTS “Focal Fossa”（仮称）・Ubuntu 19.10リリース記念オフラインミーティング 19.12 | gihyo.jp
ヤフーのIaaSを支えるKubernetesクラスタのアップデート苦労話
カラーミーショップにおけるSREの取り組み - Pepabo Tech Portal
第744回 Ubuntu Summit 2022 レポート | gihyo.jp
EOLを迎えたSensuがPrometheusに託した、2万台規模のIaaS監視