ITはもう面白くなくなってますね。 技術が面白いときには、いろいろ新しいものが出て性能あがったりできることが増えたりします。調べたらどんどん新しいものが出てくるし、新しいものもたくさん作るし、面白い。ですが、IT技術は一通り出そろって、成熟期に入っています。そうすると新しい技術に出会うことも新しいものを作ることも減っていきます。その結果、いままでの変化のあった状況を知っていれば、つまらんってなりますね。 ※2024/8/24 追記 言いたいことをまとめると、IT素振りのネタ探しに苦労するようになったよねってことです。 結局のところITというのは新しいハードをどう動かして社会に実装していくかというものなので、新しいハードが出ないとどうしようもないのです。けれどもだいたい飽和してしまった。 雑にいえば、これまで1980年くらいにBASIC搭載8bitパソコンが普及するとBASICプログラミング
独力でWebサービスを開発・構築できるフルスタックエンジニアへのロードマップ─幅広いスキルを「Udemy夏のビッグセール」で学ぶ！ - はてなニュース
Webで新規サービスを立ち上げる際に、UIからインフラ周りまで一人で面倒を見られるエンジニアは、少人数のスタートアップでなくとも非常に頼れる存在です。どんな課題に直面しても技術力で乗り越える、そんなスキルフルなエンジニアに憧れる方も多いでしょう。 この記事では、フロントエンドのプログラミング（JavaScript周辺）からサーバーサイド、インフラ、さらに開発手法まで、Web開発で必要になるさまざまなレイヤーのフルスタックなスキルの現在地と、関連するUdemyの講座を紹介します。 株式会社ヘンリーでVPoEを務める松木雅幸（@songmu）さんの執筆です。 フルスタックエンジニアに必要なスキル さまざまな講座でまとめて学習してみよう Udemyでは夏のビッグセールを開催中！ ※この記事は、株式会社ベネッセコーポレーションによるタイアップ広告です。記事末に、はてなブックマークした方にAmazo
情報を発信する人のところに情報が集まることを日々実感しているので、Linuxのメモリ管理に特に詳しいわけではないのですが最近遭遇した問題について自分の理解を書いておきます。ざっと調べても同じことを書いている人を見つけられなかったので、公開には意義があると考えています。識者の方がフィードバックをくださると嬉しいです。 ※ AIの出力をベースに書いているのでいつもと少し文体が違います。 背景 要約 調査 再現の難しさ Goアプリケーションの調査 pprofによる分析 GCログの調査 Linuxの調査 Goランタイムの調査 GoのGCとTHP khugepagedの問題 Goランタイムにおける回避策 回避策の削除 max_ptes_noneのデフォルト値について MADV_NOHUGEPAGEをやめた理由 調査内容まとめ 解決策 検証 C言語 Go言語 まとめ 背景 Go言語で書かれたOSSのア
すぐに役に立つものはすぐに陳腐化してしまうから方法ではなく設計の本を読む - API Design Patterns の読書感想文 - じゃあ、おうちで学べる
あなたがさっきまで読んでいた技術的に役立つ記事は、10年後も使えるでしょうか？ほとんどの場合でいいえ はじめに 短期的に効果的な手法や知識は、ソフトウェア開発の分野において、急速に価値を失う傾向があります。この現象は、私たちが何を重点的に学ぶべきかを示唆しています。最も重要なのは、第一に基本的な原理・原則、そして第二に方法論です。特定の状況にのみ適用可能な知識や即座に結果を出すテクニックは、長期的には有用性を失う可能性が高いです。これは、技術や手法が時間とともに進化し、変化していくためです。 learning.oreilly.com 「API Design Patterns」は、このような考え方を体現した書籍です。しかも480 ページもあります。本書は単なる手法の列挙ではなく、Web APIデザインの根幹をなす原則と哲学を探求しています。著者のJJ Geewax氏は、APIを「コンピュータ
今日から始める「システム監視」。大量トラフィックのシステムを安定して運用する知見をアソビューのSREに学ぶ - Findy Tools
公開日 2024/08/16更新日 2024/08/15今日から始める「システム監視」。大量トラフィックのシステムを安定して運用する知見をアソビューのSREに学ぶ はじめにアソビュー株式会社では、アソビュー！という電子チケットを販売するサイトを運営しています。 システムを安定稼働させるためには、日常的にシステムの状態を監視して、問題があれば調整するというプロセスを繰り返すことが必要不可欠です。本記事では、アソビュー株式会社において、どのような体制でこの安定稼働を実現しているかということを書くことによって、同じようにシステムを安定稼働させたいと日々考えておられる方々を想定読者として、そのノウハウを共有しようと思います。 安定稼働をするために必要な要素 人間の健康管理のために必要なことシステムを安定稼働するために必要なことというのは、人間が健康に生きていくためにやっておいたほうがいいことと共通
杜甫々 （「とほほのWWW入門」サイト管理者） 「とほほのWWW入門」というWeb関連の技術情報を掲載するサイトを運営しています．1996年9月に始めたので，もうそろそろ29年目に突入となります．HTML, CSS, JavaScriptを始め，Python, Rust, Goなどのプログラミング言語，React, Vue.js, Angularなどのフレームワーク，Docker, Kubernetes, OpenSSLなどのツール群，文字コード，正規表現，暗号化などの要素技術などなど，目につくIT関連情報を色々紹介してきました．途中サボっていた時期もありますが，ここ最近は1週間に1つはなんでもよいので記事を追加したり更新したりしています． ある講演会で，私が初めてコンピューターに触れたころの話から，サイト作りを始め，継続してきたことについて一通り語ったあと，来場者からの質問で「続けられる
【批判ではない】最近の技術用語をなんでもカタカナ化するのをやめたい【答えでもない】 - inductor's blog
オブザーバビリティについて説明すると「それモニタリングですよね」みたいなツッコミをされる穴があるので、なんらかの excuseをしたいのだが、本心では オブザーバビリティとモニタリングってそもそも類似点や相違点を語ること自体がおかしくないかと思っているよ。— 統合開発環境 (@sadnessOjisan) 2024年8月27日 これを見て オブザーバビリティってかっこよくカタカナで言わずに、可観測性の確保って言い続ければいいんだよ。— inductor / Kohei Ota (@_inductor_) 2024年8月28日 包含関係はある（つまり、可観測性の必須要素に監視はある）が、監視の主体とする目的が必ずしもすべて可観測性の実現によって解決されるとは限らなくて、目的が違う— inductor / Kohei Ota (@_inductor_) 2024年8月28日 って日本語で説明し
はじめに 最近 Raspberry Pi を3台購入し、自宅に Kubernetes クラスタを構築しました。 この記事ではその体験記を共有します。 また、自宅 k8s を構築する際に参考になる記事になる事も目指しています。 モチベーション 仕事で GCP 上で Kubernetes を使ったので、個人で Kubernetes クラスタを構築してさらに学習を深めたいと思いました。 実務ではクラウドサービスを使いますが、維持費が高額です。一日システムを立ち上げておくだけで数千円、一ヶ月では数万円かかってしまいます。 minikube などを用いてローカル環境で Kubernetes を動かすこともできますが、シミュレーター上の動作になってしまうので、どうせなら実際の環境に近いものを構築したいと思いました。 そこで、Raspberry Pi を用いることで、実際の環境に近い学習環境を構築してみ
Building a highly-available web service without a database
If you’ve ever built a web service or a web app, you know the drill: pick a database, pick a web service framework (and in today’s day and age, pick a front-end framework, but let’s not get into that). This has been the case for several decades now, and people don’t stop to question if this is still the best way to build a web app. Many things have changed in the last decade: Disk is a lot faster
メンテナンスコスト削減を実現したOpenTelemetryへの挑戦 ～NTTデータに学ぶ、オブザーバビリティの取り組み～ - Findy Tools
公開日 2024/08/14更新日 2024/08/09メンテナンスコスト削減を実現したOpenTelemetryへの挑戦 ～NTTデータに学ぶ、オブザーバビリティの取り組み～ オブザーバビリティの重要性が高まっている現在、その実現に向けたオープンソースプロジェクトであるOpenTelemetryが注目を集めています。一方、OpenTelemetryの具体的な導入事例やOpenTelemetryを用いたオブザーバビリティの取り組みについては、発信されている情報はまだ多くありません。 そんななか、Findy Toolsでは株式会社NTTデータの取り組みに注目。NTTデータでは、クラウドネイティブ環境やマイクロサービスアーキテクチャの採用増加に伴い、システムが複雑に。この課題に対応するため、OpenTelemetry を軸としたオブザーバビリティの実現に積極的に取り組んでいるといいます。 今回
OpenTelemetry を利用して PHP アプリケーションのテレメトリデータを計装する方法をまとめました。 本エントリのコードは下記で公開しています。 github.com OpenTelemetry とは 用語 PHP アプリケーションのマニュアル計装（手動計装） 構成 OTel Collector Jaeger 動作環境 必要なパッケージ PHP コード 設定 実行 PHP アプリケーションのゼロコード計装（自動計装） 必要な拡張とパッケージ 設定 PHP コード 実行 さいごに 参照 OpenTelemetry とは opentelemetry.io OpenTelemetry は、サービスやアプリケーションのテレメトリーデータ（トレース、メトリクス、ログなど）を計装、生成、収集、送信するためのオブザーバビリティフレームワークです。ベンダーニュートラルな OSS であり、CNC
Grafana Integrationsを使って10分でMacOSのダッシュボードを作成し、Grafanaの基礎を学ぶ | DevelopersIO
Grafana Integrationsを使って10分でMacOSのダッシュボードを作成し、Grafanaの基礎を学ぶ Grafanaの学習目的で利用するデータソースは永遠の課題ですが、今回はクライアントPCのメトリクスを利用して、PrometheusやLokiを学ぶ方法を紹介します。 「Grafanaのダッシュボードあれこれ触ってみたいけれど、実際やるなら自分の身近にある機器のメトリクスを使ってやってみたいよなぁ」 Grafanaには、学習目的でTestData data sourceが公式から提供されています。ダッシュボードの表示形式を手を動かしながら学ぶには良いデータソースなのですが、いかんせんテスト用のデータなので、実際のユースケースからは遠かったり、クエリがシナリオとして隠蔽されているため、Grafanaの基本であるPrometheusやLokiを学ぶには不向きです。 どうしたも
コンテナランタイムの代表的な実装の1つである「containerd」の初のメジャーバージョンアップとなる「containerd 2.0」の開発が進んでいます。 今年（2024年）3月に最初のリリース候補版「v2.0.0-rc.0」が登場し、6月には「v2.0.0-rc.3」まで進捗しているため、数カ月以内には正式版が登場すると思われます。 containerdのこれまで もともとcontainerdはDockerコンテナの一部として実装され、2016年に独立したオープンソースプロジェクトとなりました。現在でもDockerのコンテナランタイムとして採用されています。 参考：Dockerエンジンのコアランタイムが「containerd」として分離、独立したオープンソースプロジェクトに。Docker、AWS、Google、IBM、マイクロソフトらが協力して開発推進へ 2017年3月にCloud
はてなブログや GigaViewer で使われている画像変換プロキシを EC2 から EKS に移行しました - Hatena Developer Blog
こんにちは、サービスプラットフォームチーム アルバイトの id:walnuts1018 です。 この記事は、はてなの SRE が毎月交代で書いている SRE 連載の 8 月号です。7 月の記事は id:masayoshi さんの はてなで最近実施している SRE 研修の紹介 でした。 今回は、社内共用の画像変換プロキシである、「Scissors」というサービスを EC2 から EKS に移行したお話をしたいと思います。 画像変換プロキシについて 課題点 サービスプラットフォームチームにおける EKS やりたいこと 移行に関する懸念点 Scissors 専用の Node を用意する Pod / Node のオートスケール オートスケールの検証 負荷試験 1 回目 負荷試験 2 回目 リリース まとめ/ふりかえり 画像変換プロキシについて はてなでは「Scissors」という内製の画像変換プロ
10X ソフトウェアエンジニアの @metalunk です。ネットスーパー、ネットドラッグストアのプラットフォームである Stailer 事業で、機械学習（ML）と検索を専門として働いています。 2024年4月からいま（2024年8月）までの5ヶ月間で6つの推薦機能をリリースできました。この成果を支えたのはチームと ML platform（機械学習の基盤システム）です。このブログではチームの取り組み、ML platform の機能、および具体的な成果についてご紹介します。 このブログは技術ブログの体ではありますが、さまざまな業界、職種の方に読んでいただくことを目指して執筆しました。 (3) 章, (5) 章だけは機械学習に取り組んでいる人向けの内容を含みますので興味のない方は読み飛ばしてもらって結構です（機械学習に取り組んでいなくても興味のある方はぜひ読んでください）が、それ以外は IT
障害への不安をぶっ壊す！カオスエンジニアリングを運用しシステムとチームの耐障害性を高める - ZOZO TECH BLOG
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの山本です。普段はZOZOMATやZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。 我々のチームは、複数サービスを運用する中で障害対応の経験不足や知見共有の難しさといった課題に直面していました。そこで、半年ほど前にカオスエンジニアリングの導入を開始しました。 本記事では、カオスエンジニアリングを一過性のものではなくチームの文化として根付かせ、継続的な改善サイクルを生み出すための導入から運用まで、我々のチームでの実践から得られた具体的な方法をお伝えします。 これからカオスエンジニアリングを始めようとしている方はもちろん、すでに導入しているものの効果的な運用に悩んでいる方の参考になれば幸いです。 目次 はじめに 目次 背景・課題 カオスエンジニアリング導入の流れ 1. 目標とKPIの設定 1.1 目標
性能と運用面での変化はどれくらい？ 移行における要点整理 記事公開日：2024年8月27日 2024年7月3日に開催された「TiDB User Day 2024」では、オープンソースのNewSQLデータベース「TiDB」が、実際にどのように使われているか、ユーザーによる事例などを通して紹介された。サイバーエージェント グループIT推進本部 データプロダクトユニットの渡邉敬之氏からは、「大規模データ処理基盤におけるHBaseからTiDBへの移行事例」と題して、HBaseの課題と移行先となったTiDBの選定理由が明かされた。さらにHBaseからTiDBへの移行方法、移行後の性能と運用面での変化なども紹介してくれた。 老朽化したHBaseのデータ処理基盤をTiDBに移行 渡邉氏が所属するグループIT推進本部のデータプロダクトユニットは、「データの力で事業成長を加速させる」をミッションに掲げている
はじめに こんにちは。enechainのPlatform EngineeringチームSoftware Engineerの soma00333 です。 enechainは電力の卸取引や環境価値の取引の機会を提供するマーケットプレイスを運営する会社で、インフラ基盤としてGKEを採用しています。信頼性が非常に大切なドメインで、SREの力が欠かせないビジネスを展開しています。 この度、enechainはSREチームのさらなる強化を目指し、SRE as a Serviceを提供する 株式会社Topotal様 にご支援いただいて新たに2名のエンジニアを迎えました。 SREチームを強化するにあたり、「採用を頑張る」「内部で育てる」など手段は様々です。 本記事では、「外部会社（Topotal様）との協力」という手段がSREチーム・開発チーム全体にどのような効果をもたらしているかを紹介します。 SREチー
インターンの二週間で社内APIを新しく建て本番リリースまで何でもやった話【ソフトウェアエンジニアインターン参戦記】 - エムスリーテックブログ
はじめまして。河村 (@KowerKoint2010)です。 この夏、エンジニアリンググループ AI・機械学習チームで2週間の新卒ソフトウェアエンジニアインターンに参加しました。 インターンでは、「Yucca」という内部サービスの改善を担当しました。 当初与えられた課題については設計・開発から本番環境へのリリース、そしてユーザーへの利用法説明まで行い、まだ時間に余裕があったので追加でデータベースの改善も検討しました！*1 ここでは私がやったことを簡単に紹介しつつ、エムスリーという会社で働いてみた感想を伝えます。 エムスリーでのインターンや就職を考えている他の学生の参考になれることを願っています。 最終日にエムスリークリアファイルをプレゼントしたときの様子 Yuccaについて簡単に紹介 BigQueryに特定のフォーマットでデータを置くと、それをクローリングしてきて自動でAPIとして提供する
みなさん、Full-Stack TypeScript と呼びませんか！ みなさん、こんにちは！ アセンド株式会社で取締役CTOを務めている丹羽（@niwa_takeru）です。「物流の真価を開き、あらゆる産業を支える」をミッションに、運送会社向けSaaSの開発・提供をしています。また、個人としては今年５月に開催された TSKaigi の運営理事も務めております。 この記事で、みなさんにお伝えしたいことはただ１つ。↓↓↓ 「Full-Stack TypeScript という名称に統一しませんか？」 最近、フロントエンドやバックエンド、その他の領域を TypeScript で統一したアーキテクチャを採用する企業やプロダクトが増えています。私たちアセンドでも、フロントからバックエンド、IaC まで TypeScript で統一しており、1日に6回以上のデプロイを実現するなど高い生産性の恩恵を受け
KEELチームの相原です。 前回のエントリは「LLMを利用したPlatform Engineering」でした。 www.lifull.blog 今回は、小さい経路最適化ミドルウェアを実装してAZ間通信を削減した話を書きたいと思います。 背景 我々KEELチームはKubernetsベースの内製PaaSであるKEELを開発しており、LIFULLのほとんどのサービスがこのKEEL上で動いています。 www.lifull.blog そして、KEELは巨大なマルチテナントのKubernetesクラスタとしてAWSの複数のAvailability Zone(以下AZ)に展開されていて、多くのmicroservicesが互いに通信しあっています。 そのためAZ間通信はプラットフォームとして重要な関心事の一つです。 レイテンシやAWSのAZ間通信に対する課金を最小限に抑えるため、なるべくAZ間通信を減ら
マイクロソフト製の最新Linuxディストリビューション「Azure Linux 3.0」正式リリース。Azureに最適化され、Kernel 6.6を採用
マイクロソフト製の最新Linuxディストリビューション「Azure Linux 3.0」正式リリース。Azureに最適化され、Kernel 6.6を採用 マイクロソフト製のLinuxディストリビューションである「Azure Linux」の最新版となる「Azure Linux 3.0」が正式リリースされました。 Azure Linuxはマイクロソフトが提供しているサービス、MinecraftやAzure Kubernetes Service（AKS）、Azure Operator Nexus、Xbox、HDInsight, Microsoft Threat Protectionなどの基盤OSとしてマイクロソフト社内で作られていた、セキュリティを重視しMicrosoft Azureに最適化された同社独自のLinuxディストリビューションです。 3月に公開されたブログ「What’s new in
はじめに 新卒エンジニア研修を担当しました ugo です！ 今年も新卒エンジニア研修を実施し、全カリキュラムが無事終了しました。 この記事では、各研修の講師を担当したメンバーが、新卒エンジニア研修のカリキュラムの内容と研修資料をまとめました。ぜひご覧ください。 2024年度新卒エンジニア研修概要 新卒エンジニア研修のコンセプトは 「サービスを作るための技術要素や観点について、現時点で良いやり方を一通り学ぶ」 と設定しました。 サービスを運用していくために必要なオブザーバービリティといった領域も今年から研修に盛り込みました。 研修に参加した新卒エンジニアは3名です。 オフィス内はフリーアドレスとなっていますが、研修のためオフィスに固定席を設け、1ヶ月に1回程度の頻度でオフィスの別に席に移動する形態で実施しました。講師も新卒エンジニアの近くに座ることで、相談をしやすい環境づくりを行いました。
海外コメンタリー トーバルズ氏、「Linux」カーネル開発状況、「Rust」導入、AIを語る - (page 2) Steven J. Vaughan-Nichols （Special to ZDNET.com） 翻訳校正： 川村インターナショナル 2024-08-30 07:30 では、毎週のようにリリースされるLinuxのセキュリティバグフィックスについては、どうすればいいのか。安定版LinuxカーネルのメンテナーであるGreg Kroah-Hartman氏の考えでは、最も安全な最新の安定版Linuxカーネルに常に更新すべきだという。Torvalds氏も同じ意見だが、古いカーネルを使い続けて、頻度の低いセキュリティパッチのバックポートに依存するユーザーにも理解を示す。 「古いカーネルにはある程度の安定性があり、パッチやフィックスのバックポートを提供している。だが、重要ではないとユーザー
Streamlitとは StreamlitはPython向けのWebアプリケーションフレームワークです。 Streamlitを使うとフロントエンドの知識ゼロでもデータを可視化するためのWebアプリケーションを簡単に作れます。以下のような機能が特徴。 変数を地の文に書くだけで、GUIに出力される(マジックコマンド) st.radioやst.text_inputのようなWidget APIを呼び出すだけで、GUIコンポーネントが生成される Streamlitの最新バージョン Streamlitの最新バージョンはChangelogで確認できます。 2024/8/29時点で最新バージョンは1.38.0です。 以下に記載した変更点は、1.38.0でHighlights、Notable ChangesおよびOther Changesとしてアナウンスされたものの抜粋です。 Pandas以外のDataFr
Kubernetesパターン 第2版
TOPICS System/Network 発行年月日 2024年09月 PRINT LENGTH 392 ISBN 978-4-8144-0088-1 原書 Kubernetes Patterns, 2nd Edition FORMAT Print PDF EPUB マイクロサービスとコンテナの進化に伴い、開発者がソフトウェアを設計、構築、実行する方法は大きく変わりました。これらのアーキテクチャは、分散システムの新しい構成要素を提供し、多くの開発者やアーキテクトが慣れ親しんだものとは異なる一連のプラクティスを必要とします。本書は、Kubernetes上でクラウドネイティブアプリケーションを設計および実装するための再利用可能なパターンを解説します。 はじめに、コンテナベースのクラウドネイティブなアプリケーションを作るための基本原理とプラクティスを紹介し、コンテナとプラットフォーム間の様々な
The Future of WebAssembly Through the Eyes of a Veteran Kubernetes Engineer | HackerNoon
Too Long; Didn't ReadTaylor Thomas is the Head of Engineering at Cosmonic. He was a core maintainer of Helm for 4 years, and co-creator of Bindle and Krustlet. He is now a contributor to, and maintainer of, CNCF wasmCloud and is helping to bring the Cosmonic distributed application development platform to market. At the Pasadena leg of Kubernetes Community Days (co-located with SCaLE 20x), I had t
オンプレミスKubernetes環境でのDatadogのデータ欠損を解消した話 - pixiv inside
はじめに こんにちは。インフラ部のlyluckです。 この記事ではオンプレミスKubernetesクラスター環境のデータがDatadogへ送りきれず欠損した現象と、その解消方法について紹介します。 背景 ピクシブでは2023年からオンプレミスKubernetesクラスターが稼働し始めました。 徐々にクラスター上で稼働するサービスが増えつつあります。今では10ノードほどの規模のクラスター上で10程度のサービスが稼働しており、常に300台ほどのPodが起動しています。 クラスターやクラスター上のリソースの監視にはDatadogを利用していましたが、時間帯によっては監視データが欠損することが問題になりました。 リソースの監視に支障をきたしたり、意図しないアラートのトリガーが発生してしまったりしたため、この問題に対応することになりました。 まとめ クラスターチェックランナーを使ってKubernet
はじめに こんにちは。株式会社ZOZOのSRE部プラットフォームSREチームに所属しているはっちーと申します。 本記事では、Kubernetesクラスター上で自動カナリアリリース機能を提供するFlaggerが導入済みのマイクロサービスにおいて、手動カナリアリリースを実施する方法について紹介します。一見、矛盾するように思えるかもしれません。しかし、時にはそのような要件も発生することがあります。また、手動カナリアリリースで運用している状態からFlaggerの導入を検討している場合、導入後も念のために現行の手動カナリアリリースができるのか、という点は気になるかと思います。すでにFlaggerを導入している、これからの導入を検討している、という方の参考になりましたら幸いです。 目次 はじめに 目次 前提知識（Flagger） Manual Gatingの基本 Manual Gatingとは Man
構造化ログと実装 -Goのslogによる実践- - Cybozu Inside Out | サイボウズエンジニアのブログ
この記事は、CYBOZU SUMMER BLOG FES '24 (クラウド基盤本部 Stage) DAY 4の記事です。 クラウド基盤本部Cloud Platform部の pddg です。cybozu.comのインフラ基盤移行まだまだがんばっています。 今回の記事は、社内向けに書いていた「構造化ログとは何か・Goのslogパッケージをどう使うべきか」という話を一般向けに書き直したものです。なんとなくslogを使っているという状態から、チームでどのようにログを取るべきか方針を決められるようになるくらいの状態に持っていくための一助になればと思います。 背景 構造化ログに求められるもの 機械的に読み取り可能なフォーマット ログメッセージとパラメータの分離 一連の操作を特定するパラメータの付与 適切なメタデータの付与 slogパッケージによる実践 機械的に読み取り可能なフォーマットで出力する グ
Karpenter の魅力と実装にちょっぴり Dive Deep ~ Consolidation 編 ~ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、ソリューションアーキテクトのごとけん (@kennygt51) です。 皆さま、Karpenter というツールをご存知でしょうか？ Karpenter は AWS によって開発された Kubernetes クラスターオートスケーラーです。Kubernetes におけるノードのオートスケールを実現するために、Amazon EKS をご利用の多くのお客様が Karpenter を活用しています。 2021 年にリリースされた Karpenter は、多くのコントリビューターの協力もあって、日々成長を遂げています。2023 年には alpha 版から beta 版への昇格が発表 され、よりユーザーにとって使いやすく進化しました。そして 2024 年 8 月、ついに Karpenter v1.0.0 がリリースされ、安定版に移行しました。 一方で、Amazon EKS を利用している
Amazon Web Services ブログ Karpenter 1.0 がローンチされました はじめに 2021 年 11 月、AWS は 新しいオープンソースの Kubernetes クラスターオートスケーリングプロジェクト「Karpenter v0.5」の発表を行いました。当初は Kubernetes の Cluster Autoscaler の柔軟で動的かつ高性能な代替手段として考案されていましたが、その後の約 3 年間で Karpenter は大幅に進化し、完全な機能を備えた Kubernetes ネイティブのノードライフサイクルマネージャーになりました。 このプロジェクトは、業界のリーダー企業によってミッションクリティカルなユースケースに採用されています。自動的に利用率を改善するように設計されたワークロード統合や、ユーザーがクラスター内で Karpenter がノードのライフ
ネットワークコネクションの切断と Go の HTTP/2 クライアントのタイムアウト - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、クラウド基盤本部の向井です。 幸いにも cybozu.com を運用しているデータセンター内のネットワークは（担当チームの尽力により）安定していますが、ネットワークコネクションは常に切断されるリスクがあることを念頭においておく必要があります。その原因が一時的なネットワークの不調だったり、関係するコンポーネントのメンテナンスに伴う瞬断であったりした場合、アプリケーションは適切にリトライするなどして処理を継続したいところです。一方で、このような場合には OS によるプロトコルの実装やライブラリによって隠蔽された動作により、一見不思議に見える挙動に悩まされることも少なくありません。本記事では、一例として私が所属するチームで開発している Go を使って開発されたコンポーネントで経験したネットワークコネクションの切断に伴うトラブルと、その解決に利用した Go の HTTP/2 クライアン
Netflix、ワークフローオーケストレーター「Maestro」をオープンソース化 1日に約200万のジョブを完了
Netflixは2024年7月23日（米国時間）、大規模なデータ/ML（機械学習）ワークフローオーケストレーター「Maestro」のオープンソース化を発表した。 Maestroは、大規模なデータ/MLワークフロー（データパイプラインやMLモデルのトレーニングパイプラインなど）を管理するために設計された、スケーラブルなワークフローオーケストレーターだ。リトライ、キューイング、コンピュートエンジンへの分散など、ワークフローのライフサイクル全体を管理する。 ユーザーは、Dockerイメージ、ノートブック、bashスクリプト、SQL、Pythonなど、さまざまな形式でビジネスロジックをパッケージ化できる。有向非巡回グラフ（DAG）のみをサポートする従来のワークフローオーケストレーターとは異なり、Maestroは巡回グラフ、foreachループ、サブワークフロー、条件分岐など処理を繰り返すような複雑
プロフィール 岡麦 - 2022年度新卒入社 株式会社サイバーエージェン ト/株式会社 CAMへ出向 - 社内プラットフォームの運用・保守をメインとして活 動 @mugiokax #Kubernetes #Istio #Datadog @mugioka
Google Cloudは、2024年8月1日と2日、同社の最新ソリューションや活用事例を紹介する年次イベント「Google Cloud Next Tokyo ‘24」をパシフィコ横浜で開催した。150社を超えるユーザー企業やパートナーのセッションが展開された。 本記事では、「パルワールドのインフラ最前線」と題したポケットペアのセッションをレポートする。登壇したのは、ゲーム開発事業部の中條博斗氏、西北尚史氏、笹和成氏の3名。発売から6日足らずで800万本を売り上げ、ピーク時の同時接続数は210万人にも達したパルワールドを支えるインフラの裏側について語られた。 月のサーバー代予測が“7053万円”!? 人気が爆発したパルワールドの裏側では…… パルワールド（Palworld）は、広大な世界で不思議な生物「パル」を集め、戦闘や建築、農業などをしながら冒険を繰り広げるオープンワールドサバイバルク
Kubernetes環境でパケットがドロップされる問題を解決した話 - Cybozu Inside Out | サイボウズエンジニアのブログ
この記事は、CYBOZU SUMMER BLOG FES '24（クラウド基盤本部 Stage）DAY 16 の記事です。 こんにちは、Cloud Platformチームの竹村です。 私たちのチームでは、Necoと呼ばれるKubernetes基盤の開発や運用をしています。 このブログ記事では、大量の通信を行うアプリケーションをKubernetes上で運用する際に発生したネットワーク通信経路の障害に関してお話しします。 障害の概要 Kubernetes基盤を利用するチームから、クラスタ内のDNSサーバで性能問題が発生しているとの相談を受け、調査を開始しました。具体的には以下のような事象が起きていました。 Pod内のアプリケーションから一秒間に数百リクエストの単位でクラスタ内のserviceの名前解決を行うと、no such hostやi/o timeoutといったエラーが頻繁に発生する 障害
この記事は、CYBOZU SUMMER BLOG FES '24 (クラウド基盤本部 Stage) DAY 17の記事です。 こんにちは。クラウド基盤本部 Cloud Platform 部で Kubernetes 基盤（Neco）のネットワークを担当している寺嶋です。 Neco の Kubernetes クラスタはネットワークに Cilium を採用しています。 Neco の他のブログは以下を参照してください。 blog.cybozu.io Cilium は 2023 年 10 月に CNCF Graduated Project となった成熟したプロジェクトです。 一方で、大規模な環境で運用する際には性能問題や不具合に遭遇してしまうことがあります。 私たちはそのような Cilium に関連して発生する問題に対して、ツール開発や upstream への貢献などの様々な方法で対処しています。
関連キーワード VMware vSphere | VMware | 仮想マシン（VM） | サーバ仮想化 仮想化ソフトウェアベンダーVMwareを買収したBroadcomは、VMware製品の買い切り型の永続ライセンスを廃止し、CPUのコア数に基づくサブスクリプションライセンスのみを提供するなど、製品やサービスの提供方法に変更を加えている。こうした同社の動きは、ユーザー企業の関心を競合ベンダーの製品に向けさせる可能性がある。BroadcomのVMware製品ポートフォリオ再編の具体的な内容と、競合する仮想化ベンダーの選択肢とは。 VMware再編で市場激変 Broadcom vs. 競合ベンダー 併せて読みたいお薦め記事 連載：VMwareの製品ポートフォリオ再編が進む 前編：VMware続行か、脱却か――ユーザー企業の方針が決まらない訳 VMware製品はどう変わるのか AHV、ESXi
How We Migrated onto K8s in Less Than 12 months | Figma Blog
Migrating onto Kubernetes can take years. Here’s why we decided it was worth undertaking, and how we moved a majority of our core services in less than 12 months, all while making our compute platform easier to use. At high-growth companies, resources are precious. At Figma, we need to be sure that any decision we make—whether it’s about user-facing features or back-end infrastructure—will leave t
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ITが面白い時代はすでに終わっているし変化も遅くなった - きしだのHatena
Goで解放したメモリが少しずつ戻ってくる現象 - knqyf263's blog
「継続は力なり」よりも「好きこそ物の上手なれ」｜情報処理学会・学会誌「情報処理」
3 台の Raspberry Pi で始める自宅 Kubernetes クラスタの構築 - Qiita
PHP アプリケーションのトレース計装ではじめる OpenTelemetry 入門 - Shin x Blog
コンテナランタイム「containerd 2.0」がまもなく登場。何が変わるのか？
10X の推薦を作るチームと ML platform - 10X Product Blog
サイバーエージェントはHBaseからTiDBへ移行、大規模データ処理基盤における検証結果を明かす
SREチーム強化の新たな手段 ~協業で実現する信頼性向上~ - enechain Tech Blog
Full-Stack TypeScript という名称に統一しませんか？
小さい経路最適化ミドルウェアを実装してあらゆるAZ間通信を削減する - LIFULL Creators Blog
2024年度新卒エンジニア研修を実施しました! - Pepabo Tech Portal
トーバルズ氏、「Linux」カーネル開発状況、「Rust」導入、AIを語る
Streamlit 1.38.0の新機能紹介 - Qiita
Flaggerでも手動カナリアリリースがしたい！ - ZOZO TECH BLOG
Karpenter 1.0 がローンチされました | Amazon Web Services
SRE文化の導入とプラットフォームの信頼性向上の取り組み | ドクセル
「あれ、サーバー代で倒産する…？」大ヒットゲーム・パルワールドが語る、安価で堅牢なインフラ構築 (1/2)
Cilium 運用で遭遇した問題とその対応 - Cybozu Inside Out | サイボウズエンジニアのブログ
“VMware再編”で市場激変 「Broadcom」対「競合ベンダー」の行方