マイクロサービスをサーバレスで構築するのが適しているケースとは？：コンテナで構築するのと何が違うのか マイクロサービスをコンテナとサーバレスのどちらで運用するかはどのように決めればよいのか。その決定を大きく左右するのは、そのマイクロサービスで何を実行するかだ。 マイクロサービスアプリケーションの設計や構築に当たっては、コンテナを使ってマイクロサービスをデプロイするのが自然な流れだ。コンテナは、そのスケーラビリティと、まとまりのある1つのアプリケーションアーキテクチャの一部として独立したサービスをホストできる能力から、マイクロサービスを構築する際のデファクトソリューションになっている。 だが、マイクロサービスの少なくとも一部をサーバレスとして運用する方が理にかなっている場合もある。 サーバレスとコンテナの違い サーバレスとは、開発者がソフトウェアの実行をオンデマンドでトリガーできるデプロイメ
Vertex AI Pipelinesを用いて爆速ML開発の仕組みを構築する #LayerXテックアドカレ - LayerX エンジニアブログ
こんにちは。LayerXのバクラク事業部で機械学習エンジニアをしている@shimacosです。 最近、体重が増える一方で危機感を感じ始めたので、ダイエットを始めました。 ダイエットを始めて早3ヶ月ほどですが、一向に痩せません。何故でしょう？ この記事はLayerXアドベントカレンダー11日目の記事です。 昨日は@upamuneが「Slack × Zapier × MiroでKPTでの振り返りをラクにする」という記事を書いてくれました。 明日は@itkqが、楽しい話を書いてくれる予定です。 はじめに バクラクの機械学習チームでは、AI-OCRという請求書や領収書などの帳票から、仕訳などの経理業務や電子帳簿保存法の要件を満たすための項目を抽出する機能を構築しています。 AI-OCR機能については、以下の資料などで詳しく述べられています。 バクラクでは、ありがたい事に導入社数が順調に伸びており、
Introduction Introduction Quick Start Documentation Developer Documentation Design Formerly know as bpfd bpfman: An eBPF Manager bpfman operates as an eBPF manager, focusing on simplifying the deployment and administration of eBPF programs. Its notable features encompass: System Overview: Provides insights into how eBPF is utilized in your system. eBPF Program Loader: Includes a built-in program l
【選考直結型】RECRUIT INTERNSHIP for Data Specialists 2024 | EVENT | Engineering at Recruit
※上記事例は全て社内セキュリティレベルと同様の環境下にて運用を行い、ご参加いただく学生の皆さんと機密保持に関する誓約を締結し、契約期間のみデータに触れることができる形で情報管理をしております。 過去の参加者の声 ・リクルートのデータスペシャリストとして１ヶ月半インターンシップに参加しました！ ・【リクルートインターン参加記】BigQueryの全社的なスロット利用状況を可視化するツールの制作 ・VertexAIを利用した機械学習モデルにおける評価・分析パイプラインの構築 こんな方にオススメ ・国内最大級の膨大なデータを扱い、プロダクトを改善するための施策立案〜推進、新たな機能の拡充・開発、中長期を見据えた事業戦略の提案など、データを使用した専門スキルをベースに新たな価値の創造に貢献したい方。 必須スキル・経験 ※下記のスキルのうちどれか一つ有している方を対象としています。 ・数理統計学/解析
Launch of CNCF Japan Chapter “Cloud Native Community Japan” | Cloud Native Computing Foundation
By Cloud Native Community Japan Today we are thrilled to announce that leaders of the cloud native community in Japan have collaboratively established “Cloud Native Community Japan” as the Japanese Chapter of Cloud Native Computing Foundation (CNCF). CNCF hosts major open source projects in the cloud native field, and global tech conferences and events such as KubeCon + CloudNativeCon, where innov
こういうつぶやきをした。書いたまんま。ScalaというよりJVMがしんどいって話。Scala Nativeに希望を見出せるだろうか… あ、誤解がないように書いておくと、Scalaを辞めるという話ではない。仕事は普通にあるのでScalaは使っていく(Scala3もやると思う) Scalaについては、2019年ぐらいが潮目だったのかもしれないなと。 グーグル・トレンドをみると、2014年ぐらいからGoの検索ボリュームが伸びていてScalaより増えている。Goの勢いがすごい。KotlinがAndroid公式言語に採用されたのは2017年。2019年ぐらいからKotilnとScalaの検索ボリュームが反転して、ScalaよりKotlinのほうが多くなっている。まぁ比較すると相関があるとミスリードしがちなんで要注意だけど、なんにしも2019年ぐらいからScalaの検索ボリュームがだいぶ減ってきている
Ubie Engineering Advent Calendar 2023 の22日目の記事では、Ubieのプラットフォームで生じていた課題と、それを解決するためにサービステンプレーティングツールを開発・導入した取り組みについて紹介します。 はじめに プラットフォームエンジニアリングとは 具体的な課題 解決法 具体例 実装 CUE CI/CD マニフェストの更新 サービスカタログ ubieformの現在と今後 おわりに おまけ はじめに アドカレ初日の記事で紹介があったように、Ubieではモジュラモノリスとマイクロサービスアーキテクチャの両方を採用しており、独立して動くサービス数は現在70近くに及んでいます。それらのインフラの大部分はGoogle Cloud上のGKEかCloudRunで動いており、その管理と運用が私の所属する基盤チームの責務になります。 新たなマイクロサービスを立ち上げる
はじめに エンジニアに転職してそろそろ1年になります。 この1年で読んだ本、良かったサービスを紹介します。 書籍の紹介 Python1年生 第2版 体験してわかる！会話でまなべる！プログラミングのしくみ 転職活動を始める前にプログラミングの向き不向きを判断するために読みました。 基本的なプログラミングの概念やPythonの基礎が分かりやすく解説されています。 独習Python Pythonの基礎文法はこれ一冊で十分です。 多くの文法書がありますが、一冊終える頃には自分で調べて問題解決できるレベルになるので、この本に限らず自分に合った文法書を一冊学習すれば良いと思います。 スッキリわかるPythonによる機械学習入門 教師あり学習・教師なし学習など機械学習の基礎が学べます。 これ一冊だけでもかなり分かりやすくなっていますが、Pythonの文法を一通り学習した後で取り組むと、よりスムーズだと思
本資料は CNDT2023 の登壇資料です - CFP -
How Netflix’s Container Platform Connects Linux Kernel Panics to Kubernetes Pods By Kyle Anderson With a recent effort to reduce customer (engineers, not end users) pain on our container platform Titus, I started investigating “orphaned” pods. There are pods that never got to finish and had to be garbage collected with no real satisfactory final status. Our Service job (think ReplicatSet) owners d
v1.3 — 2024-02-19 Objective The purpose is to create quality SadServers.com scenarios. A quality scenario has most of the characteristics of an ideal scenario: They are fairly realistic.They are hard (medium type problems will also be considered), as in virtually nobody will be able to solve quickly (say under 10 - 20 minutes) and only a small fraction of people can actually solve. It’s perfectly
オンプレミス環境に比べ、柔軟で迅速に導入でき、かつコスト面でも有利――こうした理由から、この数年、クラウドファースト、クラウドシフトが広がっている。 だが、順調にサービスが成長し、支える基盤が拡大するにつれ、「あれ、思ったよりもずいぶんコストがかさんでない？」と疑問を抱く場面もあるのではないだろうか。 2024年2月に開催されたAmazon Web Services（AWS）のコスト削減をテーマとするイベント「第1回 AWSコスト削減 天下一武道会」には、3000人を超える申し込みがあった。同イベントを企画した西谷圭介（＠Keisuke69）氏は「クラウドのコスト削減は最近とてもホットなテーマですし、終わりのないテーマでもあると思います」と述べ、登壇者らのアプローチを参考にして、コスト削減のヒントを手にしてほしいと呼び掛けた。 コスト削減は総力戦のお祭り、楽しんで取り組みを イベントのトッ
合同会社EXNOA プロダクト本部の松下氏が、システムリプレイスについて、開発のアジリティを高めるための仕組みと、運用のためにやってきたことについて話しました。 松下氏の自己紹介 松下健太郎氏：私からは「開発のアジリティ向上のためのシステムリプレイス」と題して発表します。よろしくお願いします。 最初に自己紹介をさせてください。松下健太郎と言います。合同会社EXNOAのブラウザプラットフォーム部に所属しています。チームリーダーをやっていて、本発表で触れる、システムリプレイスのプロジェクトの推進をメインでやっています。 略歴です。DMM.comに2016年に新卒で入り、DMM全体で使われる認証基盤のリプレイスに3年間携わりました。その後にEXNOAに転籍をして3年間またリプレイスをしているということで、これまでリプレイスメインでやってきています。 合同会社EXNOAについて 続いて会社紹介をし
PagerDutyを用いたアラート対応改善の取り組みとTips紹介 - freee Developers Hub
はじめに こんにちは！freee の Enabling SRE チームに所属している阿部 寛明 (uryy)と申します。freeeのシステムを運用する際にはDatadogからの通知をもとにアラート対応するケースが多いのですが、組織拡大により従来の方法ではうまくワークしない箇所もでてきたので改善に取り組んでおります。今回はその一環で進めているPagerDuty導入の取り組みとその際に気づいたTipsについて紹介します。 PagerDutyについて PagerDutyは監視ツールやアプリケーションからのアラートを受けてインシデント発生を担当者にオンコール通知するプラットフォームサービスです。オンコール機能だけでなく、受け取ったアラートのトリアージやシフトに基づいたエスカレーションも可能となっています。freeeでは下記図のようなシステム連携の環境構築を進めています。 システム連携イメージ 現在
WasmバイナリをrunwasiとPodman/crun/WasmEdgeから実行してみた | DevelopersIO
DockerやKubernetesで利用されているコンテナランタイム containerd からは、shim を通じてruncやAWS Fargateで利用されているFirecrackerなど様々なコンテナ実行方法をサポートします。 数年前にDocker社のプレスリリースで話題になったのように、WebAssembly(Wasm)アプリも実行することができ、Wasm向けshimから runwasi を呼び出すほか、runc 向け shimから Wasm対応した crun を 呼び出す事もできます。 ※ 図はIntroducing the Docker+Wasm Technical Preview | Docker から 本記事では、両ケースに対応する containerd をインストールしたあと、runwasi 方式とPodman&crun のそれぞれで実行します。 検証環境 Ubuntu
こんにちは！エムスリー Advent Calendar 2023 7日目担当の小栗 (@irungo_ic)です。私は東京大学 電子情報工学科で学生(B4)をしており、エムスリーには業務委託で参画しています。 今回はgokartの分散並列化ライブラリkannonをエムスリーの実プロダクトに組み込んだ取り組みについて紹介します。結果として、社内のとあるプロダクトのIntegration TestのJobを7時間30分から2時間20分に短縮するという、約3.2倍の高速化を達成できました！それまでに生じた苦労、kannonへの追加機能などについてお話しします。 kannonとは？ kannonとは、M3が主体となって開発しているOSSのデータパイプラインライブラリgokartをk8s上で分散並列実行するためのライブラリです。私が今年3月に参加したAIチームでのインターンで開発したライブラリで、そ
こんにちは、研究開発部Architectグループ ML Platformチームの藤岡です。今回はKubernetes上に負荷試験基盤を構築したので、その取り組みについて紹介しようと思います。 目次 目次 背景 負荷試験基盤の要件 負荷試験ツールの選定 負荷試験基盤のシステム概要 シナリオファイルの管理方法 Kubernetes operator pattern の利用 GitHub Actionsの共通化 Slack通知用のAPIを用意 負荷試験の導入 負荷試験シナリオの詳細 負荷試験の実行 負荷試験の結果 おわりに 背景 研究開発部ではマイクロサービスで開発することが多く、各事業部向けにさまざまなシステムをAPI形式で提供しています。 APIを作成した際には負荷試験を行っており、リリース前にAPIのパフォーマンスを確認しています。 しかし現状では、各々のローカル環境で負荷試験を実施してい
Linux Foundation Announces OpenSearch Software Foundation to Foster Open Collaboration in Search and Analytics
6 MIN READ Linux Foundation Announces OpenSearch Software Foundation to Foster Open Collaboration in Search and Analytics The Linux Foundation | 16 September 2024 AWS transfers OpenSearch to the Linux Foundation to support a vendor-neutral community for search, analytics, observability, and vector database software. VIENNA – September 16, 2024 – Today, the Linux Foundation, the nonprofit organizat
こんにちは、LINEヤフー株式会社でSREとして働いている岩山です。 今回は出向先の出前館で進めているマルチテナンシーのKubernetes（k8s）クラスタとサービス間通信の認可について、その構築作業の中で得られた知見を紹介します。 いくつか導入したツールの紹介を同じチームの出向組メンバーである岡田・望月・岩山の3名でお送りします。 k8sのマルチテナンシーとは マルチテナンシーとは「テナント」と呼ばれる複数のチームなどの単位で k8s クラスタを共有することです。 参考： https://kubernetes.io/docs/concepts/security/multi-tenancy/ 出前館では数百名の開発者が20個前後のチームを構成し、アプリケーションの開発を行っています。それぞれのチームは複数のコンポーネントを持ち、全体としてマイクロサービスアーキテクチャが構成されています。
Agonesで作る機械学習アプリケーションのWorker - NTT Communications Engineers' Blog
この記事は NTTコミュニケーションズ Advent Calendar 2023 の13日目の記事です。 こんにちは、イノベーションセンターの坂本です。 ソフトウェアエンジニアとしてノーコードAI開発ツール Node-AI の開発に取り組んでいます。 機械学習やその前処理などの計算にかかる時間はデータサイズや処理内容により大きく異なります。そのため機械学習やデータ分析に関するアプリケーションでは、冪等でない処理をイベント駆動型アーキテクチャ(EDA)で扱う難しさがあります。 今回は上記の課題とその解決策として採用している専用ゲームサーバ(DGS)用OSS Agonesを利用したEDAのWorkerについて紹介します。 Node-AIとは Node-AIはブラウザから以下の図のようにカードを直感的につなげるだけで時系列データの前処理からAIモデルの学習・評価までの一連のパイプラインを作成・実
VMware End Of Availability of Perpetual Licensing and SaaS Services
VMware Cloud Foundation Products VMware Live Recovery VMware Private AI VMware Validated Solutions VMware vSphere Foundation VMware End Of Availability of Perpetual Licensing and SaaS Services Editorial Note: This blog post updates and replaces the original KB article (KB 96168) published on January 15, 2024. The intent is to bring further clarity to some of the communications contained in the ori
NVIDIAが2024年4月24日に、AIハードウェアの最適化と管理を行うツールを手がけるイスラエルのスタートアップ・Run:aiを買収したことを発表しました。 NVIDIA to Acquire GPU Orchestration Software Provider Run:ai | NVIDIA Blog https://blogs.nvidia.com/blog/runai/ Nvidia acquires AI workload management startup Run:ai for $700M, sources say | TechCrunch https://techcrunch.com/2024/04/24/nvidia-acquires-ai-workload-management-startup-runai/ テルアビブを拠点とするRun:aiは、AIインフラストラク
分散キャッシュシステムにおける公平制御の実現 - Preferred Networks Research & Development
本記事は、2023年夏季インターンシッププログラムで勤務された石森大路さんによる寄稿です。 こんにちは。PFN2023 夏季国内インターンシップに参加していた大阪大学3年の石森大路です。私はPFNの機械学習基盤を開発、運用するCluster Servicesチームにおいて、「キャッシュを利⽤した機械学習・深層学習ワークロードの加速」というテーマで課題に取り組みました。 Cluster Servicesチームでは、機械学習データセットをはじめとする大容量データの読み込みを高速化する分散キャッシュシステムを開発しています。キャッシュシステムの細部については次の記事や発表において詳しく説明されていますが、この記事でも改めて簡単に説明します。 深層学習のための分散キャッシュシステム – Preferred Networks Research Development 分散キャッシュシステム on K
本選のみ開催のISUCON13、問題はどう変わる？ 作問チームが語る”問題に込めた思い” - #FlattSecurityMagazine
Webアプリケーションのチューニングコンテスト「ISUCON13」が、いよいよ2023年11月25日(土)に開催されます。 サイバーセキュリティスタートアップのFlatt Securityは、今回ISUCON13にメディアスポンサーとして初協賛。プロダクト開発コミュニティにおける国内最大級のイベントであるISUCON13を盛り上げるべく、#FlattSecurityMagazineにて、ISUCON13の見どころやISUCONの魅力を発信していきます。 予選はなく、本選のみの一本勝負となるISUCON13。問題構成や内容に変化はあるのか、注目が集まっています。問題作成に携わる、さくらインターネット株式会社の長野雅広さん、穎川和弘さん、菅原大和さんの3人に、ISUCONに関わり始めたきっかけや作問の裏側、ISUCON13の”傾向と対策”についてお話を伺いました。 プロフィール 長野雅広さん
OpenTelemetry for Go + Cloud MonitoringでTrace Exemplarを使う
はじめに こんにちは！Google Cloudでオブザーバビリティを担当しているものです！ここ1ヶ月ほどでOpenTelemetry for Goにエグザンプラーに関するパッチが2件入り、先日の1.23.0と1.24.0のリリースでその両方が取り込まれました。 まだ試験的な機能ではありますが、早速エグザンプラーを試してみましょう。 TL;DR トレースエグザンプラーの取得をOpenTelemetryで行うデモを用意しました。Google Cloudのアカウントがあれば割と簡単に試せるはずです。ローカルやKubernetesでも動かす場合も手元での修正はそんなに難しくないと思います。 詳細はREADMEを読んでみてください。 エグザンプラーとは そもそもエグザンプラー（Exemplar）とは何かについて紹介すると、集約されたメトリクス（ヒストグラム、合計値、平均値、最小値、最小値など）をアノ
Redis Pub/Subを使って、ライブ配信の同時視聴数を10倍増やした話 | CyberAgent Developers Blog
こんにちは、AmebaLIFE事業本部の「ピグパーティ」でバックエンドエンジニアをしている松岡穂高です。 今回は、RedisのPub/Subを使用して、「ピグパーティ」のライブ配信機能（以下、観覧機能）において高い同時視聴数でも安定して配信できるように改善をしたため、その事例を紹介したいと思います。 ピグパーティとは 「ピグパーティ」とは、仮想空間内でなりきりたいアバター（ピグ）を作って、ピグのきせかえや自分のお部屋のもようがえをしながら楽しむ、アバターSNSサービスです。 背景 観覧機能は、もようがえをしたお部屋でパーティを開催し、ボイスチャットやコメント機能を使って配信者と視聴者（以下、観覧ユーザー）が交流するための機能です。 普段の運用では負荷に問題はありませんでしたが、最近ではVTuberとのコラボイベントで大規模な観覧パーティを行う機会が増えました。既存の仕様では負荷に耐えること
Kubernetes でワークフローを組むなら cdk8s-argoworkflow がよさそう！/ cdk8s-argoworkflow is great!
「 JAWS-UG CDK支部 #14」での登壇資料です。 イベントURL： https://jawsug-cdk.connpass.com/event/317935/
GitHub - microsoft/retina: eBPF distributed networking observability tool for Kubernetes
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
こんにちは！freee enabling sre teamに所属しているhamaa(濵田雄太)です。 この記事はfreee Developers Advent Calendar 2023 - Adventar 1日目です。 自分はfreeeにjoinし、おおよそ１年がたちました。この１年間で主にterraform state再設計、移行について取り組んでいました。 今回はterraform project, stateをどのような観点を元に設計するのかについて記事を書いていこうと思います！ 対象読者 これからterraform stateを設計、再設計する人 terraform stateをリファクタリングを考えている人 話さないこと terraform stateの基礎的な話 話の結論 terraform stateは以下の観点で設計することが必要と考えています。 ステークホルダー、設計
2023年のマイクロサービス事情 雑談から入ろう。 明言されることは少ないが、「マイクロサービス」には明らかにダメな検討過程と呼ぶべきものがある。 ここ10年のモダンなインフラ基盤で存在感のあるAWS、Kubernetes、etc...が採用しているから、推奨しているから採用。 チーム、部署、所属企業の分断がまずあり、そこを境界にとした「マイクロサービス」を採用。 サービスの特性やロードマップを整理せずに、拡張性が高そうだから。 こういう理由で採用するのは安直だよね。とさすがに2023年末では落ち着いていて、地に足のついた真面目な議論のできる状態だと信じている。（どれが私の経験談かは聞かないでほしい） 少しずつ本題に入る。AWS Lambdaはイベントドリブンなサービスである。それもあってマイクロサービスとの相性がいい。マイクロサービスとの相性が良く、モノリスがアンチパターンなのだ。という
S3マウント用のCSIドライバーが提供され、EKSからS3を永続ボリュームとしてマウント可能になりました！ #AWSreInvent | DevelopersIO
S3マウント用のCSIドライバーが提供され、EKSからS3を永続ボリュームとしてマウント可能になりました！ #AWSreInvent 「Kubernetesで大型のファイル扱うの面倒くさい。NodeのAMIに埋め込むとかじゃだめ？」 「やりたいことはわかるけど、運用めっちゃ面倒くさいでしょ、それ」 大型のファイルを扱う場合、ストレージの料金や運用に手間がかかるため、オブジェクトストレージ（S3）に格納することはよくあるシチュエーションだと思います。 今回のアップデートで、S3のマウントポイントがCSI（Container Storage Interface）に対応し、Kubernetesの永続ボリュームとしてS3をマウントすることができるようになりました。Kubernetesでホストするアプリケーションの活用方法が大幅に広がる意欲的なアップデートとなります。 このブログでは、アップデートの
Google、オープンソースの高速で安全な式言語「Common Expression Language」を発表
Googleは2024年6月18日（米国時間）、パフォーマンスが重視されるアプリケーションにおいて、高速かつポータブルで安全に実行できる汎用（はんよう）の式言語「Common Expression Language」（CEL）を発表した。 CELは、式の評価に共通のセマンティクスを実装するオープンソースの非チューリング完全言語であり、異なるアプリケーションの相互運用を容易にする。 CELは単独で使用することも、大規模なプロダクトに組み込むこともできる。リモートプロシージャコール（RPC）のルーティングからセキュリティポリシーの定義まで、さまざまなアプリケーションに適している。拡張可能でプラットフォームに依存せず、1回のコンパイル／評価のワークフロー向けに最適化されている。 CELの記述例 関連記事 Google、Kubernetes1.29に対応した「Google Kubernetes E
Introducing GPT-4o: OpenAI’s new flagship multimodal model now in preview on Azure | Microsoft Azure Blog
Products Popular View all products (200+) Azure Virtual Machines Azure Virtual Desktop Azure SQL Microsoft Copilot in Azure PREVIEW Azure AI Services Azure AI Studio Azure Cosmos DB Azure Kubernetes Service (AKS) Azure Arc Azure Migrate AI + machine learning Azure Machine Learning Azure AI Services Microsoft Copilot in Azure PREVIEW Azure OpenAI Service Azure AI Studio Azure AI Vision Azure AI Se
IaCの問題はGPTの力で直す。Checkovの --openai-api-keyオプションで修正方法を教えてもらおう！ - Qiita
--openai-api-key OPENAI_API_KEY Add an OpenAI API key to enhance finding guidelines by sending violated policies and resource code to OpenAI to request remediation guidance. This will use your OpenAI credits. Set your number of findings that will receive enhanced guidelines using CKV_OPENAI_MAX_FINDINGS [env var: CKV_OPENAI_API_KEY] これ、IaCの静的解析 × ChatGPTでは？！ ということで、今回はこの--openai-api-keyオプションを調べてみま
Rails: Kamalデプロイツールはゲームチェンジャーになるか？（翻訳）｜TechRacho by BPS株式会社
概要 元サイトの許諾を得て翻訳・公開いたします。 英語記事: Kamal: hot deployment tool to watch—or a total game changer?—Martian Chronicles, Evil Martians’ team blog 原文初版公開日: 2023/04/25 原文更新日: 2024/04/02 原著者: Kirill Kuznetsov（SRE筆頭）、Travis Turner（技術編集者） サイト: Evil Martians -- ニューヨークやロシアを中心に拠点を構えるRuby on Rails開発会社です。良質のブログ記事を多数公開し、多くのgemのスポンサーでもあります。 日本語ブログ: 合同会社イービルマーシャンズ - Qiita 日本語タイトルは内容に即したものにしました。 なお、KamalはRails 8からデフォルトの
AWS Open Source Blog Why AWS Supports Valkey Less than a week after Redis Inc. announced it was removing the open source license and pulling out of the Redis project, Redis contributors banded together to move the community to The Linux Foundation as the Valkey project. They did this almost immediately after the license change announcement went live, in response to community outcry on GitHub and o
UbieでSREをしているdekokunです。この記事は Ubie Engineering Advent Calendar 2023 の 21 日目の記事です。 導入 Kubernetes (k8s) のワンショットのJobにサイドカーを組み合わせると、様々な問題が生じることがあります。Ubie社には、複数の言語で書かれた多数のマイクロサービスが存在します。そしてご多分にもれず、複数マイクロサービスの共通課題をインフラレイヤで管理するためにIstioやCloud SQL Proxy、AlloyDB Auth Proxyなどを使用しています。 この記事では、それらサイドカーをJobと共に使用する際に直面する問題と、世の中でよく語られている解決策、および条件付きながら私たちがどのようにこれらの問題を解決しているのかについて解説します。 k8s Job + サイドカーで発生する問題 かつての私は
第7回の今回は、大規模なKubernetesクラスターの検証を容易にする「kwok」について紹介します。 はじめに 3-shakeのSreake事業部に所属する早川(@bells17)です。第7回目の今回は、大規模なKubernetesクラスターの検証を容易にする「kwok」について紹介します。 kwokとは“Kubernetes WithOut Kubelet”の略で、実際のKubernetes Nodeではなく仮想的なNodeやPodを使用することで、1,000台以上のNodeのあるKubernetesクラスターを手元環境で手軽にセットアップして検証を行えるツールキットです。 つまり、kwokを使用することで実際のNodeを用意することなく大規模なKubernetesクラスターの検証を部分的に行えるようになります。 kwokを試してみる 「実際のNodeを使用しない」と言われてもピンと
Configure GitHub Artifact Attestations for secure cloud-native delivery
When deploying in a truly cloud-native way, we need to ensure that we can trust what we’re deploying at every step of our supply chain. We need to be certain that what we think we are deploying is what we are actually deploying. We recently made GitHub Artifact Attestations generally available, which allows you to create provenance and integrity guarantees to verify what you have built within GitH
Retrieval Augmented Generation at scale — Building a distributed system for synchronizing and…
Disclaimer: We will go into some technical and architectural details of how we do this at Neum AI — A data platform for embeddings management, optimization, and synchronization at large scale, essentially helping with large-scale RAG. As we’ve shared in other blogs in the past, getting a Retrieval Augmented Generation (RAG) application started is pretty straightforward. The problem comes when tryi
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
マイクロサービスをサーバレスで構築するのが適しているケースとは？
bpfman
ScalaだけではなくGo/Rustもやっていくぞというお話｜かとじゅん(j5ik2o)
Ubieにおけるプラットフォームエンジニアリングの取り組み2023 - 電気ひつじ牧場
エンジニア1年目に読んだ技術書 - Qiita
CNDT2023: noteのEKS移設、ゼンブ見せます
Kubernetes And Kernel Panics
Make Money Creating SadServers Scenarios
エンジニアらが明かすAWSコスト削減術 「月額約6万ドル削減」の裏側
レガシーシステムなどが原因で起きていた“価値提供スピードの遅さ” アジリティ低下の解決のために実施した、システムリプレイスの「技術的戦略」と「運用アプローチ」
kannonを実プロダクトに組み込んで3倍高速化を達成した話 - エムスリーテックブログ
Kubernetes上に負荷試験基盤を構築した話 - Sansan Tech Blog
マルチテナンシーのKubernetesクラスタとサービス間通信の認可
NVIDIAがGPUリソース管理ツールの開発企業「Run:ai」を買収
terraform stateの再設計に取り組んだ話 - freee Developers Hub
Lambda + Monolithはアンチパターンなのか？ マイクロサービスでなく「小さくはじめる」選択肢
Why AWS Supports Valkey | Amazon Web Services
Kubernetes Jobでサイドカーを動かす際の問題と解決策 - でこてっくろぐ ねお
「kwok」でKubernetesクラスターをシュミレーションしてみよう