GitLab.comは、SaaSとして提供している同社サービスの無料枠について、6月22日から最大ユーザー数を5までに制限すると発表しました。 具体的には、Free Tierにおいてネームスペースあたりの最大ユーザー数が5となります。ネームスペースとはGitLab.comにおけるユーザー名やプロジェクト名のようなもの。 今回の発表では、ルートのネームスペースにおける最大ユーザー数が5となるため、あるユーザーが自身のプロジェクトを複数設定したとして、それぞれのプロジェクトごとのユーザー数が5以下だったとしても、複数のプロジェクト全体としてユーザー数が5人を超えるのであればこの制限にひっかかることになります。 GitLab.comはこの上限の設定について、会社としてより効率的な手段を模索したためと、次のように説明しています。 We are also always exploring ways
Amazonが作ったサーバレスアプリケーションのための軽量VM、Firecrackerの論文を読み解く -その1- - inductor's blog
このエントリーについて このエントリーを書き始めた経緯は下記にあります。 blog.inductor.me 1. はじめに(Introduction) サーバーレスコンピューティングは、[4、16、50、51]などのパブリッククラウド環境と[11、41]などのオンプレミス環境の両方で、ソフトウェアやサービスをデプロイ、管理するためにますます一般的になっているモデルです。サーバーレスモデルは、サーバーの運用やキャパシティ管理、自動スケーリング、従量制の価格設定、イベントおよびストリーミングデータのソースとの統合など、いくつかの理由において魅力的です。コンテナは、Dockerによって最も一般的なかたちで具体化され、運用オーバーヘッドの削減や管理性の向上など、同様の理由で一般的になっています。コンテナとサーバーレスは、従来のサーバープロビジョニング処理に比べて明確な経済的利点を提供します。マルチ
TL;DR eksctlを使うときはライフサイクルを意識しましょう VPC周り クラスタやIAM（ALB） アプリケーション（ALB） eksctlとは eksctlはWeaveworksとAWSが共同で開発を進めているEKSを管理するための公式ツールである。 リポジトリ github.com ドキュメント eksctl.io ここでは詳しく解説しないが、とても便利でコマンド一発でなんとなくK8sクラスタが立ち上がる。 また、公式ツールであるがゆえにEKSのアップデートに対する追従も早く、EKSのほとんどの機能に対応している。 EKSを触ったことがある人なら一度は触ったことはあると思うし、聞いたことはあると思う。 eksctlは難しいという話（前置き） eksctlでは config.yaml というファイルでEKSに必要な設定を管理することができる。 ざっとあげつらねるだけでこのくらいは
AWSサービスのServerlessオプションの特徴・比較・まとめ・プロビジョニングとの違い －Aurora、Neptune、EMR、Redshift、MSK、SageMaker Inference、OpenSearch Service－ - NRIネットコムBlog
小西秀和です。 今回は「AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い」の記事の一部としてAWSサービスの一部でクラスターやインスタンスのプロビジョニングに対して用意されているServerlessオプションについて、主なAWSサービスごとに特徴、設定項目、料金、制限事項を見ていきたいと思います。 今回の記事の内容は次のような構成になっています。 Serverlessオプションが使える主なAWSサービス Amazon Aurora Serverless v1 Amazon Auroraの概要 Amazon Aurora Serverless v1の特徴 Amazon Aurora Serverless v1の設定項目 Amazon Aurora Serverless v1の料金 プロビジョニング型とServerlessオプショ
EKSコンテナ移行のトラブル事例：推測するな計測せよ -CoreDNS暴走編- - MonotaRO Tech Blog
こんにちは、モノタロウの SRE グループ・コンテナ化推進チームの田中です。 現在、私たちはシステムモダナイゼーションのプロジェクトの一環として、200以上のエンドポイントを持つモノリスのバックエンド API を EC2 上から Kubernetes マネージドサービスの EKS（Elastic Kubernetes Service）に移行しています。ノードは Fargate を使用し、監視には Datadog と Sentry を導入しています。 今回、EC2 に流れているリクエストを全て EKS に振り分けを行おうとしておりました。その際に外部（DB、 サービス）への疎通ができないといった内容の Sentry のエラーが大量に発生し、切り戻しをせざるを得ない状況に陥ったのです。エラー内容を詳しくみたところ名前解決に関するものであり、今回私たちは CoreDNS の設定を行うことで解決し
Go製CLIツールGatling Commanderによる負荷試験実施の自動化 - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部MLOpsブロックの岡本です。 MLOpsブロックでは機械学習モデルの実験基盤の作成、機械学習モデルを組み込んだAPI・Batchの開発・運用・保守を行なっています。APIを開発する際には負荷試験を実施し、本番環境で運用する際に求められるスループット・レイテンシを達成できるか確認します。 MLOpsブロックでの従来の負荷試験実施には人手を要する定型的な作業が複数ありました。また頻繁に行う作業でもありトイルとなっていました。 本記事ではMLOpsブロックで抱えていた負荷試験実施の課題と、解決のために開発したOSSのCLIツール、Gatling Commanderについて紹介します。Gatling Commanderが負荷試験の実施におけるトイル削減の一助になれば幸いです。 github.com 目次 はじめに 目次 背景・課題 従来の負荷試験実施の方法 分
typescript-generatorを利用して、HTML に埋め込んだ JSON データをフロントエンドで型安全に扱う - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは！kintone フロントエンドリアーキテクチャチーム (フロリア) の西川 @nissy_dev です。 最近のフロントエンド開発で導入されることの多い TypeScript ですが、開発期間の長いプロジェクトに導入する際にはバックエンドとの結合部分の型定義をどう扱うかが問題になる場合があると思います。 今回の記事では、フロリアで取り組み始めた、HTML に埋め込んだ JSON データをフロントエンドで型安全に扱う施策について紹介します。 フロリアのプロジェクトの詳細については、 @koba04 が書いた次の記事をご覧ください。 blog.cybozu.io 目次 フロリアでのバックエンドからのデータ取得 HTML に JSON データを埋め込む方法の問題点 Java のクラスから TypeScript の型定義を生成できる typescript-generator types
EKSコンテナ移行のトラブル事例：ALBの設定とPodのライフサイクル管理 - MonotaRO Tech Blog
こんにちは、SREグループの岡田です。 モノタロウではモノタロウのクラウドネイティブ化の取り組みについて - MonotaRO Tech Blog にも記載されているようにシステムのモダナイズに取り組んでおり、その一環でEKSのPoCそして実際にECサイトの裏側のAPIを対象にコンテナ化に取り組みました。 この記事では移行時に起こったトラブルとハマったポイントの1事例をご紹介します。 前提 起こったトラブル トラブルシュート 1. 問題の整理と仮説 2. 検証 検証1.Podのステータスがterminate状態になってから削除されるまでの時間を変えてみる。 検証2.Pod Readiness Gateを試す。 検証3. ALBのDeregistration delay（登録解除までの待機時間）を短くしてみる。 分かった事 ALBを含めたPod入れ替え時の挙動 EKSにおけるトラブルシュート
データ活用視点に立つ「指標」のエンジニアリング 〜DataOps Night#1 登壇後記〜 - MonotaRO Tech Blog
データサイエンスグループでエンジニアやっています 竹野です。 本日は先日登壇したDataOps Nightについて参加報告させていただきます。 DataOps Nightについて finatext.connpass.com 「データガバナンス」や「アナリティクスエンジニアリング」、「DataOps」といったキーワードは近年注目の大きい分野となり、イベントも盛んに行われるようになりました。 DataOps Nightもその一つで、そのテーマに「データ品質の向上に取り組むエンジニアを集めて知見を共有する勉強会」を掲げています。 データを溜めるだけではなく活用するところにまで踏み込んでいくためには、解決すべき問題が数多く存在しています。 この知見を共有しようというのがこの勉強会の主旨です。 登壇するにあたってお声がかかった際に悩んだのは、 私自身はモデル開発や施策レポーティングといった形でデータ
We’ve scaled Kubernetes clusters to 7,500 nodes, producing a scalable infrastructure for large models like GPT-3, CLIP, and DALL·E, but also for rapid small-scale iterative research such as Scaling Laws for Neural Language Models. Scaling a single Kubernetes cluster to this size is rarely done and requires some special care, but the upside is a simple infrastructure that allows our machine learnin
ドメイン知識は幅広いのでどこまで勉強すればいいか思った時のリスト。勉強の仕方色々あるが個人的にわかりやすいなと思ったものも書いときます ソフトウェアエンジニアとしてやりながらrecoというエンジニア向けの転職プラトフォームを作ってます。現在は数社のテック企業のサポートをしております（https://jobs.reco.sh/) reco経由で申し込むと面接に備えるためのサポートが得られます。面接対策のヒントや質問例、模擬面接などを通じて、自信を持って次のステップに進む準備ができます。 申請リンク：https://airtable.com/appDsRlN6LTSiW0a3/shrP9nwF925b1d5ZJ Network復習 TCP, UDP: High Performance Browser Networking - Ilya Grigorikの2~3章 (m)TLS: Liz Ric
これは qiita.com の12/16の記事です。やばいもう16日が終わってしまう！ はじめに 太古の昔、あるC++プログラマ*1がtemplateの再帰と特殊化を使ってコンパイル時に計算ができることを「発見」*2*3したその日から、C++とコンパイル時計算は分かちがたく結びついています。 言語機能を本来意図されていなかった方法で活用する曲芸的な技巧だったコンパイル時計算は、その強力さを買われコミュニティを席巻し、C++11での constexpr の導入によりある意味で公式に認められたものとなりました。 導入当初は return 文一つだけしか持てなかった constexpr 関数は、それでも三項演算子による条件分岐や再帰によってコンパイル時計算を大いに盛り上げました。 そしてC++14で条件分岐、ループ、変数の書き換えが、C++17ではラムダが、C++20では仮想関数と動的メモリ確保
Cloudflare Pages + Functions + Workers KV + vite + preactで簡単なページを作った
今回作ったページは下記。 https://haropuro-shuffle.pages.dev/ 元ネタ リポジトリ YuheiNakasaka/haropuro-shuffle 簡単なルーレットアプリ。ルーレットで出た結果をWorkers KVに保存。保存された文字を都度更新して表示(リアルタイムではない)。結果が1000件を超えるとクリアされる。 開発の流れ Workers KVの設定 vite + preactのアプリ開発 Cloudflare Pages/Functionsにデプロイ Workers KVの設定 Workers KVとは PagesやFunctionsから呼び出せるKey-Valuesストア。ここ見るとわかるけど容量制限など結構厳しいのでDBとして本格的に使える感じではない。 設定方法 まずGUIからだとWorkersのページからnamespace(database
Amazon Bedrock Is Now Generally Available – Build and Scale Generative AI Applications with Foundation Models | Amazon Web Services
AWS News Blog Amazon Bedrock Is Now Generally Available – Build and Scale Generative AI Applications with Foundation Models Update October 10, 2023 — Amazon Bedrock is now available in 3 regions globally: US East (N. Virginia), US West (Oregon), and Asia Pacific (Tokyo). This April, we announced Amazon Bedrock as part of a set of new tools for building with generative AI on AWS. Amazon Bedrock is
.NET Core 3.0 で WinForms / WPF を使う場合は実行ファイルのパスに注意 - しばやん雑記
.NET Core 3.0 では WPF や WinForms が使えるようになっていて、配布時には大体 Self-contained かつ Single-file executables としてパッケージングするのが一般的になるはずです。 Desktop Bridge を使って APPX / MSIX を作るのに近い形ですが、よりカジュアルに扱えます。 単体の exe ファイルだけ配布すれば、実行環境に .NET Core がインストールされていなくても動作するので便利ですが、以下のように自分自身のパスを取ると挙動が .NET Framework の時と異なっています。 using System.Windows.Forms; namespace WindowsFormsApp1 { public partial class Form1 : Form { public Form1() {
They are popular and they are misunderstood. Containers have become the default way applications are packaged and run on servers, initially popularized by Docker. Now, Docker itself is misunderstood. It is the name of a company and a command (a suite of commands, rather) that allow you to manage containers (create, run, delete, network) easily. Containers themselves however, are created from a set
CloudWatch Logsにカスタムメトリクスを埋め込める、Embedded Metricsが追加されました！ | DevelopersIO
CloudWatch Logsにカスタムメトリクスを埋め込める、Embedded Metricsが追加されました！ オペレーション部 江口です。 CloudWatch Logsが、カスタムメトリクスを埋め込んで送ることができるフォーマット"Embedded Metrics Format"に対応しました。 https://aws.amazon.com/jp/about-aws/whats-new/2019/11/amazon-cloudwatch-launches-embedded-metric-format/ ログにこのフォーマットで情報を送ることで、カスタムメトリクスとしてCloudWatchで集計してくれるようになります。 これまでもCLIやAPIでカスタムメトリクスをPushすることは可能でしたし、CloudWatch Logsでフィルターを作成してマッチした文字列の数を数えるメトリ
Cloudflare Workers + Hono ワークショップ - ServerlessDays Tokyo 2023
Cloudflare Workers + Hono ワークショップ 資料はこちら => workshops.yusuke.run #serverlessdays Yusuke Wada 2023-09-24 ServerlessDays Tokyo 2023 workshops.yusuke.run アジェンダ ワークショップについて Workers イントロダクション Hono イントロダクション 基本編 プロキシ編 Web API編 フルスタック編 AI編 Honoをより深く知る その他 1. ワークショップについて 1.1 対象 対象者 Cloudflareでのアプリケーション作成に興味のある方 Honoを使ってみたい方 フロント、バックエンド問いません 前提条件 Wranglerが動く環境をつくっておく npx wrangler が動く JavaScriptに対する知識があるとよい
TypeScriptの主要な入力ファイルは .ts, .tsx, .mts, .cts ですが、JavaScriptファイル (.js, .jsx, .mjs, .cjs) も読み込んで処理することができます。JSDocによる型アノテーションを認識するため、生のJavaScriptでもそれなりに型をつけることができます。 本稿ではタイトル通り、TypeScriptのJSDocサポートでできることとできないこと (.ts でしかできないこと) をまとめます。 おことわり 本記事はTypeScript 4.4時点での実装状況に基づいています。なるべくソースコード中の関係する箇所を参照するようにしたので、今後の変更はご自分で検証してください。 (TypeScript Playgroundで試すだけでも有用です JavaScriptモードで開始できるリンク) JSDocの機能一覧・TypeScri
こんにちは。yoshiです。夏のTechrachoフェア2022ということで、夏とは何の関係もない記事を書いていこうと思います。 業務ではC++をやっていながら前回、前々回にTechrachoで書いた記事に引き続きRustをやっていく訳ですが、定期的に炎上しがち（？）なオブジェクト指向の話です。みなさん、オブジェクト指向は好きですか？ オブジェクト指向って何だろう？ A. なんもわからん なんて言ってしまったら話が終わってしまうのですが。 歴史的な話をするとオブジェクトという用語はSimulaが初出で、オブジェクト指向はアラン・ケイがSmalltalkで導入したもの、という話になりますが、一方でビャーネ・ストロヴストルップがC++に導入した「カプセル化・継承・ポリモーフィズム」の組み合わせのことを指すことが多く、SmalltalkのそれとC++のそれにも違いがあるので定義が定まらない概念で
AWS App Mesh を使用した Amazon ECS でのカナリアデプロイパイプラインの作成 | Amazon Web Services
Amazon Web Services ブログ AWS App Mesh を使用した Amazon ECS でのカナリアデプロイパイプラインの作成 この記事は Create a pipeline with canary deployments for Amazon ECS using AWS App Mesh を翻訳したものです。 この記事では Amazon Elastic Container Service (Amazon ECS) で実行されるアプリケーションのカナリアデプロイ戦略を、AWS App Meshと組み合わせて実装する方法を説明します。ALB の加重ターゲットグループを使用した AWS CodeDeploy でのカナリアデプロイを行う場合はこちらの記事を参照してください。 Amazon ECS や Amazon EKS などのコンテナオーケストレータを利用することで、世界中
話題の「Recoil」を使ってTodoアプリ作ってみた with TypeScript - Qiita
はじめに Facebook公式から新しいステート管理のためのライブラリが公開されました。 その名もRecoilです。 特徴としては ミニマム Hooksではお馴染みのuseStateと同じようなAPI パフォーマンス問題が解決できる(Viewの再レンダリングを抑える) が挙げられるかと思います。 早速Todoアプリを作ってみましょう。 環境構築 $ npx create-react-app todo-recoil --typescript $ cd todo-recoil $ yarn add recoil 型定義しておく 意気揚々とTSで始めようとしましたが、型定義ファイルは2020/05/15 10時現在は無いようです。 ですが、TS supportがIssueで上がっていて、既に予定しているようです。 有志が型定義ファイルを作ってくださったみたいなので、今回はとりあえずそれを利用させ
How eBPF will solve Service Mesh - Goodbye Sidecars - Isovalent
Service mesh is a concept describing the requirements of modern cloud native applications with regards to communication, visibility, and security. Current implementations of this concept involve running sidecar proxies in each workload or pod. This is a pretty inefficient way of solving these requirements. In this post, we will look at an alternative to the sidecar model that provides a transparen
LaravelアプリケーションのAPIがSwagger/OpenAPIドキュメントに準拠していることを透過的にテストする｜Laravel｜PHP｜開発ブログ｜株式会社Nextat（ネクスタット）
top > 開発ブログ > PHP > Laravel > LaravelアプリケーションのAPIがSwagger/OpenAPIドキュメントに準拠していることを透過的にテストする こんにちは、でぃーほりです。 Laravelアプリケーション開発において、 「API実装がSwagger/OpenAPIドキュメントに準拠していることを透過的にテストする」 仕組みを構築する機会があったので、背景・モチベーションから順を追ってご紹介します。 対象読者 バックエンドAPI開発に携わっている API仕様の文書化にSwagger/OASを使用している API仕様と実装が乖離して困っている 背景 Swagger/OASとはAPI仕様の文書化標準です。 HTTPリクエスト/レスポンスの形式を、人間とコンピュータの両者が理解できる形で文書化できます。 OAS(OpenAPI Specification)はS
新しいメディア転送プロトコル Media over QUIC Transport について - ASnoKaze blog
QUIC上でライブメディアなどを扱うプロトコルの標準化が、IETFのMoQ WGで進められています。 WarpやRUSHというプロトコル案が出ていましたが、プロトコルの設計が進み、コアプロトコルになる『Media over QUIC Transport (MOQT)』が登場しています。この仕様は、Twitch、Facebook(Meta)、Cisoco、Googleの方の共著となっています。 プロトコル スタック MOQTは、QUICプロトコルもしくはWebTransport上に位置するプロトコルです。その上に、Warpのようなメディアフォーマット・ストリームフォーマットを定義する仕様が乗っかります。(WarpとMOQTの役割が分割された感じになります。) (MoQ WG中間会議資料より) Warp 「WARP Streaming Format」は、MOQTのストリームフォーマットを定義す
こんにちは。計測プラットフォーム本部バックエンド部SREチームの市橋です。 私たちのチームではZOZOSUIT、ZOZOMAT、ZOZOGLASSといった計測技術に関わるシステムの開発、運用を担当しています。現在のZOZOMATとZOZOGLASSは、どちらも独立したEKSクラスタ上で動いていますが、ZOZOGLASSの環境を構築する際に将来のマルチテナント化を踏まえ大きく設計を見直しました。今回は、この設計見直し時に考慮した点を紹介します。 ZOZOGLASSとは ZOZOGLASSは顔の情報を計測し、イエローベースとブルーベースの2タイプ、及び春夏秋冬の4タイプの組み合わせからなるパーソナルカラーを診断するサービスです。計測した顔の情報から肌の色に近いファンデーションを推薦します。2021年7月時点で、ZOZOGLASSが推薦するコスメアイテムはファンデーションのみですが、今後はファン
EKS環境へArgo CD Image Updaterを導入し、デプロイ時間と管理コストを削減した話 - ZOZO TECH BLOG
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの渡辺です。普段はZOZOMATやZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。 先日私達のチームでは、Argo CDと拡張ツールArgo CD Image Updaterを導入した開発環境のCDリアーキテクトを行いました。本記事では、開発環境のCI/CDリアーキテクト設計とArgo CD Image Updaterの導入手順について紹介します。 目次 はじめに 目次 Argo CDとArgo CD Image Updaterについて Argo CD Image Updater導入前の課題 Argo CD Image Updater導入による開発環境CI/CD設計 導入手順 Argo CD Image UpdaterのECR操作権限設定 IAMRoleの作成とPodへのアタッチ PodのECR認
こんにちは。前回書いた突撃！隣のキーボード M3 2019という記事が、HHKBの公式Twitterアカウントにツイートされ、舞い上がっているエムスリーエンジニアリングGの河合 (@vaaaaanquish) です。 今回はエムスリー AIチームが開発、運用している機械学習プロジェクト向けのPythonライブラリである「gokart」の説明と、その周辺ライブラリとなる「cookiecutter-gokart」「thunderbolt」「redshells」について紹介したいと思います。よろしくお願いします。 はじめに Pipeline化のメリット・デメリット Pipeline化のメリット Pipeline化のデメリット gokart 共通化のための出力ファイル形式の制約と拡張 強力かつ簡易な再現性のためのデータ保持 クラウドサービスやSlack通知のサポート gokartのメリット、デメリ
【ArgoCD🐙】ArgoCDのマイクロサービスアーキテクチャと自動デプロイの仕組み - 好きな技術を布教したい 😗
この記事から得られる知識 この記事を読むと、以下を "完全に理解" できます✌️ ArgoCDのアーキテクチャを構成するコンポーネントの種類について ArgoCDがマニフェストを自動デプロイする仕組みについて この記事から得られる知識 01. はじめに 02. 概要 アーキテクチャ レイヤー コンポーネント 仕組み (1) repo-serverによるクローン取得 (2) application-controllerによるマニフェスト取得 (3) application-controllerによるCluster確認 (4) application-controllerによる処理結果保管 (5) argocd-serverによるキャッシュ取得 (6) 管理者のログイン (7) IDプロバイダーへの認証フェーズ委譲 (8) dex-serverによる認証リクエスト送信 (9) argocd-s
One of the most impactful things we’ve worked on in TypeScript 5.0 isn’t a feature, a bug fix, or a data structure optimization. Instead, it’s an infrastructure change. In TypeScript 5.0, we restructured our entire codebase to use ECMAScript modules, and switched to a newer emit target. What to Know Now, before we dive in, we want to set expectations. It’s good to know what this does and doesn’t m
KubernetesのPodを事前にスケールアウトする仕組みをCronJobで実装し、ジョブの処理遅延を低減した話 - ANDPAD Tech Blog
1. はじめに こんにちは、SWEのあかりです。 今回は、SREの角井さん（@cass7ius）と一緒に、Kubernetes(以降、K8sと表記)のPodを事前にスケールアウトする仕組みをK8sのCronJobで構築したので、その実装背景・技術選定・実装方法について実例を紹介します。 この記事を読んで得られるものは以下の3点です。 Podを事前にスケールアウトさせて、ジョブの遅延を低減した実例 技術選定時に行った定性分析の実例 Podからkubectlコマンドを実行する実装例 2. 前提の説明 掲題の実装対象は施工管理サービスであり、これは社内で最も古くから稼働しているモノリシックなRailsアプリケーションです。施工管理サービスのおおよそのインフラ・技術構成は下図の通りになっています。 施工管理サービスのインフラ構成図 上図の通り、施工管理サービスはEKSクラスター上で稼働しており、お
Web APIのパフォーマンス向上に「Dynamic Content Storing = DCS」という戦略を考えている。 Web APIに限らず、サーバーサイドで動的に作られるコンテンツ全てへ適応できるものである。 本番環境で運用したわけではないが、実際に動くモックを作ってみた。 背景とともに紹介しよう。 要点 「Dynamic Content Storing」とは「動的コンテンツをエッジのkey-valueストアに保存する」ことを言う。 ユーザーには（初回以外）KVストアから取得したコンテンツを返す。 有効期限もしくはコンテンツの更新をトリガーに新しくコンテンツを生成する。 どんなバックエンドにも適応できる「Incremental Static Regeneration」と考えることができる。 原理は「Stale-While-Revalidate」と同じだがこの場合はコンテンツがより永
人間によるKubernetesリソース最適化の”諦め”とそこに見るリクガメの可能性 | メルカリエンジニアリング
Platformチームでエンジニアをしているsanposhihoです。メルカリのPlatformチームでオートスケーリング周りの課題の解決を担当しており、Kubernetes UpstreamでもSchedulingやAutoscaling周りの開発に参加しています。 メルカリでは全社的にFinOpsに取り組んでおり、Kubernetesリソースは最適化の余地があるエリアです。 メルカリではPlatformチームとサービスの開発チームで明確に責務が分かれています。Platformではサービス構築に必要な基礎的なインフラストラクチャを管理し、それらを簡単に扱うための抽象化された設定やツールなどの提供を行っています。サービスの開発チームは、それらを通してサービスごとの要件に応じたインフラストラクチャの構築を行います。 サービスやチームの数も多く、そのような状況での全社的なKubernetesリ
こんにちは。Wantedly Infrastructure Squad 所属の @irotoris です。 Wantedly Visit を始めとする Wantedly のサービスのバックエンドシステムはほぼ全て Kubernetes クラスタの上で動いています。今まで kOps という OSS を使って AWS の EC2 インスタンス上に Kubernetes クラスタを自前で構築運用していましたが、2022年6月に AWS の Kubernetes Managed Service である Amazon Elastic Kubernetes Service (EKS) に移行しました。 この記事では Wantedly と Kubernetes の歴史を振り返るとともに、なぜ EKS に移行したか、移行した結果どうだったかをお伝えします。 目次 Wantedly システム基盤としての K
はじめに 普段ニュースサイトや機械学習関連のプロダクトを開発している中村と申します。 もともと大学院まで機械学習を研究しており、最近は自然言語処理が流行っているというニュースを聞きつけて、ずっと興味を持っていました。 （会社のお金で機械学習を勉強したいという願いが最近叶いました。） リモートワーク寂しい問題 最近のコロナ禍により、例にもれず弊社もリモートワークが盛んに行われ、現在ではリモートワークが当たり前になっています。 しかし、もちろん業務は円滑に進むのですが、コミュニケーションの量も少なくなることもまた事実。 ただし、チームメンバーの時間を雑談で奪うのも何か気がひける・・・。 こういうときはエンジニアリングの力で解決するのが、エンジニアという生き物ですよね。 そこで、今回は深層学習による自然言語処理モデルで、雑談のためのチャットボットを構築してみます。 深層学習時代の自然言語処理 今
Knative Servingを用いて多数の開発環境APIを低コストで構築する - ZOZO TECH BLOG
はじめに こんにちは、技術本部ML・データ部MLOpsブロックの鹿山（@Ash_Kayamin）です。先日、20個の開発環境APIを用意し、各APIをリクエストに応じて動的に起動できる仕組みをKnative Servingを用いて構築しました。 この記事ではKnative Servingを利用した背景と、利用方法、はまりどころ、利用によって得られたコスト削減効果についてご紹介します。なお、今回はKubernetesクラスタのバージョンとの互換性の都合でKnativev1.3.1を利用しました。2022/9現在の最新バージョンはv1.7.1になりますのでご注意ください。 目次 はじめに 目次 課題：20個の異なる開発環境APIを低コストで提供したい 解決策：Knative Servingを用いて、リクエストに応じて動的にAPIサーバーを起動する仕組みを導入する Google Cloud上でA
はじめに こんにちは。enechainのPlatform Engineering Deskで働いているsoma00333です。 enechainではproductのdeploy先としてGKEを採用しており、Platform Engineering DeskではKubernetes Clusterの運用業務を行っています。 enechainは「エネルギーの取引所を作る」というmissionを持っており、productも増えてきています。 Platform Engineering Deskも今後ますますsecurityに力を入れていく予定です。 前回は、Platform Engineering Deskのsecurityに関する取り組みの一例として、Pod Security Admissionを紹介しました。 ※ Pod Security Admissionの紹介 今回は、引き続きsecuri
My Python Development Environment, 2020 Edition - Jacob Kaplan-Moss
My Python Development Environment: My Python Development Environment, 2020 EditionFor years I’ve noodled around with various setups for a Python development environment. A couple of years ago I wrote about a setup I finally liked; this is an update to that post. Bad news: this stuff still isn’t stable, and I’ve had to make some changes. Good news: the general concepts still hold, and the new tools
Docker Hub の pull rate limit について現状まとめ - 生産性向上ブログ
Docker Hub の pull rate limit が 8 月に発表され、この記事執筆時点（11/15）で適用されつつあります。この pull rate limit の情報がいろいろなところに散らばっていてわかりづらくなってきたので、自分自身の情報整理のためにこの記事に現状をまとめてみました。 TL;DR 背景 Docker Hub の pull rate limit pull rate limit の回数カウントの定義 pull rate limit の適用スケジュール 現在の pull rate limit の確認方法 pull rate limit の例外 OSS サービス ミラー AWS ユーザー向け Docker Hub の public イメージの利用チェックツール Docker Hub の代替サービス まとめ TL;DR Docker Hub から pull するときは
本記事は、Gunosy Advent Calendar 2020 7日目の記事です。 前回は、しゅんけー君の「その実験、再現できますか？pyenvとpoetryによる “そんなに頑張らない” 再現可能な実験環境構築」でした data.gunosy.io はじめに 前提条件 目指すクラスター像 使用するサービス・ツール類 K8Sを使う上での心構え 環境設計編 環境設計 リポジトリ クラスター構築・前編（EKSクラスター） クラスター構築・中編（ASG） ASG or Fargate ASG spotインスタンス はじめに Gunosyの大関と申します。いくつかのEKSクラスターとクラスター上で稼働するサービスの開発運用を、基盤レイヤーを中心に担当しています。 昨年のadvent calendarでは、こんな記事を書いていました。 tech.gunosy.io さて、今年一年で社内の様々なサー
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitLab.com、SaaS版の無料枠を最大ユーザー5人までに制限。6月から
eksctlとソフトウェアライフサイクル - Juju-62q's blog
Scaling Kubernetes to 7,500 nodes
ドメイン知識の問題集や勉強の仕方（随時更新）｜gaijineers
2023年のコンパイル時レイトレーシング - in neuro
Containers the hard way: Gocker: A mini Docker written in Go
TypeScriptのJSDocサポートでできること、できないこと
Rustを通して見るオブジェクト指向｜TechRacho by BPS株式会社
EKSのマルチテナント化を踏まえたZOZOGLASSのシステム設計 - ZOZO TECH BLOG
機械学習プロジェクト向けPipelineライブラリgokartを用いた開発と運用 - エムスリーテックブログ
TypeScript's Migration to Modules - TypeScript
動的コンテツをエッジのKVにキャッシュする - ゆーすけべー日記
プロダクト基盤を EKS に移行しました | Wantedly Engineer Blog
雑談のためのチャットボットを深層学習自然言語処理モデル（T5）で作る - Qiita
NetworkPolicyでtrafficを制御しよう - enechain Tech Blog
ゼロから始めるEKS事始め（前編） - Gunosy Tech Blog