MLOpsチームは４名程度の規模だったのですが、PF-SREチームは当初から8名という大所帯(現在は10名)で、適切なチーム人数と言われる Two Pizza Rule の8人を超えてしまい、チーム運営のやり方を変えていく必要がありました。 また、2020年2月頃からCOVID-19によって週5リモートワークに代わり、その中で如何に効率を落とさずにチームとして働くかを模索していく必要がありました。 本記事では、小さなチームから、大きなチームのリーダーに移り変わるにあたってどのような変化を進めていったのか、またCOVID-19におけるリモートワークにどのように適合していったのかを記載していきたいと思います。 チームリーディングで気をつけていること私がチームをリードするときに気をつけていることは、約一年前に発表したZOZO MLOps のチームリーディングとSRE (Engineering)と
社内Kubernetesトラブルシュート-前編
「SEROKU フリーランス(以下、SEROKU)」の中の人をやっている kouki です。 今回は 社内 Kubernetes 実験環境をRancher 1.6から 2.0にアップデートして復活させた話 の中でお話しした「2.0で行ったトラブルシューティング」の「グローバル IP とプライベート IP 2つの足(NIC)を持つサーバを Kubernetes クラスタのネットワークに所属させることができない (Calico ネットワークが確立されない)」という件についてお話させていただきます。 経緯 経緯としては、 Rancher を利用した Kubernetes クラスタに対してインターネットからリーチャビリティを持たせるためにグローバル IP アドレスと社内通信用のプライベート IP 2つの足(NIC)を持つサーバをクラスタに参加させようとしました。 その際に、Kubernetes ク
ジョインしました、というのはかなり正確な表現です。Kongはまだ日本法人がないため、契約上は業務委託となっているので、入社というのはちょっと違うからです。 法人もなければまだオフィスもないので、今のところ私の自宅がKong Japanです。 Kongはサンフランシスコに拠点を置く会社で、APIゲートウェイ、KubernetesのIngress controllerおよびService meshの領域で複数のOSSとそのエンタープライズ・ソリューションを提供している会社です。競合はApigeeやMulesoftと言われることもありますが、むしろLinkerdや最近Service meshみが著しいConsulあたりになっていくかもしれない雰囲気を出し始めていて、なかなか面白いことになりそうだと感じています。（Istioも競合になり得るかもしれないけど、今はむしろ協調して使ってもらうイメージを
EKSクラスターのB/Gアップグレード作業の改善で取り組んでいること - masayosu’s blog
この記事ははてなエンジニアのカレンダー | Advent Calendar 2022 - Qiitaの14日目のエントリです。 背景 私のチームで運用しているEKSクラスターですが、アップグレードはBlueGreenアップグレードする方針をとっています。 B/Gアップグレードを採用している主な理由は切り替え時に問題が発生した場合に素早く切り戻しを行いたいためです。 詳細は以下のブログを参照ください。 developer.hatenastaff.com B/Gアップグレードのおおまかな流れは以下の通りです。 新バージョンのEKSクラスターを構築する ArgoCDに新クラスター用のデプロイ設定を手動で作成してアプリケーションをデプロイする Route53やAWS Global Acceleratorの設定を変更して旧クラスタから新クラスタにリクエストを切り替える 上記の2と3の工程には以下のよ
いわゆる退職エントリってやつですね、せっかくなので。とはいえ技術書典で文章を書くことに飽きたので簡単にしか書きません。 まだ有給消化中ですが1年半勤めたさくらインターネットを10月で退職し、大阪大学大学院情報科学研究科で博士後期課程に進学します。出戻りみたいな感じです。東京から大阪に移りました。 やっていたこと さくらインターネットには修士新卒で入社し、主に2つのプロジェクトを担当していました。 1つ目のメインで稼働していたプロジェクトですが、こちらはまだリリースされていないので詳細は伏せます。レイヤ的には要件定義・全体設計・DevOps・実際のアプリ開発といったところを担当していました (溢れ出るふるすたっく感！)。最近k8sのイベントや執筆をすることが多かったですが、主にこのプロジェクトで活かしてきたものになります。技術スタックの中でもgolang・k8s・gitops辺りを中心的に扱
TL;DR先日、GAとなったConfig Connector を使うと、Kubernetes のリソースのようにGCPのリソースを作成・管理できます。 はじめに昨今、クラウドを利用することが増えてきたエンジニアの方々は、様々な構成管理システム、API、ツールなどを組み合わせてインフラを管理していると思います。これらの要素は、どんどん複雑化し把握するのも困難になってしまいがちです。Config Connectorは、Kubernetesを介して、Google Cloud Platform 上でリソースの構成をシンプルにしてくれます。 Config Connectorとは?Config Connector とは、Kubernetes を介して Google Cloud のリソースを管理出来るようにするための、Google Kubernetes Engine（GKE）のアドオンです。Agones
GitHub - kubeshark/kubeshark: The API traffic analyzer for Kubernetes providing real-time K8s protocol-level visibility, capturing and monitoring all traffic and payloads going in, out and across containers, pods, nodes and clusters. Inspired by Wireshark
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
こんにちは。メルカリの画像検索チームでTech Leadをしています葛岡です。 今回は、メルカリのMLシステムの中で一、二を争う複雑なシステムである画像検索の基盤を再設計し、経済的にも技術的にもみんなが幸せになったお話をしたいと思います。 画像検索ってなぁに？ その名の通り、画像をベースに視覚的に似ている商品を検索する機能です。この機能は２年ほど前にリリースされていて、すでにiOSバージョンのメルカリではご利用いただけます。 当時のシステムはブログ記事になっているので、ご確認ください。 再設計？なにそれ？おいしいの？ さてこの機能を支えるシステムですが、当時開発されて以来、大きな再設計などは特になく、つい最近まで運用されていて、画像検索やその他のメルカリサービスでも内部的に呼ばれていて、プラットフォーム的な立ち位置を担っていました。 画像検索は定期的に新しい画像インデックスを構築するのです
2022/06/13に「ニコニコ生放送 WebフロントエンドのKubernetes移行ハンドブック 2022」を公開しました。本発表ではハンドブックの内容とともに、WebフロントエンドにおけるKubernetesへの移行と運用がどのようなものか紹介します。 Playground
AWS OSS製の高速Cluster Autoscaler Karpenter | Recruit Tech Blog
今回の記事はリクルートアドベントカレンダー2021の10日目の記事です。 こんにちは。スタディサプリ ENGLISH SREグループの木村です。 re:Invent2021で AWS OSS製のCluster Autoscaler KarpenterがProduction readyになったことをがアナウンスされました。 『スタディサプリENGLISH』では基盤にkubernetesを採用しており、今回導入ができないか検証をした記録です。 1)現在はauto scalingにはspotを利用しており別途記事になっているので興味があればこちらも参照ください Karpenterとは？ 公式の説明では下記のように説明されています。 Karpenter automatically launches just the right compute resources to handle your cl
この記事は、「TechFeed Experts Night#7 〜 コンテナ技術を語る」の開催に際し、TechFeedのデータを元に日本語記事ランキングを紹介していくものです。 60日以内で、獲得スコアが高かった順にトップ10を紹介しています（1pt以下の記事はランキングに含めていません）。 本記事は、TechFeed Experts Night#7 〜 コンテナ技術を語るのセッション書き起こし記事になります。 イベントページのタイムテーブルから、その他のセッションに関する記事もお読み頂けますので、一度アクセスしてみてください。 本セッションの登壇者 こんにちは、TechFeed CEOの白石です。 この記事は、TechFeed Experts Night#7 〜 コンテナ技術を語るの開催に際し、TechFeedのデータを元に日本語記事ランキングを紹介していくものです。 60日以内で、獲得
Introducing the AWS Load Balancer Controller | Amazon Web Services
Containers Introducing the AWS Load Balancer Controller The AWS ALB ingress controller allows you to easily provision an AWS Application Load Balancer (ALB) from a Kubernetes ingress resource. Kubernetes users have been using it in production for years and it’s a great way to expose your Kubernetes services in AWS. We are pleased to announce that the ALB ingress controller is now the AWS Load Bala
CLOMOの本番環境をKubernetes化した話 - i Cubed Systems Engineering blog
アイキューブドシステムズでCLOMOシステムの運用・監視をしているd-tasakiです。プラットフォーム運用部という部署に所属しています。「CLOMOシステムを絶対に止めない！」を部署のミッションとして、システムの安定的な提供を日々心掛けております。 2010年にサービスインしたCLOMOはアーキテクチャを少しずつ変えながら成長してきました。途中でAWSからAzureへとクラウド基盤を移すこともありましたが、いわゆる仮想マシンをベースとしたクラウドシステムとして構築し、運用していました。 2019年8月末にそれまでの仮想マシンをベースとしたシステムから、コンテナーをベースとしたAzure Kubernetes Service (AKS)に乗り換えました。そのbefore/afterの話を今回は書きます。 前回はCLOMOの開発環境をDocker化した話だったので、アンサーソングのようになっ
KubernetesのLoadBalancerやClusterIPを用いた中間者攻撃（CVE-2020-8554） - knqyf263's blog
今回は前回と違いライトなネタです。 概要 Kubernetesで新しい脆弱性（CVE-2020-8554）が公開されました。 github.com 拍子抜けするほど簡単な脆弱性なのですが、一応試しておきました。発見者の方のブログも以下にあります。 blog.champtar.fr 今回の脆弱性はServiceのtype: LoadBalancer/ClusterIPを悪用して行う中間者攻撃（MITM）なのですが、ブログの中でMITM as a Serviceと評していたのが面白かったです。KubernetesがMITMを簡単に代行してくれるという意味でas a Service感強いですし、今回悪用するリソースタイプもServiceなので二重にかかっていて好きです。 要約 前提 攻撃者が以下のいずれかの権限を持つ場合 type: ClusterIPのServiceを作成可能かつspec.ex
以前にセルフホストランナーの知られざる機能であるジョブの前後に任意のスクリプトを実行できるhookを紹介しました。 今回はセルフホストランナーの知られざる機能の紹介第二弾としてactions/runner-container-hooksを紹介します。 runner-container-hooksは2023年現在では比較的新しい機能で、自分もいつ頃に知ったのかは覚えていないのですが、actions/runnerのリポジトリには2022年の4-5月頃に追加されていたようです。実装のpull-reqから少し遅れて5月には設計ドキュメントと言えるADRのpull-reqが出されています。 このADRを見たところ自分がセルフホストランナーを運用する上で今まではどうしても不可能であったコンテナの中で起動したセルフホストランナーの中でコンテナ型のactionなどが実行できないという制約を突破できることが
こんばんは。しーばです。この記事は Calendar for CircleCI Advent Calendar 2021 | Advent Calendar 2021 - Qiita の17日目の記事です。ほんとは明日に書くつもりだったけど、空いてたから今日書くことにした。 16日目は、ふなっきーの 緑(Succeed)と赤(Failed)を区別する - よりinclusiveなCircleCIを目指して - Qiita でした。なんか Failed の色が変わったなぁって思ってたら、カラーユニバーサルデザインに対する取り組みで、僕は全然詳しくなかったんですけど、そういう取り組みをしてるのって良いなって思いました。 さて、今日は CircleCI の Year End Party で東京に来てました。 オフィスに来たらヒューガルデンが無限に出てくる pic.twitter.com/k7OO
TypeScript Future Corporation 2022 11 14 i TypeScript 1 3 1.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2 TypeScript . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.3 TypeScript . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.5 . . . . . . . . .
武田砂鉄さんがTBSラジオ『ACTION』の中で開幕まであと1年となった東京オリンピック2020についてトーク。現在までにしてきされている問題点や懸念点をまとめて紹介していました。 （幸坂理加）ここからはパーソナリティーが見たこと、聞いたこと、考えたことなど日常のアクションについてお話しするコラムコーナーです。砂鉄さん、今日のアクションは？ （武田砂鉄）相次いで問題点が明らかになる東京オリンピック、本当に大丈夫？ というテーマです。まあ、大丈夫じゃないんですよ。今週、いろいろ新聞、ニュースを見てると相次いで東京オリンピック関連の問題点が浮き彫りになってきたなっていう感じがするんですよね。この番組が始まってすぐくらいにこのコラムコーナーでも言ったと思うんですけど、そのオリンピックについて「どうせやるなら派」っていうことを言ったと思うんですけども。この「どうせやるなら派」っていうのは神戸大の小
2022 年 4 月 27 日 追記: 2022 年 3 月末に GKE で Gateway API の v1alpha2 が利用可能になりました。それに伴い本記事の内容も v1alpha2 を前提としたものに更新しています。 重要 2022 年 4 月 27 日時点の既知の問題として、元々 v1alpha1 CRDsをインストールし利用していたクラスタに v1alpha2 CRDs をインストールした場合、新規設定が可能になるまで最大 1 週間程度が掛かる場合があります。元々 v1alpha1 を使っていたクラスタとは別のクラスタを用意して v1alpha2 を試して頂くことを推奨します。 Kubernetes / GKE ファンの皆様、こんにちは。Google Cloud の Kazuu (かずー) です。 さて、2021 年に一番話題に挙がった GKE のアップデートと言えば、GKE
CloudNative Days Tokyo 2020 #CNDT2020_A
Cysharpの河合様をゲスト講師にお招きしてゲームサーバーに関する社内勉強会を開催しました！ | DevelopersIO
データアナリティクス事業本部の貞松です。 今回はデータ分析でも機械学習でもない話です。 細かい経緯はさておき、ゲーム開発におけるクライアントサイド(主にUnityを想定)だけでなく、サーバーサイドまで一貫してC#で開発することを想定した場合の知見を蓄積する為の社内タスクフォースが発足しました。 その活動の一環でCysharpの河合様とコンタクトを取らせていただき、ゲームサーバーに関する勉強会を実施していただくことになりました。 本記事は、上記勉強会のまとめ的な内容と個人的に重要だと感じたポイント、またゲームサーバーの開発を加速するCysharp製のライブラリについて記載します。 2020.9.16更新 : 当日のスライドをシェアいただいたので追加しました！ 株式会社Cysharpについて 今回の勉強会で講師をしていただきました河合様が代表取締役を務められているCysharpのコーポーレート
EKSでの認証認可 〜aws-iam-authenticatorとIRSAのしくみ〜 - もうずっといなかぐらし
こちらはAmazon EKS #1 Advent Calendar 2019 7日目の記事です。 EKSでIAM RoleをUserAccountに紐付けたり、ServiceAccountをIAM Roleに紐付けたりする際、AWSのドキュメントに従って設定してはいるものの、その設定によって実際にどんな処理が行われているかを具体的に知らない方も多いのではないでしょうか？(私も今回の記事のために調べるまではそうでした。) そこで今回の記事では、Kubernetesの認証認可の仕組みを解説したあと、AWSのIAMの認証情報をKubernetes内のUserAccountに紐付けるaws-iam-authenticatorの動作の仕組みとKubernetesのService AccountにIAM Roleを紐づける仕組みについて設定方法のレベルから一段掘り下げて実際の動作に焦点を当てながら説明
OSSでオブザーバビリティを実現する (Elastic Stack x OpenTelemetry on Kubernetes) - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。インフラエンジニアの gumamon です！ 最近はSRE的なことも ちょこちょこ やらせて頂いています。 NewRelic、Datadog、モダンな監視(オブザーバビリティ)って良いですよね。 弊社もKubernetes(k8s)等を利用した環境が増えてきた折、そろそろ必要になってきた(と思っている)のですが、NewRelic、Datadog等のクラウドサービスはランニングコストが安くない。 そこで内製できないかやってみよう！ということになり、試行錯誤をした結果どうにか表題の構成で作ることができたのでご紹介をしたいと思います！ この記事では、k8sを観測対象とし、オブザーバビリティを実現した際のアーキテクチャ構成、並びに四苦八苦する中で得た観測の勘所(私見)についてご紹介します。 目次 目次 オブザーバビリティとは オブザーバビリティ(OSS)の実現事例 全体構成 Elast
こんにちは。メルカリ ネットワークチームの@kanemaruです。 メルカリのネットワークチームは、パブリッククラウドのネットワークをはじめとした様々なレイヤに関するコンポーネントの設計・開発・運用を担当しています (参考記事1, 2)。そうしたコンポーネントのうちのひとつが、Content Delivery Network (CDN)です。 メルカリは他の多くのウェブサービスと同様に、CDNを利用しています。現時点ではコンテンツのキャッシュやセキュリティの担保といった、基本的ながら重要な機能に重点を置いて利用していますが、そうした中で見えてきた運用上の課題もあります。この記事では、メルカリにおけるCDNの現在の状況と最近の取り組みを振り返りながら、今後の展望についてご紹介します。 なぜCDNを使うのか? CDNの分野では、コンテンツのキャッシュ機能をはじめとした多彩な機能を様々なプロバイ
数年前から「Hadoopは終わった」と言われることがあります。 厳密なHadoopの定義は Apache Hadoop プロジェクトを指しますが、現在では異なる意味で使われていることも多いです。では、Hadoopは時代と共に消えたソフトウェアなのでしょうか？ @shiumachiの「Hadoopの時代は終わった」を正しく理解するの記事は、Hadoopを取り巻く環境の変化について書かれています。データ基盤の歴史に始まり、時代とともに変化し、現代におけるデータ基盤になっているという考察があり必見です。 Hadoop is Dead. Long live Hadoop. Arun C Murthy (Hortonworksの創業者であり、現在ClouderaのCPO）が本日公開したブログ、「Hadoop is Dead. Long live Hadoop」では、Hadoopは哲学（”Hadoop
kubectlのプラグイン機構とおすすめプラグインのご紹介 〜 Kubernetes制御用コマンド #k8sjp
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーの子会社であるゼットラボ株式会社の吉田（@ryysud）です。2018年12月よりゼットラボ株式会社でKubernetesをベースとしたインフラ基盤の研究開発を行っており、現在はCloud Nativeなアクセス制御システム（認証、認可）の研究開発を担当しています。 今回は2020年6月13日(土)に開催されたKubeFest Tokyo 2020でのセッション “kubectl のプラグイン機構を活用してオペレーションを効率化しよう”をベースに、Kubernetes制御用コマンドラインツールであるkubectlのプラグイン機構とおすすめプラグインをご紹介します。スライドとビデオは以下で公開されていますのでご興味
KubernetesクラスターからAWSリソースへのアクセスを制御してくれる「IRSA」とは？ - Qiita
「アクセス制御」ってややこしいですよね。 AWSでもIAMが苦手！って方多そうですが、Kubernetesの世界でもアクセス制御を知っておかないとセキュリティ事故に繋がります。 今回はそれらの合わせ技となる、AWS上でKubernetesを使う際の両プラットフォーム間でのアクセス制御の組み合わせについてのお話です。 AWS上でKubernetesを使う際のセキュリティ課題 EKSを使ってKubernetesワークロードをAWS環境上でホストしてるよ！という方は多いんじゃないかと思います。 特にAWSでKubernetesを使っていると「PodからAWSリソースにアクセスさせたい」という要件が出てきます。 以下のようなプロダクトを例として想像してみましょう。 この例では同じEKSクラスター上でKubernetes Podを2種類がバックエンドアプリケーションとして稼働しています。 Pod①へ
Edit June 2023: Added a section on Colima MacOS is a Unix but it isn’t a Linux so, unfortunately, if/when we need to use linux-y things like docker we need to install a VM just like in the Windows world. That’s of course also true for docker. Like most people I’ve been using Docker Desktop for a lot of years to get my fix for container. It works pretty well, good even for almost everything. I don’
こんにちは、クラウド事業部の中根です。 未経験からKubernetesに入門して約１か月が経ったので、振り返りたいと思います！ 実務に入る前の予習なので、実務を通した実践的な学習はしていない点はご了承ください。 学習の動機 入門前のレベル感 学習プロセス 入門0～7時間 入門7～32時間 入門32～60時間目 入門60～71時間目 入門71～132時間目 +α できるようになったこと 次のステップ これから入門する方へ おわりに お知らせ 学習の動機 私は中途入社で、案件は決まったのですが、参画まで1か月半ほど待機期間となりました。 クラウドネイティブな案件ということで、この期間を活かしてKubernetesのキャッチアップをすることになりました。 入門前のレベル感 IT業界経験が3年と1か月です。 以下、関係する領域の詳細です。 Kubernetes ほぼ未経験。 OpenShiftをち
[DevOpsプラットフォームの取り組み #4] CUE言語の紹介 - NTT Communications Engineers' Blog
はじめに DevOpsプラットフォームの取り組みを紹介する4回目の記事です。 Qmonus Value Streamの開発チームの會澤です。 連載4回目では、Qmonus Value Streamの重要な構成要素であるCUE言語についてご紹介します。 前回の記事では、Infrastructuer as Code (以下IaC)の課題と、Cloud Native AdapterというQmonus Value Streamチームの独自技術について解説しました。 Cloud Native Adapterは、「インフラストラクチャの構成」と「ワークフロー」をCUE言語を使って宣言します。 CUE言語は、複雑なシステム構成をスケーラブルに管理できることから、近年注目を集めているデータ記述言語です。 前回の記事でご紹介したとおり、KubeVelaやDaggerなど最近リリースされたIaCソリューション
![[DevOpsプラットフォームの取り組み #4] CUE言語の紹介 - NTT Communications Engineers' Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/aa86d9ff6e0194620b0a9a7b3d4526c76487bbd4/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FN%2FNTTCom%2F20220802%2F20220802094547.png)
2年半の専業フリーランスを終えてFlatt Securityに入社します - blog 0x003f
専業フリーランスで2年半ほどやってきましたが、元々仕事を受けていたサイバーセキュリティ事業を展開する株式会社Flatt Securityに入社することにしたので、これまでの振り返りとか何故入社しようとおもったのかとか、30歳過ぎた(31歳)Web界隈ITエンジニアの悩みとかを書こうと思います。あと副業として個人事業は継続するのでそういうお話は歓迎です（まず言っておく）。 これまで専業フリーランスとしてやってきたこと ソフトウェア開発 セキュリティ関連 専業フリーランス活動の所感 営業や仕事の仕方の話 フリーランスは不安定なんでしょ？ 報酬の話 そもそも何故フリーランスをはじめたのか キャリアの悩み 自分は他人より技術が好きではないなという気づき・自覚 10年先をどう過ごしていきたいか Flatt Securityに入社しようとおもった理由 長く時間をかけて達成するものがあるといいなとおもっ
2023/04/17 開催された、Kubernetes Novice Tokyo #24 にて話したスライドです。 https://k8s-novice-jp.connpass.com/event/278196/
Kubernetesクラスターにインストールした野良アプリケーションの再現性担保とバージョン管理 - ANDPAD Tech Blog
SREチームの須恵です。 今回は、Kubernetesクラスターの運用にまつわるちょっとした工夫について書くことにしました。 要約 何が問題か 今までのやり方 解決策 ここまでで実現できたこと Dependabotで、もうひと工夫 余談 ごあんない 要約 以下のような問題があり、 URLから直接、手動でkubectl applyしたアプリケーションが存在することにより インストールと更新が手動のためクラスターの再現性を低下させる 更新を手動で行う必要がある 誰かが更新に気がつく必要がある それぞれ、以下のアプローチで解決を試みました。 手元からインストールと更新を行うためクラスターの再現性を低下させる シェルスクリプトとDockerfileをバージョン管理する 更新を手動で行う必要がある install-from-url.shを自動的に実行する 誰かが更新に気がつく必要がある Depend
JenkinsとKubernetesを連携させてCIパイプラインを構築する時に、一番悩むの点は、いろいろな方法があるために、何を選択して良いか解らない。そして、実際に実装を進めると、様々な問題が発覚して、時間がかかってしまうことがある。 Jenkinsのプラグインで、Dockerに関するものだけでも約20種類、Kubernetesの関係するもので 約17種類もある。しかも、これらが問題なく動作するという保証も無い。筆者が経験したケースでは、資料が作られた時期から時間が経過すると共にプラグインが更新され、新たな問題が生じてしまい、動作しなくなっているなどがあった。そして、ドキュメントは、Jenkinsに詳しいエンジニア向けに書かれているために、普段触り慣れないJenkins初心者には難解な内容となっていることもある。 そして、Kubernetes上でJenkinsを動作させる場合にも問題が多
リポジトリに載せたくない秘匿情報をチェックする Secretlint を触った - 継続は力なり
タダです. リポジトリに AWS のアクセスキー,シークレットアクセスキーを載せてしまって情報の漏洩といったことが起こりうるので,その予防策としてSecretlintを触る機会があったためこの記事に備忘録をまとめます. Secretlint とは Secretlint 導入 Secretlint のルール Secretlint を実行する まとめ 参考情報 Secretlint とは Secretlint は azu さんが開発されている秘匿情報のコミットを防ぐツールです. github.com Secretlint 導入 Docker イメージも提供されていますが,今回は npm で導入し,npx secretlint --initで Secretlint の設定ファイルを生成します. $ npm install secretlint @secretlint/secretlint-rul
Avoiding dropped connections in nginx containers with “STOPSIGNAL SIGQUIT” | Ubuntu
Thank you for signing up for our newsletter! In these regular emails you will find the latest updates about Ubuntu and upcoming events where you can meet our team.Close (Also published on my blog at robinwinslow.uk) Update: The default used in the official nginx docker image was changed from SIGTERM to SIGQUIT in November 2020, so this should no longer be an issue for Docker or Kubernetes users. n
こんにちは。サイバーエージェントの長谷川（@makocchi）です。 「5分でわかる！Kubernetes/CloudNative Topics」連載の第5回は、最近のNewSQL事情について紹介します。 この記事ではNewSQLとは何かについて説明した後、NewSQLソフトウェアであるTiDB、YugabyteDB、CockroachDBを実際のKubernetes環境で動かす方法について紹介します。 NewSQLとは NewSQLとはNoSQL（Not Only SQL）の拡張性を持ちつつ、データベースソフトウェアでサポートされているACIDトランザクション処理が可能なソフトウェアです。NewSQLというワードの普及を後押ししたのが、Googleが2012年に発表した「Spanner: Google’s Globally-Distributed Database」という論文です。こ
この記事は、弁護士ドットコム Advent Calendar 2019 - Qiita の11日目の記事です。 要約 DatadogでブラウザーのJSエラーの収集を始めた。 1日に発生するJSエラー数を、1/4まで削減することができた。 エラー発生検知が、数時間から15分以内になった。 サービスの課題 以前、Sentryを弁護士ドットコムサービスが稼働しているowned k8sの片隅で運用していたが、運用負荷が高く、廃止。 サーバーサイドの監視は、きちんとやっていましたが、フロントの監視がおざなりになってました。 一部のページでは、Google Tag Manager経由で自作エラー検知スクリプトを埋め込んでいました。しかし、エラーを、Google Analyticsにイベント通知しているが、情報が少なく、エラーが追えませんでした。 結果、JSやフロントエンドのエラーは検知できませんでした
CIOpsからGitOpsへ。Flux2でマイクロサービスのデプロイを爆速にした話 - ZOZO TECH BLOG
はじめに こんにちは。SRE部の巣立（@ksudate）です。 ZOZOTOWNのマイクロサービス基盤では、GitHub Actionsを利用したCDパイプラインを構築しています。しかし、管理するマイクロサービスが増えるにつれて運用負荷が高まりつつありました。 本記事では、ZOZOTOWNのマイクロサービス基盤のCDパイプラインが抱える課題と、それらをFlux2でどのように解決したのかを紹介します。また、Flux2の導入にあたり工夫したポイントを紹介します。 目次 はじめに 目次 Flux2の導入背景 マイクロサービス基盤のCI/CDパイプラインが抱える課題とこれまでの対策 Flux2とは？ Flux2によるGitOpsの実現 Flux2の導入で工夫したポイント Flux2の管理 GitRepositoryとKustomizationの管理 Flux2によるkustomize build
【インターンレポート】KubernetesのOperator Patternを用いた効率的なHypervisorの更新システムの構築
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog 概要 LINEのインフラは50,000台以上の物理マシンによって構築され、インフラエンジニアはそれらマシンの能力を最大限発揮すべく日々開発を行っています。LINEの各種サービスを支えるプライベートクラウドのVerdaも同様に規模を拡大しています。規模の拡大に伴って、規模に応じたオペレーションの問題が出てきました。その問題の一つとして、既存の管理システムによるデプロイは4時間を超えるオペレーションになりました。 この問題を解決するために、今回の技術職 就業型コースのインターンシップで、私は効率的なVerdaのHypervisoの更新システムを構築しました。その設計にはKubernetesのOperator Patternを採用し
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ZOZO プラットフォームSREとコロナ禍におけるチームリーディング術
Kongにジョインしました - ikeike443のブログ
さくらインターネット株式会社を退職して博士後期課程に進学します - 水底
もっとGCPが使いやすくなる!? GKE Config Connectorを試してみた！
画像検索システム再設計のお話 | メルカリエンジニアリング
ニコニコ生放送におけるWebフロントエンドBFFサーバーのKubernetes移行事例の紹介
Kubernetes/コンテナ/Docker界隈の注目記事をまとめてみた【2022年11月版】
コンテナのセルフホストランナーの中でコンテナを使えるようにするrunner-container-hooks
CircleCI に入社してちょうど2ヶ月がたちました - Mitsuyuki.Shiiba
仕事ですぐに使えるTypeScript - PDF版
武田砂鉄 東京オリンピック開催1年前の問題点と懸念点を語る
Ingress の進化版 Gateway API を解説する Part 1 (シングルクラスタ編)
K8sとTraefikでつくるマイクロフロントエンド
メルカリにおけるCDN利用の現在とこれから | メルカリエンジニアリング
Hadoop is Dead. Long live Hadoop の所感
Replacing Docker Desktop with hyperkit + minikube - Cirrus Minor
【Kubernetes】未経験から1か月経ったので振り返る - APC 技術ブログ
Prometheusでの監視データ活用マニュアル
JenkinsとKubernetesでCIパイプラインを構築 - Qiita
入門NewSQL 〜Kubernetes上で手軽に使えるNewSQLを動かしてみよう | gihyo.jp
DatadogでフロントエンドのJSエラーを収集してサービス改善 - Qiita