並び順

ブックマーク数

期間指定

  • から
  • まで

521 - 560 件 / 4628件

新着順 人気順

k8sの検索結果521 - 560 件 / 4628件

  • ラズパイ4でK8ssandra動かしてみた

    はじめに 以前構築したラズパイK8sクラスタが自宅の片隅で文鎮と化していたので、K8ssandra を試してみることにしました。 仕事で DSE を利用していることもあり、前から気になっていたんですよね。 K8ssandraとは こちらに記載ありました。 CassandraがKubernetes上で実行できるぐらいに思っておけばよいですかね。 個人的にはずっとなんて呼ぶんだろうと気になっていましたが、それもしっかり記載されていました。 Any way you want! Many of the team members pronounce it as “Kate” + “Sandra”. なんでもいいよが一番困る気がしますが、とりあえず「ケイトサンドラ」と呼ぶことにしました。 動作環境 Kubernetes(Rasberry Pi4): v1.19.2 Helm: v3.3.0 K8ssa

      ラズパイ4でK8ssandra動かしてみた
    • “Let’s use Kubernetes!” Now you have 8 problems

      Introduction to Dockerizing for Production Improve your DevOps skills: learn an iterative process for Dockerizing your code. Get your free ebook “Let’s use Kubernetes!” Now you have 8 problems by Itamar Turner-Trauring Last updated 01 Oct 2021, originally created 04 Mar 2020 If you’re using Docker, the next natural step seems to be Kubernetes, aka K8s: that’s how you run things in production, righ

        “Let’s use Kubernetes!” Now you have 8 problems
      • 【Intern CV Report】Trainsによる実験管理 - Sansan Tech Blog

        こんにちは,DSOC 研究開発部 インターン生の内田です.先日プチ卒業旅行として伊豆の温泉旅館に行ってきました.伊豆といえば バナナワニ園 ですよね,異論は認めません.バナナワニ園のワニたちは基本的に動かないので思わず「休日の俺じゃん」って呟いてしまいました. さて,今回はCVとは直接関係ないですが,多くの人が頭を悩ませている実験管理に関する話題です. 機械学習と実験管理 機械学習,特に深層学習を用いたプロジェクトにおいては,精度を引き出すためにハイパーパラメータが非常に重要です.一口にハイパーパラメータといっても,モデルサイズや学習率,バッチサイズなど挙げるとキリがありません. 最適なハイパーパラメータを定めるには,Grid Searchなりでパラメータを探索し,精度などと共にロギングする必要があります.バナナワニ園のワニのように怠惰な私にとって,パラメータや結果をマメに記録しておくこと

          【Intern CV Report】Trainsによる実験管理 - Sansan Tech Blog
        • 今日から始めるXDPと取り巻く環境について - お腹.ヘッタ。

          はじめに この記事はBBSakuraNetworkアドベントカレンダーの5日目です。 自分はBBSakuraでアルバイトをしている大学生です。 さくらでバイトをしていたところ気がついたら出向していて今はコアモバイルの開発に携わっています。アルバイトに出向ってあるんですね。びっくり。 今はB3なのでそろそろ大学で研究しないといけなくて焦りを感じてます。 さて、今回話すのは自分の趣味の話をします。 eBPF と言われるパケット処理のための処理技術があるのですがそれが好きで、最近はBPFを利用した高速パケット技術の手法としてXDPを追いかけています。今回はそれを始めるにはどうすればいいかをみたいな話を紹介したいと思います。 対象読者としては高速パケット処理をやりたいけど、どうすればいいかわからない!って人をターゲットにしてます。始めるときにみると手引きみたいなknowledgeを目指します(自分

            今日から始めるXDPと取り巻く環境について - お腹.ヘッタ。
          • 個人開発で使う GKE|yusuke-suzuki

            私が個人で開発・運用している Qoodish という Web サービスは、主要なコンポーネントを Google Kubernetes Engine (GKE) 上にホスティングしています。 大規模なサービスを展開するために使われるイメージが強い Kubernetes (k8s) ですが、個人開発で作るような小規模なサービスでも様々なメリットがあります。 参考: Kubernetes は辛いのか? 運用コストの削減 開発も運用も基本的に一人で行う個人開発においては、いかに運用コストを下げてアプリケーションの開発やサービスの設計に時間を割いていくかというのは重視されるポイントだと思います。 k8s を使うことで、必然的に Infrastructure as Code が実現され、アプリケーションをコンテナ上でステートレスに運用するということが可能になります。 k8s 導入以前は VM の状態管

              個人開発で使う GKE|yusuke-suzuki
            • YAPC::Hakodate 2024 前乗り高速観光記録 - ぱすたけ日記

              今週末にあるYAPC::Hakodate 2024と週末にあった京都サンガF.C.戦とを繋げた結果、実行委員会の人たちよりも先に函館に前乗りする形になった。 yapcjapan.org 今日は大変天気も良かった*1ので、観光をすることにしました。一方で昨日までは札幌を満喫しており、その間に函館についての事前のリサーチは一切していませんでした。そんなとき、ちょうどYAPC::Hakodate 2024のブログで観光情報の紹介が公開されたのを教えてもらいました。 ちょうどそんな人向けのやつでたのでどうぞ! https://t.co/Ql09pAiE1Z— かるぱねるら (@karupanerura) 2024年9月30日 なのでこの記事を眺めたりして、なんとか半日である程度の観光をしたので、これからYAPC::Hakodate 2024のために函館に来る皆さんは参考にしてください。 函館空港

                YAPC::Hakodate 2024 前乗り高速観光記録 - ぱすたけ日記
              • Comparisons of Proxies for MySQL

                With a special focus on Percona Operator for MySQL OverviewHAProxy, ProxySQL, MySQL Router (AKA MySQL Proxy); in the last few years, I had to answer multiple times on what proxy to use and in what scenario. When designing an architecture, many components need to be considered before deciding on the best solution. When deciding what to pick, there are many things to consider, like where the proxy n

                  Comparisons of Proxies for MySQL
                • Kubernetes 1.22: Metrics Changes と SIG Instrumentation の変更内容 - Qiita

                  Kubernetes 1.20 SIG Instrumentation の変更内容 Kubernetes 1.21 SIG Instrumentation の変更内容 はじめに ここでは、Kubernetes v1.22 の CHANGELOG から Metrics の変更と SIG Instrumentation の取り組みについてまとめています。 Kubernetes 1.22: Reaching New Peaks | Kubernetes Kubernetes 1.22 CHANGELOG 今回 Kubernetes v1.22 で SIG Instrumentation が扱う主要なテーマはありませんが、注目すべき機能として Alpha feature の API Server Tracing が記載されています。 API Server Tracing ======追記=====

                    Kubernetes 1.22: Metrics Changes と SIG Instrumentation の変更内容 - Qiita
                  • おうち Kubernetes に最適な Synology 公式の CSI Driver がリリースされた話と Cloning / Snapshot feature deep dive - @amsy810's Blog

                    こんにちは。青山(@amsy810)です。 この記事は、Kubernetes Advent Calendar 2021 の 1日目の記事です。 いよいよ今年もアドベントカレンダーの季節が始まりました。今年も1ヶ月間わいわいしていきましょう! Agenda 2021-08-31 にリリースされた Synology 公式の CSI Driver の紹介 CSI Driver に実装された Cloning と Snapshot Feature の実装深堀り おうち Kubernetes 今回はかわいい下駄箱 DC に佇む、箱物ストレージの Synology に新たな CSI Driver を適用していきます。 去年の jparklab/synology-csi CSI Driver に機能実装した話 去年はおうちKubernetes向けのストレージを Synology に刷新したのもあって、jp

                      おうち Kubernetes に最適な Synology 公式の CSI Driver がリリースされた話と Cloning / Snapshot feature deep dive - @amsy810's Blog
                    • ゼロから始めるdiagramsでシステム構成図 - Gunosy Tech Blog

                      こんにちは。ひぐらし業を見て毎週心を痛めているふそやん@azihsoynです。 コロナ禍でIT業界ではリモートワークが増えてきて、オンボーディングもオンラインで行うことが多くなってきており、ドキュメントの重要性がさらに増している気がします。 恥ずかしながら弊チームはサーバーサイドのドキュメントが豊富にあるとは言えず、オンボーディングは手書きで構成図を書きながら口頭で説明していました。 そろそろちゃんとしないとと思い始めドキュメントを作り始めたのですが、一番重要なシステム構成図がなかなか描けずに苦労していました。 そもそもなぜシステム構成図が描けないのか? いくつか理由はあると思うのですが、自己分析した結果、 デザインセンスがない 辛い GUIのツールで書いても秘伝のタレ化してしまう 継続的に更新されなさそう → 一回だけの図を描くことになりコスパが悪い などがありそうでした。 自分に向いて

                        ゼロから始めるdiagramsでシステム構成図 - Gunosy Tech Blog
                      • ニフクラ上でCluster APIによるKubernetesクラスタ構築ができるツールをリリースしました - ニフクラ ブログ

                        こんにちは、富士通クラウドテクノロジーズでアルバイトをしている巨畠です。 おもに「Kubernetes」周辺のツール開発のお手伝いをさせていただいています。 このたび、私がお手伝いといいながらがっつり入り込んで開発を進めていた cluster-api-provider-nifcloud がOSSとしてリリースされました! 現段階では実験的な取り組みとしてお試しいただくためにリリースしたものであり、本番用途には不向きですが、Cluster APIと呼ばれる仕組みを使ってニフクラ上でKubernetesクラスタを構築することができるツールです。 Kubernetesとは Cluster APIとは cluster-api-provider-nifcloud 利用方法 Managementクラスタの構築・設定 マニフェストを用いてニフクラ上にリソースの作成 今後の展望 最後に Kubernete

                          ニフクラ上でCluster APIによるKubernetesクラスタ構築ができるツールをリリースしました - ニフクラ ブログ
                        • Mackerel の OpenTelemetry(ラベル付きメトリック)をオンプレサーバで試した備忘録 - Qiita

                          動機 今更ながら Mackerel で OpenTelemetry(ラベル付きメトリック)を試したくなったが、探しても Docker + ECR とか K8S とか最近流行りの情報ばかり出てきて、現在の社内サーバの状況には合わなかったため、備忘録としてまず Nginx のラベル付きメトリックを投稿できるところまで書いておく。 サーバ情報 OS : Rocky Linux 8 まぁ使い始めてしまったのでしょうがない Nginx : 1.22.1 Nginx の準備 適当に stub_status を出せる location を用意。 (OpenTelemetry の nginx receiver が http_stub_status を元に投稿するらしいので)

                            Mackerel の OpenTelemetry(ラベル付きメトリック)をオンプレサーバで試した備忘録 - Qiita
                          • Kubernetes 1.22で削除されるBeta APIが結構多いのでまとめてみる - inductor's blog

                            はじめに Kubernetesは直近3マイナーバージョンをUpstreamのサポート対象にしており、特に1.19以降では各バージョンごとに1年のパッチサポートがあります。2021年7月現在の最新版は1.21なので、1.19以降の3マイナーバージョンがサポート対象になっています。詳細については公式ドキュメントにも記述があります。 なお、GKE、EKS、AKSなどのKubernetesディストリビューションに関するサポートポリシーはUpstreamとは違い各ベンダーが責任を追っているため、各社のドキュメントをご覧いただければと思います。 KubernetesのAPI deprecationについて Kubernetesではマイナーバージョンごとに新しい機能が追加されたり、古い機能や利用の少ない機能を非推奨化または廃止するためのポリシー、Deprecation Policyが決められています。

                              Kubernetes 1.22で削除されるBeta APIが結構多いのでまとめてみる - inductor's blog
                            • EOLを迎えたSensuがPrometheusに託した、2万台規模のIaaS監視

                              ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのクラウドプラットフォーム本部に所属している北田、馬場、高橋です。 私たちのチームは社内向けに IaaS 環境を提供しており、その品質を管理・維持するために監視システムを導入しています。 システムの部分的な障害や冗長性などを監視する目的で、私たちはこれまで Sensu を使っていましたが、その EOL をきっかけに Prometheus へ移行することにしました。 この記事では、Sensu の移行先として Prometheus を選んだ理由、Prometheus を利用した監視システムの構成、そして、Prometheus を導入した際の工夫などを紹介します。 ヤフーの IaaS 環境の監視状況 私たちのチームが社

                                EOLを迎えたSensuがPrometheusに託した、2万台規模のIaaS監視
                              • Windows Containers on Windows 10 without Docker (using Containerd) · James Sturtevant

                                I have been working on making containerd work well on Windows with Kubernetes. I needed to do some local dev on containerd so I started to configure my local machine. I found lots of information here and there but nothing comprehensive so I wrote down my steps. Note there are a few limitations with containerd (so you might not want to fully uninstall Docker). For instance, containerd doesn’t suppo

                                • さくらのクラウド向けツールを使いこなして構成管理を省力化 | さくらのナレッジ

                                  はじめに さくらのクラウドには、組み合わせると便利に使えるツールがたくさんあります。この記事では、Ansible, Pulumi, Prometheusを組み合わせて、構成管理を省力化するテクニックを紹介します。これらは業務で実際に利用しているツールやフローです。 さくらのクラウドについて 簡単にさくらのクラウドの紹介をします。 データの転送料が無料です。AWSなどを使っている人には驚かれることが多いです。 コントロールパネルが直観的に操作できると思います。 最小構成の料金が1,980円(1コア1GBサーバ+20GB SSD)です。さくらのVPSなどと比べると中規模以上のシステムを組む方が利用されるのかなと思います。 ネットワーク関連サービスが豊富で、例えばこんなのがあります。 さくらのVPS/さくらの専用サーバ/AWSとの接続 GSLB, L4/L7ロードバランサー セキュアモバイルコネ

                                    さくらのクラウド向けツールを使いこなして構成管理を省力化 | さくらのナレッジ
                                  • MLOps on Kubernetes with portable Profiles

                                    This post introduces a new feature called Profiles, which allows you to create a specific Kubernetes application platform to meet your business needs. We show how you can enable machine learning operations or MLOps with specific Profiles for two different types of Kubernetes instances - EKS and Kubernetes with Firekube. If you ask an application developer what they want from Kubernetes, the answer

                                      MLOps on Kubernetes with portable Profiles
                                    • 1 番「軽い」やつはどれか? Kubernetes ディストリビューション比較

                                      D.M.です。ローカル Windows で軽い Kubernetes 環境を作る話をします。 ローカル k8s と言えば以前は Minikube が一般的でしたが、2018年2月に Docker Desktop が Kubernetes を標準搭載しました。ホンモノなのでこれが 1 番いいと思われるものの、私の環境ではなぜか動作しませんでした。現状、他の選択肢として Kubernetes ディストリビューションが複数存在していますので、今回はそのうち k3s, k0s を使ってみたいと思います。 TL;DR k3os 上で動く k3s はメモリ 1 GB で動いたので最軽量。専用 OS もあり設定も簡単。 k0s はメモリ 1.5 GB で動いた。充分に軽い。設定は簡単だが、 Alpine の場合がやや面倒だった。 minikube はデフォルトでメモリ 2.2 GB 。何も設定しないでコ

                                        1 番「軽い」やつはどれか? Kubernetes ディストリビューション比較
                                      • 2021年1月4日号新春特別号 2020-2021年のUbuntu | gihyo.jp

                                        2020年のUbuntu Ubuntuにとっての2020年は「いろいろな環境への対応⁠」⁠、“⁠Adaption⁠”の年だったと言えるでしょう。大きなリリースとして、Raspberry Piの正式サポート、そしてWSLを前提にしたWindows 10との融合、各種クラウド環境におけるUbuntu Proイメージの提供がありました。加えて、Subiquity(Ubuntu Serverのインストーラー)へのインストールの自動化機能の実装やWireGuardへの対応のような、比較的地味な、しかし重要な拡張も行われています。 2020年を振り返る上では避けることができないCOVID-19への対応についても、いくつかのステートメントが出される等、“⁠Adaption⁠”のための活動が行われています。 トピックごとに2020年を振り返りつつ、2021年のUbuntuを予測していきましょう。 Ubun

                                          2021年1月4日号新春特別号 2020-2021年のUbuntu | gihyo.jp
                                        • AWS Batch for Amazon Elastic Kubernetes Service | Amazon Web Services

                                          AWS News Blog AWS Batch for Amazon Elastic Kubernetes Service Today I’m pleased to announce AWS Batch for Amazon Elastic Kubernetes Service (Amazon EKS). AWS Batch for Amazon EKS is ideal for customers who no longer want to shoulder the burden of configuring, fine-tuning, and managing Kubernetes clusters and pods to use with their batch processing workflows. Furthermore, there is no charge for thi

                                            AWS Batch for Amazon Elastic Kubernetes Service | Amazon Web Services
                                          • クライアント・サーバサイドに分散する計算ロジックのマイクロサービス化 | メルカリエンジニアリング

                                            この記事は「連載:技術基盤強化プロジェクト「RFS」の現在と未来」として書かれたものです。 こんにちは、メルカリの Transaction チームでバックエンドエンジニアをしている @oklahomer です。今回は、各種クライアントサイドとサーバサイドで実装している支払額計算のロジックを、新たなマイクロサービス実装へ移行する取り組みについて紹介します。 この連載では、既に Transaction チームから以下の 2 つの記事が公開されています。この記事の前提を把握いただくためにも、ぜひご一読ください。 関連記事:Understanding and Moderninzing a Legacy Codebase 関連記事:メルカリの取引ドメインにおけるモジュラーモノリス化の取り組み これらの記事の中では、創業当時から運用されているモノリシックな PHP アプリケーションに取引ドメインのロジ

                                              クライアント・サーバサイドに分散する計算ロジックのマイクロサービス化 | メルカリエンジニアリング
                                            • もはやキワモノではない? EUに懐疑的な右翼が躍進、どうなる欧州:朝日新聞デジタル

                                              ","naka5":"<!-- BFF501 PC記事下(中⑤企画)パーツ=1541 -->","naka6":"<!-- BFF486 PC記事下(中⑥デジ編)パーツ=8826 --><!-- /news/esi/ichikiji/c6/default.htm -->","naka6Sp":"<!-- BFF3053 SP記事下(中⑥デジ編)パーツ=8826 -->","adcreative72":"<!-- BFF920 広告枠)ADCREATIVE-72 こんな特集も -->\n<!-- Ad BGN -->\n<!-- dfptag PC誘導枠5行 ★ここから -->\n<div class=\"p_infeed_list_wrapper\" id=\"p_infeed_list1\">\n <div class=\"p_infeed_list\">\n <div class=\"

                                                もはやキワモノではない? EUに懐疑的な右翼が躍進、どうなる欧州:朝日新聞デジタル
                                              • 【Kubernetes】KubernetesのCronJobのcronスケジュールはどう管理されているのか? - nがひとつ多い。

                                                はじめに 本記事は Kuberenetes Advent Calendar 2019の17日目の記事です。 Kubernetesのリソースの中に、定期的に揮発性のあるジョブを生み出すCronJobについての記事です。 はじめに 本題 ソースを読む。 syncAll syncOne getRecentUnmetScheduleTimes cron.ParseStandard 結論 おまけ 本題 cronjobは以下のようなマニフェストで定義されます。 apiVersion: batch/v1beta1 kind: CronJob metadata: name: hello spec: schedule: "*/1 * * * *" jobTemplate: spec: template: spec: containers: - name: hello image: busybox args:

                                                  【Kubernetes】KubernetesのCronJobのcronスケジュールはどう管理されているのか? - nがひとつ多い。
                                                • Google、2022年以降のAPIエコノミーで注目すべき7つのトレンドを紹介

                                                  Google、2022年以降のAPIエコノミーで注目すべき7つのトレンドを紹介:セキュリティ、イングレスゲートウェイ、イベントドリブン、GraphQLなど Googleは2022年4月21日(米国時間)に公式ブログで、APIエコノミーの未来を形作る7大トレンドを紹介した。 Googleは、企業IT環境におけるAPIとAPIエコノミーの役割について、次のような認識を示している。「あらゆる業界の企業が競争力の向上を目指してデジタルトランスフォーメーションを推進しており、その過程で、ハイブリッド/マルチクラウド環境の複雑さを克服することがますます必要になっている。利益率の低下を背景に、リソース利用の効率化が追求される中、APIとAPIエコノミーは、サービス、アプリケーション、クラウドを接続する上で、今後も重要な役割を担っていくだろう」 Googleは、企業がAPIエコノミーの構築を成功させるため

                                                    Google、2022年以降のAPIエコノミーで注目すべき7つのトレンドを紹介
                                                  • 動作検証しながら理解する「Kubernetes Gateway API」と「GKE Gateway Controller」 - ZOZO TECH BLOG

                                                    はじめに こんにちは、技術本部 データサイエンス部 MLOpsブロックの鹿山(@Ash_Kayamin)です。 みなさんは2021年4月にGCPから「GKE Gateway コントローラによる Kubernetes ネットワーキングの進化」という記事が投稿されたのを覚えていますでしょうか。 cloud.google.com この記事は、Kubernetesコミュニティが発表したKubernetes Gateway APIに対し、そのGKE(Google Kubernetes Engine)版実装であるGKE Gateway Controllerのリリースをアナウンスするものでした。 それから半年が経ち、本番導入の可能性を模索するためにKubernetes Gateway APIとGKE Gateway Controllerを調査、動作検証しました。本記事では、Kubernetes Gate

                                                      動作検証しながら理解する「Kubernetes Gateway API」と「GKE Gateway Controller」 - ZOZO TECH BLOG
                                                    • 開発者のリアルな話を聞く! Bonfire Backend#4 Kubernetesで課題解決

                                                      ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは! Bonfire Backend運営の田中です。11/26に社内にてBonfire Backend #4を開催しました! BonfireではiOS, Android, Designなどさまざまなジャンルにフォーカスをあてたイベントを催しておりますが、今回は、サービスのバックエンドにフォーカスを当てたBonfire Backend#4を開催しました。 今回のイベントについて Bonfire Backend#4 のテーマは、「Kubernetesで課題解決」です。 普段業務でKubernetesを使用している方からKubernetesを用いるきっかけとなった課題・Kubernetesを用いて解決したことについてお聞きしたい

                                                        開発者のリアルな話を聞く! Bonfire Backend#4 Kubernetesで課題解決
                                                      • GitHub - abahmed/kwatch: :eyes: monitor & detect crashes in your Kubernetes(K8s) cluster instantly

                                                        You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

                                                          GitHub - abahmed/kwatch: :eyes: monitor & detect crashes in your Kubernetes(K8s) cluster instantly
                                                        • ベアメタルで実現するSpark&Trino on K8sなデータ基盤

                                                          Trino Conference Tokyo 2023 https://techplay.jp/event/907388 #trinodbRead less

                                                            ベアメタルで実現するSpark&Trino on K8sなデータ基盤
                                                          • (Almost) Every infrastructure decision I endorse or regret after 4 years running infrastructure at a startup

                                                            Image from UnSplash I’ve led infrastructure at a startup for the past 4 years that has had to scale quickly. From the beginning I made some core decisions that the company has had to stick to, for better or worse, these past four years. This post will list some of the major decisions made and if I endorse them for your startup, or if I regret them and advise you to pick something else. AWS Link to

                                                            • Kubernetesとは 概要や、Dockerとの違いを5分で入門 | クラウドエース株式会社

                                                              Kubernetesとは 概要や、Dockerとの違いを5分で入門 こんにちは。クラウドエース編集部です。 さまざまな企業・サービスが登場し続け、毎日いくつものアプリケーションが開発されている現在。 「複数ホストでの管理が煩雑になってきた」 「アプリ公開や修正が自動化できれば良いのに」 そんな風に感じる場面もありますよね。 そんな中、複数コンテナを管理・自動化できるプラットフォームとして注目されているのが Kubernetes です。 本記事では、Kubernetes とは何かという基本的な部分から、Docker との違い、利用する具体的なメリットまで解説していきます。 Kubernetes とは? Kubernetes とは、コンテナの運用管理と自動化を行うために設計されたオープンソースソフトウェアです。読み方は「クバネティス」もしくは「クーベネティス」。ギリシャ語で、操舵手・パイロット

                                                                Kubernetesとは 概要や、Dockerとの違いを5分で入門 | クラウドエース株式会社
                                                              • EKSでDNSを安定させるために対応したこと - kubell Creator's Note

                                                                今回はEKSでDNSを安定させるために対応した話を書きたいと思います*1。 一定数のPod以上になるとサービスが不安定になる conntrack溢れの犯人はkube-dns(CoreDNS) conntrackのmaxを増やす kube-dnsのautoscale node-local-dnsも入れる node-local-dnsを入れた途端にDNSまわりが再び不安定に node-local-dnsの利用ポイント@EKS 無事に安定 一定数のPod以上になるとサービスが不安定になる creators-note.chatwork.com Chatworkでは、2020年にEC2で動かしていたレジェンドシステムをEKSに移行しました。 その移行の際(EC2側とEKS側でRoute53での重み付けによる並行稼動しながら)、ある割合以上のリクエストをEKS側に流すと、途端に不安定になる状態になりま

                                                                  EKSでDNSを安定させるために対応したこと - kubell Creator's Note
                                                                • 入門!ClusterAPI 〜 k8s クラスターも k8s API で管理したい 〜 / k8s_meetup_31

                                                                  https://k8sjp.connpass.com/event/175030/

                                                                    入門!ClusterAPI 〜 k8s クラスターも k8s API で管理したい 〜 / k8s_meetup_31
                                                                  • Security assessment techniques for Go projects

                                                                    The Trail of Bits Assurance practice has received an influx of Go projects, following the success of our Kubernetes assessment this summer. As a result, we’ve been adapting for Go projects some of the security assessment techniques and tactics we’ve used with other compiled languages. We started by understanding the design of the language, identifying areas where developers may not fully understan

                                                                      Security assessment techniques for Go projects
                                                                    • GitLabとKubernetesで作る、自動で起動・停止できるブランチ別環境 - JX通信社エンジニアブログ

                                                                      SREのたっち(@TatchNicolas)です 本記事は、先日の弊社主催のTechトークイベントで発表した内容について、もうすこし詳細に書いてみます。 jxpress.connpass.com TL;DR; GitLabのenvironmentとHelmのreleaseを対応させることで動的な環境の作成・削除を実現した CIOpsとGitOpsを使い分けて、「ちょうどいい」使用感を目指した 環境の順番待ちがなくなった! 背景 JX通信社のサーバサイド開発では、ECSによるコンテナベースでの開発・デプロイが主流です。*1 環境としては ローカル環境: docker-composeやgo run yarn run などで起動する、文字通り手元のマシンのローカル上で動かす環境 開発版環境: SQSやFirestoreなどのマネージドサービスや、ローカルで立てるのが大変な別のAPI*2との繋ぎ込

                                                                        GitLabとKubernetesで作る、自動で起動・停止できるブランチ別環境 - JX通信社エンジニアブログ
                                                                      • 「Microsoft Azureの容量不足でスタートアップの事業に悪影響が及んでいる」という報告でネットユーザーが激論を交わす

                                                                        Microsoftが提供するクラウドコンピューティングサービスのMicrosoft Azureは、世界中で大小さまざまな企業に利用されています。ソーシャルニュースサイトのHacker Newsに「Microsoft Azureの容量不足で事業に支障が出ている」という報告が上がったことで、さまざまなユーザーがクラウドコンピューティングサービスについて意見を交わしています。 Ask HN: Azure has run out of compute – anyone else affected? | Hacker News https://news.ycombinator.com/item?id=33743567 Microsoft AzureはMicrosoftが管理するデータセンターを通じて提供されるクラウドコンピューティングサービスで、多様なサービスやフレームワークが利用可能です。クラウド

                                                                          「Microsoft Azureの容量不足でスタートアップの事業に悪影響が及んでいる」という報告でネットユーザーが激論を交わす
                                                                        • Observability Meetup #2 に参加して New Relic の活用事例をがっつり聴いてきた #observability | DevelopersIO

                                                                          はじめに みなさん、観測してますか!(挨拶 New Relic 社の主催する Observability Meetup、9 月に行われた第 1 回に続き第 2 回目が行われたので参加してきました。今回は真新しい Slack Japan さまのオフィスが会場です。 Observability Meetup は New Relic ユーザを主な対象に「オブザーバビリティ(可観測性)」というテーマをもとに話し合ったり、知識経験を共有したり、同じロールの人々とつながりを作ったりする会です。 第 2 回は Slack Japan 様の最高立地オフィスをお借りして、名刺管理サービスで著名な Sansan 様でのパフォーマンス改善ストーリーや、Slack 様とのユニークなインテグレーション、New Relic One の新しい開発機能を使ったダッシュボード開発事例など初心者から高度活用までを含めたストー

                                                                            Observability Meetup #2 に参加して New Relic の活用事例をがっつり聴いてきた #observability | DevelopersIO
                                                                          • Spark on k8s を EKS 上で動かす - Gunosyデータ分析ブログ

                                                                            はじめに DRE Team の hyamamoto です. 皆さん,Spark は利用されていますか? Gunosy では Digdag + Athena によるデータ整形が増えてきており,徐々に Spark の利用は減ってきています. 思い返すと,昨年入社後の OJT も Spark から Digdag + Athena への書き換えタスクでした. 一方で,決して多くはないものの,この構成ではカバーし切れない処理もあり,そういったものに関しては Spark を用いています. 話は少し飛びますが,DRE Team では Digdag や派生するバッチ処理を実行するための Kubernetes Cluster を EKS 上に構成しています. また,一部のタスクは Kubernetes の Job として Digdag から投げることで,リソースをスケールさせつつ様々な処理が可能となっていま

                                                                              Spark on k8s を EKS 上で動かす - Gunosyデータ分析ブログ
                                                                            • Kubernetes上でのGoによるシンプルなAPIの開発と、その効率化のためのcookiecutter templateを作った話 - エムスリーテックブログ

                                                                              エンジニアリンググループ AI・機械学習チームの笹川です。 これはエムスリー Advent Calendar 2019の12月4日の記事です。 前日は、CTO 矢崎による 1つの terraform で複数 AWS Account をまとめて構築・管理する でした。 今回は、AIチームでのAPI開発で利用している技術の紹介と、開発の効率化のため、プロジェクトの雛形を自動的に生成するcookiecutterのプロジェクトテンプレートを作成した件について紹介します。 qiita.com 背景 プロジェクトテンプレートの実装 APIとリポジトリの構成 プロジェクトの内容 GoaのDSLファイル Dockerfile Kubernetesの設定ファイル各種 負荷試験用のシナリオファイル まとめ We're hiring! 背景 エムスリーでは、早くからマイクロサービス化に取り組んでおり、m3.co

                                                                                Kubernetes上でのGoによるシンプルなAPIの開発と、その効率化のためのcookiecutter templateを作った話 - エムスリーテックブログ
                                                                              • Cloud Storage FUSE が GKE と AI ワークロード向けに最適化 | Google Cloud 公式ブログ

                                                                                ※この投稿は米国時間 2023 年 8 月 25 日に、Google Cloud blog に投稿されたものの抄訳です。 Google Cloud の Cloud Storage は、AI ワークロードへのトレーニングと処理に必要な大量のトレーニング データ、モデル、チェックポイントを格納でき、クラウド ストレージ システムの特徴であるスケール、パフォーマンス、シンプルさ、優れた費用対効果を備えています。ただし、AI ワークロードが実際にそのデータにアクセスする際、常に簡単にアクセスできるとは限りません。AI ワークロードのほとんどが、Cloud Storage から提供されるオブジェクト セマンティクスではなく、ファイル システム セマンティクスを必要とするからです。 Linux の Filesystem in Userspace(FUSE)は、ファイル システムを Linux カーネル

                                                                                  Cloud Storage FUSE が GKE と AI ワークロード向けに最適化 | Google Cloud 公式ブログ
                                                                                • 株式会社ミクシィに入社して家族アルバム みてねのSREをやります。 - 30億のデバイスで走るHonMarkHunt

                                                                                  はじめに タイトルのままですが、2022年5月1日から株式会社ミクシィで家族アルバム みてねのSREをやります。 mitene.us 転職しようと思った経緯とか、転職活動した感想とかさらっと書いておきます。 Why ミクシィ まえおき 一言で表すと「子供が生まれて世界が変わったから」です。 正直、子供が生まれる。という事象がここまで自分の人生に変化をもたらすとは考えていませんでした。月並みですが、本当に子供が可愛くて一挙手一投足のかわいさに幸せを感じており。また、小さいながらに日々どんどん成長を見せてくれる姿にて幸福度のボルテージが夫婦二人暮らしだったときの上限値を毎分天元突破し続けています。 そんなある日、前職(ビズリーチ)の同僚(チャブ)から子供関連のサービスの会社に入社したとLINEがありました。そのサービスは自分もよく使っているものだったので「え〜使ってるよ〜すごい〜」くらいにしか

                                                                                    株式会社ミクシィに入社して家族アルバム みてねのSREをやります。 - 30億のデバイスで走るHonMarkHunt