EKSのバージョンライフサイクルに組織として対応する - Chatwork Creator's Note
先日行われた Chatwork Dev Day 2021 で、SRE部からは Immutable Clusterに対する定期Version Upgrade戦略 ということで、EKSのアップグレードへの対応について話しました。 www.youtube.com speakerdeck.com ChatworkではSREだけでなく開発チームも含めて、EKSを導入した1.17以降、1.20までスキップすることなくアップグレードを実施しています。 今回は、技術的な話ではなく、組織としてどのようにEKSのアップグレードに対応していったかを説明したいと思います。 ChatworkのEKS運用 1. EKSのバージョンライフサイクルの確認 2. アップグレード方針 バージョンごとに必ずアップグレードする必要があるのか？ スキップできる数は？ 3. アプリケーションの確認 4. スケジュール確認 切り替え完
Chatworkに学ぶ実践Kubernetes導入──アップグレード戦略、CI/CDとGitOps
多くの企業がデジタルトランスフォーメーション（DX）に取り組む中、コンテナ活用が進み、コンテナオーケストレーションツール「Kubernetes」の導入が拡大している。だが、その注目度と期待に反して、まだその導入に課題を感じているエンジニアも多いのではないだろうか。そこで、Chatworkがオンラインで開催した「Chatwork Dev Day 2021」より、ビジネスチャットツール「Chatwork」の基盤に「Amazon EKS」を採用したKubernetes導入における実践プラクティスを紹介する。 Kubernetes導入に不可欠なアップグレード戦略 今回Kubernetes導入に課題を感じている現場の開発者向けに、Kubernetes導入におけるアップデート戦略やCI/CDの実践を紹介してくれたのは、Chatworkプロダクト本部SRE部の坂本諒氏と佐々木真也氏。そして聞き手はアマゾ
Chatwork Amazon EKS Case Study
Chatwork Uses Amazon EKS to Increase Operational Efficiency, Support Over 6.5 Billion Messages Chatwork has been using Amazon Web Services (AWS) to power its popular business chat tool "Chatwork" since March 2011, when the AWS Asia Pacific (Tokyo) Region first became available, and has been evolving its architecture ever since. The company moved to a container-based architecture in 2016 and was se
Migrating our PHP Legend System from EC2 to Kubernetes, Part 1 - Chatwork Creator's Note
Why did Chatwork migrate from EC2 to Kubernetes? Issue 1: Deployment becomes unstable when the EC2 instance exceeds about 40 machines Issue 2: A rollback cannot be performed depending on the deployment status Kubernetes as a solution Kubernetes as an option Conclusion Hello! This is cw-ozaki of the SRE Department. The task of migrating PHP’s legend system from EC2 to Kubernetes that I have been in
Migrating our PHP Legend System from EC2 to Kubernetes, Part 2: The ideas behind our migration strategy - Chatwork Creator's Note
Hello! This is cw-ozaki from the SRE department. This post will be a continuation of Part 1, and I will explain the strategy with which we migrated our system to Kubernetes. creators-note.chatwork.com Our strategy for migrating to Kubernetes 1. Add a spec to EC2. Using ServerSpec 2. Add a simple E2E to the service launched in EC2. Convert the runbook to IaC with Ansible. 4. Run the spec and E2E wi
Migrating our PHP Legend System from EC2 to Kubernetes, Part 3: Cluster Structuring in Chatwork and Update Strategies - Chatwork Creator's Note
Hello! I’m cw-ozaki from the SRE Group. This is a continuation of the Part 2 article. Assuming that migrating from EC2 to Kubernetes is fine, I will discuss how Chatwork’s Kubernetes clusters are structured and how the updates are strategized. creators-note.chatwork.com creators-note.chatwork.com These topics don’t come up very often. I hope this can be an opportunity to hear a little more about h
Migrating our PHP Legend System from EC2 to Kubernetes, Part 4: Application Migration Tactics Matched to Kubernetes Cluster Update Strategy - Chatwork Creator's Note
Hello! I’m cw-ozaki, and I work in the SRE department. Continuing on from part three, I’d like to consider how to migrate applications to new clusters in line with the Kubernetes cluster update strategy in this installment. creators-note.chatwork.com creators-note.chatwork.com creators-note.chatwork.com Simple summary of the last article Current framework at Chatwork 1. Route53 -> CloudFront 2. Cl
Tools supporting kubernetes cluster in Chatwork (2020 version) - Chatwork Creator's Note
Hello, this is Sakamoto from the SRE Department. I run at least one full marathon every year, but unfortunately, I couldn't make it in 2020. I managed to run under 90 minutes (89 minutes) in the half-marathon held just in February, and I was aiming to run under 3 hours and 10 minutes this year but, unfortunately, there was nothing I could do. I was not particularly interested in participating in t
What we did to stabilize DNS on Kubernetes cluster - Chatwork Creator's Note
This time, I would like to talk about how I fixed DNS errors on EKS (Chatwork's EKS is operated using a single multi-tenant cluster) Service becomes unstable when the number of pods exceeds a certain number Culprit of conntrack overflow was kube-dns (CoreDNS) Increasing the conntrack max value autoscale kube-dns Deploy node-local-dns too DNS-related services started to become unstable again once n
１年後のChatworkインフラの話 (2020年版) - Chatwork Creator's Note
こんにちわ。id:cw-tomitaです。 この記事は、Chatwork Advent Calendar 2020 - Qiita の21日目の記事です。 Advent Calendarシーズンももうすぐ終わりですが、入社して初めての年のAdvent Calendarでこんな記事を書いたな〜と、ふと思い出し、 creators-note.chatwork.com この記事を書いてから３年という、何となくキリのいい数字を迎えたので、これまでの歩みを振り返りつつ、来年やろうとしていることの紹介しつつ、あわよくば、そういうのめっちゃ興味ある！って人にChatworkのことを知ってもらうきっかけとなることを期待して、当時の記事タイトル*1をオマージュ*2して、この記事を書いていきたいと思います。 tl;dr 2017年末からの変化 2021年に向けて やってきアイテム達 EKSの定期version
Biryani プロジェクト(メッセージ検索機能のCloudSearchからElasticsearchへのリプレイス)について vol.4 - 差分マイグレーション編 - - Chatwork Creator's Note
こんにちは、梶原(cw-kajiwara)です。 Biryani PJシリーズでの投稿です。今回の記事ではメッセージ検索機能におけるメッセージの差分マイグレーションを行うKafka Consumerアプリケーション、通称Indexerについて紹介いたします。 vol.1ではプロジェクト発足の背景・概要を、vol.2ではPJ前後のシステム構成、Elasticsearchの負荷試験考察やCWでの運用方法、vol.3ではデータマイグレーションについて紹介していますのでご興味あればぜひこちらもご覧ください。(ご興味あれば、と言いつつも読んでもらっていることを前提にしてしまっているところは所々あります) Biryani プロジェクト(メッセージ検索機能のCloudsearchからElastcsearchへのリプレイス)について vol.1 - Chatwork Creator's Note Biry
Biryani プロジェクト(メッセージ検索機能のCloudSearchからElasticsearchへのリプレイス)について vol.3 - データマイグレーション編 - - Chatwork Creator's Note
こんにちは、安達(cw-adachi)です。 前回までの記事では、vol.1でBiryani(ビリヤニ)プロジェクトが発足した背景や概要を、vol.2ではシステム構成、負荷試験や運用周りを紹介してきました。今回はこれまでサラッとしか触れてこなかったHBaseからElasticsearchへのデータマイグレーションについて紹介します。大量(2020年7月時点で60億以上)のメッセージデータを確実に、なおかつ出来るだけ速くマイグレーションするための戦略や細かな工夫をお伝えできればと思います。 Biryani プロジェクト(メッセージ検索機能のCloudsearchからElastcsearchへのリプレイス)について vol.1 - Chatwork Creator's Note Biryani プロジェクト(メッセージ検索機能のCloudSearchからElasticsearchへのリプレイス
Biryani プロジェクト(メッセージ検索機能のCloudSearchからElasticsearchへのリプレイス)について vol.2 - Chatwork Creator's Note
こんにちわ、cw-tomitaです。 前回の記事に続いて、Biryaniプロジェクトに関して、あれこれと書いていきたいと思います。なお、この記事は、先日公開した以下の記事の続きとなりますので、こちらを未読の方は、是非vol.1からお読みいただければと！ creators-note.chatwork.com 先の記事では、PJが始まった経緯、Elasticsearchを第一候補として選んだ理由等について書きました。今回は、POC/実装を進めていく中で、苦戦したポイントと解決方法に関して、主だったポイントを挙げていきたいと思います。 最初にどのようなものを作ったかをざっと紹介し、その上で、 今回の記事の中では、Elasticsearch 自体にフォーカスをあてて、色々と紹介していきたいと思います。 Sparkでのデータマイグレーションや、Scalaのindexerの実装等に関しては今回は取り上
Kubernetesをめぐる冒険、の後日譚 - Chatwork Creator's Note
Chatwork 坂本です。 本ブログは2020年1月23日に行われた、下記のコンテナ支部での発表を補足する内容で、eksctlの設定ファイルとvariantの具体的な使い方に焦点を当てて書きたいと思います。 jawsug-container.connpass.com speakerdeck.com 目次 eksctlの設定ファイル preBootstrapCommandsについて variantの具体的な使い方 まとめ 最後に(どうでもいいニュース) eksctlの設定ファイル 発表資料では、主にeksctlをvariantでwrapして、運用している、という話をしましたが(さらにeksctlの設定ファイルのテンプレートからの生成もvariantで)、そもそもなんでそのような運用が必要なのか、というのを、eksctlの設定ファイルの構成から説明していきたいと思います。 下記がChatwo
３週間で出来たEvent SourcingでCQRSなアーキテクチャ上でのHBaseのupgrade - Chatwork Creator's Note
プロジェクトのリーダーである、cw-sakamotoがこの超重要プロジェクトを終え、軽い燃え尽き症候群になっているので、代わりにcw-tomitaが代筆しております。 マラソンガチ勢(ベストタイム３時間１７分)であるcw-sakamotoによって、Carbon X(50マイルでの世界記録を出したランナーが履いていたランニングシューズの名前)と名付けられた、このHBase upgradeプロジェクト、 dogsorcaravan.com その名に恥じない、プロジェクト開始から終了まで３週間という短納期で完遂することができました。今回はこのプロジェクトに関して書きました。 tl;dr Event SourcingでCQRSなシステムの上で動いてるHBaseのversion upをblue-green形式で実施した。 計画から実行まで３週間程度で完了するというスピード感で、大きな事故もなく凄く上
「Kubernetes（k8s）導入とその後」を聞きにCTO Meetupというイベントに来ました - ヤマムギ
CTOではないのですが、参加者要項に「Kubernetesを知りたいエンジニア」とありましたので来ました。 以下は、気になったことのメモとか感想を書いています。 登壇者、発表者、主催企業などの意図とは異なる可能性がありますことをご了承ください。 flexyさんのご紹介 開催されてて、会場や飲み物のご提供をされている、flexyさんのサービスのご紹介から始まりました。 CTOさんやCEOさんから課題を聞いて、エンジニアさんやデザイナーさんとの橋渡しをされているサービスとのこと(間違えてたらすいません！)。 仕事をする場所がなくても1Fのワーキングスペースは無料で利用できるらしい。 急成長中スタートアップでのKubernetes導入事例 勢い + 若さ + 副業エンジニア = 「スタートアップキメラプロダクト」との横山さん。 「禁欲」Kubernetesを導入したのも禁欲によるものらしい。 ど
AWS DevDay Challengeに参加してきました(チーム関東) - Chatwork Creator's Note
こんにちわ。SRE部のcw-tomita です。 昨日のチーム吹田の記事に続いて、チーム関東として、先週行われたAWS DevDay Challengeという、1 day Hackathonイベントのことを書きたいと思います。 tl;dr Q毎に実施している部署合宿の機会を使って、DevDay Challengeというイベントに参加してきました。 普段の業務ではあまり触らないAWSのServerlessのservice周りの知識が増えるとともに、自分たちのサービスの機能のdog foodingも出来て、めちゃくちゃ学びが多かった。 参加までの経緯 cw-ozaki からの問いかけに挙手をした所から全てが始まりました。 ちなみに 🙋♂️ の絵文字を翻訳すると、「serverless周りは色々と情報のキャッチアップはしてるつもりだけど、ハッカソン的なイベントは久しく出てないし、今年からMG
JWT形式を採用したChatWorkのアクセストークンについて - ChatWork Creator's Note
JWTを使うことは難しい？ こんにちは、かとじゅん(@j5ik2o)です。最近、JWTに関する以下のブログが話題です*1。 どうしてリスクアセスメントせずに JWT をセッションに使っちゃうわけ？ - co3k.org このブログで言及されているのは、JWTをセッションの保存先に選ぶことで「何が問題なの？」に書かれているリスクがあるよ、という話*2。確かにいくつか検討することがありますね。 auth0.hatenablog.com auth0の中の人？よくわからないけど、反論的なブログエントリが公開されています。この記事では、指摘の問題が起こらないように設計するのはあたり前では？という意見みたいです。まぁごもっともではないでしょうか。 私も技術そのものというより、要件に合わせて技術を組み合わせる設計の問題だと思っています。加えて、JWTを利用することはそんなに難しいことかという疑問があった
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サマーインターンシップ 2021 - 08/20 (金) 講義動画
Chatworkでリアクション機能をリリースした話_scala_ks.pdf
