Kafka Brokerのcompaction動作の詳細とチューニング方法について - Repro Tech Blog
Reproでチーフアーキテクトとして働いているid:joker1007です。 今回、Kafka Brokerのcompaction動作について調査しチューニングすることでパフォーマンス改善の成果が得られたため、そのノウハウをブログにまとめておきました。 かなりマニアックな内容なので、需要は多くないと思いますが、私が調査した限りでは日本語で同じ様な内容のブログ記事はほとんど存在しなかったため、Kafkaを自前で運用している人にとっては役に立つ内容かもしれません。 compactionとは (参考: https://kafka.apache.org/documentation/#compaction) Kafkaの基本的なデータ削除ポリシーは一定時間が経過したら過去のデータをそのまま削除するdeleteというポリシーを使う。 これは、log.retention.hoursという設定でコントロー
Cloudflare outage on June 21, 2022
IntroductionToday, June 21, 2022, Cloudflare suffered an outage that affected traffic in 19 of our data centers. Unfortunately, these 19 locations handle a significant proportion of our global traffic. This outage was caused by a change that was part of a long-running project to increase resilience in our busiest locations. A change to the network configuration in those locations caused an outage
第18回 MLOps 勉強会 - MLOps Practicesの紹介
第18回 MLOps 勉強会で登壇したスライドです． https://mlops.connpass.com/event/242652/ 各社が実務で取り組んでいるMLOpsに関する事例やMLOpsの各領域で使用されている技術トピックを整理したMLOps Practicesというサイトを公開したの…
AWS SSOを活用して安全かつ効率的にAWSへアクセスする - NRIネットコムBlog
本記事は わた推し～AWSアワードエンジニア編～ 1日目の記事です。 💻 イベント告知 ▶▶ 本記事 ▶▶ 2日目 💻 こんにちは、上野です。 NRIネットコム、2022 Japan APN Ambassadors / Top Engineers / ALL Certificate Engineers による推しテクシリーズです。 私が紹介するのはAWS Single Sign-On (AWS SSO)です。最高のサービスです。 AWS SSOの概要 AWS SSOを有効にすると、一元管理された（一つの）ユーザー名/パスワードでログインすることにより、複数のAWSアカウントへログインできるようになります。 ↓はログイン画面です。 ログインすると・・権限があるAWSアカウントが一覧で表示され、各AWSアカウントへログインできます。 便利ですね。 AWS SSOの仕組み AWS SSOで重
ミラティブを退職します！ - Mirrativ Tech Blog
今日が最終出社、明日から有休消化期間だー！！！！うおおおおおおおおおおおお！！！！！ 2019年の春から3年間、ライブ配信サービス「Mirrativ」のバックエンドを書いてきた stakme です。この夏で卒業です！お疲れさま〜！！！！！ 頑張った、やりきった、本当は退職後半年くらい休みたい。けれど借金と税金がそれを許してくれないので、今後も頑張ります。 この記事では、これからミラティブのバックエンドチームに加わる方に向けて 私はこういう理由でミラティブに来たよ 入社時はこういう経験値だったよ この会社ではこういう経験ができたよ という話をします。あとでのんびり自分のnoteに書いてもよかったんですけど、テンションのおかしい退職者の記事がテックブログに載っていたらクリックレート高い面白いかなって思って… ちなみに執筆時点では掲載許可とか取ってないのですが、たぶん大丈夫です。なので書きますね
スクラム開発のスプリント振り返りを色々な手法でやってみた - Innovator Japan Engineers’ Blog
こんにちは、エンジニアのうじたです。 弊社ではスクラム開発を取り入れており、スプリント内の最後には毎回スプリントレトロスペクティブという振り返りを行っています。 2021年の8月から開始して、現在までの間に約15個の振り返り手法を試してみました。 現在はFDL+Tというオリジナルの手法によって行っています。 この記事では試してみたいくつかの振り返り手法の感想と現在のFDL+Tという手法を採用した経緯をまとめました。 どの振り返り手法を採用しようか悩んでいる方の参考や弊社の振り返りの雰囲気が伝わると嬉しいです。 弊社でのスプリント振り返りの歴史 試した振り返り手法の感想 FDL SSC 象、死んだ魚、嘔吐 YWT KPT 現在の手法を採用した経緯 まとめ 試した振り返り手法の感想 FDL Fun（楽しかったこと） Done（価値を届けられたこと） Learn（学んだこと） 振り返りが暗いもの
「達人が教える Webパフォーマンスチューニング ~ISUCONから学ぶ高速化の実践」レビュー - Qiita
はじめに この記事は、技術評論社出版の「達人が教える Webパフォーマンスチューニング ~ISUCONから学ぶ高速化の実践」のレビューです。 著者の一人の方から献本を頂きまして、レビューを掲載しています。 それ以外の報酬などはありませんので、思ったことを書いています。 本書のターゲット パフォーマンスチューニングは私が考えるに大きく2つの視点があると思います。 一つ目はマクロな視点でのチューニング、もう一つがミクロな視点でのチューニングです。 本書が扱っているようなWebサービス (Webアプリケーション) は一つのソフトウェア (いわゆるアプリケーション本体) だけでは動作せず、データベース (多くはRDBMS) やその他のミドルウェアの組み合わせによって動いています。 組み合わせで動いているシステムを高速化するには、マクロな視点で観測しチューニングする必要があります。競技で言うとISU
CSSアニメーションの実装もこれで簡単！ さまざまなプロパティの値をトゥイーンさせるスクリプト -ScrollBtween
Webページ上のあらゆるDOM要素に対して、CSSアニメーションを実装できるスクリプトを紹介します。 実装は簡単です、CSSのプロパティの値を「#fff to #000」「0 to 100」のように記述して、#fffから#000にトゥイーンさせ、0から100にトゥイーンさせます。 スクロールで背景色を変化させたり、ぼやけた画像をくっきりと表示したり、スクロール位置に基づくプログレスバーやパララックスも簡単に実装できます。 ScrollBtween ScrollBtween -GitHub ScrollBtweenの特徴 ScrollBtweenのデモ ScrollBtweenの使い方 ScrollBtweenの特徴 ScrollBtweenは、Webページのドキュメント（任意のDOM要素）をスクロール位置に関連してCSSのさまざまなプロパティの値を変化（トゥイーン）させるスクリプトです。ネ
組織のサイロ化を前提としたチーム構成、育成の仕組みとは？はてなとChatworkのエンジニアマネージャーがリモートワーク下のマネジメントを語る
組織のサイロ化を前提としたチーム構成、育成の仕組みとは？はてなとChatworkのエンジニアマネージャーがリモートワーク下のマネジメントを語る 近年、メガベンチャーの増加やスタートアップの大規模調達などによって、エンジニア組織の規模も増大、組織も複雑化するなか、エンジニアマネージャーやテックリードなどの重要性がますます高まっています。 2022年3月24日に開催した『onkさんとだいくしーさんに聞くエンジニア組織づくり最前線vol.5』では、株式会社はてなの大仲能史さん、Chatwork株式会社の粕谷大輔さんをお招きし、マネージャーとしてのミッションやリモートワークにおける「サイロ化」との向き合い方、マネジメントの面白さと難しさ、プレイヤーとの両立など多岐にわたるトピックを語っていただきました。 モデレーターはファインディの取締役CTO佐藤が務めます。 パネリスト 大仲 能史さん/ @on
Notion導入推進大臣活動報告 - Nature Engineering Blog
6日目 こんにちはNatureのSRE 黒田 (kuroda (@lamanotrama) | Twitter) です。 本業はSREですが、ここ半年間はNotion導入推進大臣を自称して、色々と活動してきたので、今日はその内容をご紹介しようと思います。 背景 そもそもなぜSREがNotion導入を行っているのかというと、一言でいえば「なりゆき」です。 NatureではもともとKibelaをナレッジ・マネジメントツールとして利用していたのですが、2021年9月ごろから一部のスタッフの間で試験的にNotionの利用が開始されました。 数ヶ月の試用で利用者からの評判が良かったので「では、全社導入するか！」という機運になったものの、コンテンツ構成や権限管理における基本ポリシー・ルールが未整備であったため、全社導入に先立ってそのあたりの策定とスムーズな導入のための旗振り役が必要と思われました。 と
モダンウェブフロントエンド勉強会を開催しました - クックパッド開発者ブログ
こんにちは、クックパッドで最近はモバイルアプリを離れもっぱらウェブアプリを作っている @morishin です。 先日、社内で「モダンウェブフロントエンド勉強会」と題して React, Next.js, Core Web Vitals, SSR, CSR, SSG, ISR, SSR Streaming, React Server Component といったキーワードに触れつつ、昨今のウェブ開発事情について話をしました。せっかくなのでその内容の共有と、勉強会を開催した動機などを紹介したいと思います。 この話は fukabori.fm でも取り上げていただいてお話ししたので、よければそちらもご視聴ください。 fukabori.fm 背景・動機 クックパッドのウェブアプリケーションは10年以上もの間 Ruby on Rails で開発されてきましたが、2020年から一部のページは Next.
ファイルダウンロード完全マスター | フューチャー技術ブログ
Real World HTTPでも紹介したネタですが、お仕事で受けている技術コンサル中に質問をいただいた時に、微妙に本で紹介した内容では少し足りなかったので、改めて整理のためにブログ記事にしてみました。次回、本が改訂されることがあればこのブログエントリーの内容も入れて加筆したいと思います。 Real World HTTPだとGoを使っていましたが、フロントとサーバーを同時にいじるので、本エントリーではNext.jsをサンプルに使います。Next.jsでプロジェクトを作って（npx create-next-app@latest –ts)、適当なプロジェクト名を入れてアプリケーションの雛形を作っておいてください。 Next.jsでは、1つのスクリプトファイルを作成すると、それがサーバーAPI(/pages/api以下)と、フロントの画面(/pages/以下のapi以外)になります。Next.j
知っておくと便利なCloudWatchメトリクスの機能と活用事例 - Qiita
はじめに AWSでシステムを運用しているとサービスやリソースの状況を確認するためにCloudWatchメトリクスを利用する機会も多いと思います。 今回はCloudWatchメトリクスの情報を閲覧する上で、意外と知られていない便利な機能や活用事例について紹介していきます。 マネージメントコンソールの操作 ・グラフを日本時間で表示できる マネージメントコンソール上でCloudWatchメトリクスを参照する際に、デフォルトのタイムゾーンであるUTCでグラフを表示している場合がありますが、実はタイムゾーンを日本時間に変更する事ができます。 画面上部のCustomをクリックするとポップアップが表示されますが、ポップアップの右上部分にUTCの表示がプルダウンになっており、UTCかLocal time zoneのどちらかを選択できるようになっています。 ここでLocal time zoneを選択してAp
【メモ】良いDesign Docs(Software Design Document)を書くためのリソース集
自分が良い Design Docs(Software Design Document)を書くために、読んだ/参考になったリソース集 一覧 Design Docs とは Design Docs at Google デザインドック(Design Doc)について デザインドックで学ぶデザインドック 残業も減らせる!? 上級エンジニアになるための Design Doc 超入門 「Design Doc」って何なのか？ What Is A Design Doc In Software Engineering? (full example) What is a Design Doc: Software Engineering Best Practice #1 https://github.com/kaiinui/note/blob/master/Design--Designdoc.md Googleの
サクッとAPIを叩く方法 (VS CodeでHTTPリクエストが送れちゃう拡張機能) - Qiita
概要 開発中のAPIを試したり、サードパーティのAPIをサクッと叩いてみたいといった時に皆さんどのようにしますか？ 私は、curlコマンドやPostmanをよく使っています。 ただ、もっと楽にHTTPリクエストを投げ、かつその時使用した情報を残すことができる方法を以前のチームメンバーに教えていただいたので、記事にしました。 REST Client 今回、紹介するのはVS CodeのエクステンションにあるREST Clientというものになります。 このREST ClientというのはVS Code上でHTTPリクエストを送信し、レスポンスを確認できる拡張機能となっています。 使用方法 使用方法はすごく簡単で、拡張子が「.http」か「.rest」というファイルで決められた構文に従いHTTPリクエストを記述するだけです。 下記にcrudの例を載せていきたいと思います。 また今回はREST A
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス開発における暗黙知を無くす「完全に理解した会」｜cluster - メタバースプラットフォーム
Styra
40代でキャリアチェンジした2人の本音は？混沌な時代を生き抜くエンジニアのキャリア戦略を考える #40代キャリア_findy
Gabe's blog
GitHub - hedhyw/rex: Flexible regular expressions constructor for Golang.