How we improved DNS record build speed by more than 4,000x2022-05-25 Since my previous blog about Secondary DNS, Cloudflare's DNS traffic has more than doubled from 15.8 trillion DNS queries per month to 38.7 trillion. Our network now spans over 270 cities in over 100 countries, interconnecting with more than 10,000 networks globally. According to w3 stats, “Cloudflare is used as a DNS server prov

If you already understand how Secondary DNS works, please feel free to skip this section. It does not provide any Cloudflare-specific information. Secondary DNS has many use cases across the Internet; however, traditionally, it was used as a synchronized backup for when the primary DNS server was unable to respond to queries. A more modern approach involves focusing on redundancy across many diffe

In computing, a Bloom filter is a space-efficient probabilistic data structure, conceived by Burton Howard Bloom in 1970, that is used to test whether an element is a member of a set. False positive matches are possible, but false negatives are not – in other words, a query returns either "possibly in set" or "definitely not in set". Elements can be added to the set, but not removed (though this c

In computing, the star schema or star model is the simplest style of data mart schema and is the approach most widely used to develop data warehouses and dimensional data marts.[1] The star schema consists of one or more fact tables referencing any number of dimension tables. The star schema is an important special case of the snowflake schema, and is more effective for handling simpler queries.[2

こんにちは、サイボウズ・ラボの光成です。 PicoHTTPParserは@kazuhoさんたちが開発している高速なHTTPパーサです。 同じ作者によるHTTPサーバH2Oにも使われています。 11月4日の開発ブログによると、その時点でNode.jsなどに使われているhttp-parserの10倍程度の速度を誇るそうです（現在はhttp-parserも速度向上しその差は縮まりました。それでも4倍以上の差があるようです）。 該当ブログにはその高速化のためのノウハウが書かれていて大変興味深いです。ただIntel系CPUに搭載されているSIMD命令は用いられていませんでした。今回、@kazuhoさんと一緒に文字列処理専用のSSE4.2を用いることで1.7～1.9倍の高速化を達成しました（Improving Parser Performance using SSE Instructions (in

[Cloud OnAir] Bigtable に迫る！基本機能も含めユースケースまで丸ごと紹介 2018年8月30日 放送

NoSQL から新しい SQL へ : グローバルなミッションクリティカル DB へと進化を遂げた Cloud Spanner Google Cloud Spanner は先ごろ正式リリース（GA）されました。詳しくはこちらへ。 Cloud Spanner が正式リリースされ、ミッションクリティカルな本番ワークロードに使用できるようになりました。この機会に、Spanner がどのようにして、グローバルな強整合性を持つリレーショナル データベース サービスへと発展してきたかを紹介しましょう。 紹介にあたっては、Spanner チームが最近 SIGMOD '17 で発表した新しい論文を参考にしました。この論文は、Spanner の “データベース DNA” と、それが時間とともにどのように進化したのかに関する魅力的な洞察を提供しています。 Spanner はもともと、ビジネスクリティカルな大規

Google Cloudのネットワークとロードバランサーについて解説する資料です。九州インフラ交流勉強会(Kixs) Vol.003 ロードバランサーの夜　-LB Night Fever- <https: />で発表した資料です。

はじめに そもそもcommmune って何？ サービスの紹介 特性について 旧アーキテクチャとその問題点 問題１：増減するトラフィックに対してコスト最適なマシンスペックを設定するのが運用上難しかった 問題２：トラフィックのスパイクでサービスが過度に不安定になっていた 問題３：動作環境としてのVMの管理が煩雑になってしまっていた 打ち手としての新アーキテクチャ 新アーキテクチャ サービス選定の内訳 成果 新たな課題 最後に はじめに こんにちは。 前原夏樹と申します。 コミューン株式会社のSREチームでアクティングマネージャーをしています。 今日は当社のプロダクトであるcommmuneのアーキテクチャについてざっくり紹介していきたいと思います。 今回公開に至った動機としては知見の共有が最も大きいです。 運用負荷が比較的低いマルチテナントSaaSのアーキテクチャの具体的な一例として、どのような

神奈川県相模原市は回収した一般ごみや粗大ごみを焼却する過程で、金や銀それぞれ15キロ以上を取り出すことに成功し、3700万円の収入になったと発表しました。 相模原市の焼却施設では、回収した一般ごみや粗大ごみの一部を570度に熱した砂で蒸し焼きにする仕組みを取り入れています。 電子機器類などの貴金属は砂と一緒に堆積し、その中から金や銀を取り出したということです。 相模原市南清掃工場・沼田好明工場長：「（限りある資源を）回収できてリサイクルにつなげられたのは一番喜ばしいことかなと感じています」 去年1年間で金15.4キロ、銀15.8キロを取り出しその売却の金額からかかった費用を差し引いた結果、3700万円の収入になりました。 市は施設の修繕費などにあてたいとしています。

gcloud CLI にカレントプロジェクトをなるべく持たせないようにして暮らしている。 gcloud はデフォルトでカレントプロジェクトのリソースを操作する。操作するプロジェクトが 1 つなら良いけど、仕事でも遊びでもいくつもの GCP プロジェクトを扱っているので、うっかり異なるプロジェクトのリソースを操作してしまったり、意図しないプロジェクトに費用が計上されてしまうのが嫌だから。 カレントプロジェクトは設定しないようにして、gcloud を使う時は都度 --project=PROJECT_ID で渡すようにしている。 # カレントプロジェクトを確認するには以下のコマンドなど $ gcloud config get-value project $ gcloud config list # カレントプロジェクトの設定を消す $ gcloud config unset project ロー

はじめに つい先日、HTTP3がRFC9114として正式に発表されました。 RFC読むよりとりあえずパケット見る派なので、とりあえずコード書いて動かしてキャプチャしたいところです。 quic-goは http3 ディレクトリがあり、対応してそうなのでサンプルコードを書いてみました。 数日前にcommitが入っていて開発も活発そうですね。 サンプルのサーバ側コードを試す時はお手数ですが、opensslやmkcertコマンドなどでご自分で公開鍵&秘密鍵を生成してください。 クライアント まずはクライアントのコードを書いてみます。 go.docを見ると、RoundTrip という関数に *http.Request を渡すとHTTP3のクライアントコードになりそうです。 こんなコードになりました。 package main import ( "crypto/tls" "fmt" "github.c

2022年6月7日（火）に、 Hatena Engineer Seminar #20 をオンライン開催しました。ご参加いただいたみなさま、ありがとうございました。 このエントリーでは、当日のアーカイブ動画や公開資料をご紹介します。 Hatena Engineer Seminar #20 について 発表概要と資料 Amazon Aurora の v1 が EOL になるので10クラスタアップグレードして出てきたノウハウ - by id:dekokun はてなフォトライフをECSに移行した話 - by id:cohalz Amazon EKS マルチテナントクラスターにおけるArgoCDを利用したデプロイフローの話 - by id:masayosu AWS Organizations 組織を移動する時に考えること100連発 （AWS Control Tower への組み込みを添えて） - by