インフラ部門で働くCプログラマの話
12. miruo Pretty-Print TCP session monitor/analizer miruo を⼀⾔で説明するなら「⾒やすい tcpdump」です。当社⽐10倍です、ISUCON 勢に オススメです。TCPセッション毎にパケットをまとめて出⼒するため、パケットの流れが格 段に追いやすくなります。また、問題のなさそうなパケットはあえて省略して表⽰しないの で、興味のありそうなパケットだけが出⼒されます。 $ ./miruo --all -i en0 -m http tcp port 80 listening on en0, link-type EN10MB (Ethernet), capture size 1522 bytes 0001 0.048 | 10.0.0.100:62511 == 125.6.190.6:80 | Total 21 segments, 133
RDSフェイルオーバーによるダウンタイムの実測（PostgreSQL編） | 技術畑 | 情報畑でつかまえて
RDSフェイルオーバーによるダウンタイムの実測（PostgreSQL編） オンプレミスなシステムをAWSに移行する際など、DBサーバにはRDSを使うかという点がよく議論になります。RDSは非常に便利ですが、導入の検討段階で「定期メンテナンスやフェイルオーバーでダウンタイムが発生するからNGになった」という話をよく聞きます。 ダウンタイムはどの程度か、という話はAWSの公式サイトにも記述があり、「通常」60～120秒とされています。可用性担保を使命とするエンジニアとしては、この「通常」という言葉がとても気になりますよね。 ということで、今回はRDSのフェイルオーバーによるダウンタイムを実測してみました。
Amazon RDS のメンテナンスにどう立ち向かうべきか
RDS for PostgreSQL にシステムアップデートがやってきましたね。 Upgrade now available for your Amazon RDS PostgreSQL database instances 今回のアップデートは必須なので猶予期間の間に必ず適用する必要があります。 Multi-AZ 構成にしていれば自動的にフェイルオーバーしますが、60 〜 120 秒のダウンタイムは避けれません。 プロダクション環境の RDS で同様のメンテナンスは何度か経験しましたが、オフタイム（主に休日）にメンテナンスを計画しその度にエンジニアが待機していました。当日はメンテナンスに切り替えて見守るだけなのですが、メンテナンス告知など諸々の調整や休日出勤でそれなりの保守コストがかかっています。お客様にも迷惑をかけるしエンジニアにも負担を強いていたのです。 この機会に、実装やアーキテク
How Kafka’s Storage Internals Work
In this post I’m going to help you understand how Kafka stores its data. I’ve found understanding this useful when tuning Kafka’s performance and for context on what each broker configuration actually does. I was inspired by Kafka’s simplicity and used what I learned to start implementing Kafka in Golang. So how does Kafka’s storage internals work? Kafka’s storage unit is a partitionA partition is
Big Sky :: golang でパフォーマンスチューニングする際に気を付けるべきこと
golang のテストツールには標準でベンチマークツールが付属しています。例えば、引数 n を貰ってその数分だけメッセージの入ったスライスを返す関数 makeSlice が以下の実装だったとします。 foo.go package foo import "fmt" func makeSlice(n int) []string { var r []string for i := 0; i < n; i++ { r = append(r, fmt.Sprintf("%03d だよーん", i)) } return r } 如何にも遅そうなコードですね。まずはこのコードを単品で計測するベンチマークを書きます。 foo_test.go package foo import "testing" func BenchmarkMakeSlice(b *testing.B) { b.ResetTimer()
InfluxDB Clustering Design - neither strictly CP or AP | InfluxData
Platform InfluxDB enables real-time analytics by serving as a purpose-built database that optimizes processing and scaling InfluxDB 3.0 Overview Better ingest performance, sub-second queries, and lower storage costs Integrations 300+ plugins for easy interoperability Connectors Use with popular client libraries, tools, and open source projects Easy Data Collection Telegraf collects data from 300+
In-memory indexing and the Time-Structured Merge Tree (TSM) | InfluxDB OSS v1 Documentation
This page documents an earlier version of InfluxDB. InfluxDB v2 is the latest stable version. See the equivalent InfluxDB v2 documentation: InfluxDB storage engine. The InfluxDB storage engine and the Time-Structured Merge Tree (TSM)The InfluxDB storage engine looks very similar to a LSM Tree. It has a write ahead log and a collection of read-only data files which are similar in concept to SSTable
InfluxDB 1.0 Release | API Compatibility and Stability & What's Next
Platform InfluxDB enables real-time analytics by serving as a purpose-built database that optimizes processing and scaling InfluxDB 3.0 Overview Better ingest performance, sub-second queries, and lower storage costs Integrations 300+ plugins for easy interoperability Connectors Use with popular client libraries, tools, and open source projects Easy Data Collection Telegraf collects data from 300+
InfluxDB 1.0 GAリリース : 振り返りとこれから | Yakst
InfluxDB 1.0 GAがついにリリースとなりました。1.0までの約3年間の振返り、これからのバージョンで何を計画しているかについてご紹介します。 出典について この記事はInfluxData BlogのPaul Dix氏によるInfluxDB 1.0 GA Released: A Retrospective and What’s Next(2016/9/8)を翻訳したものです。 本日、オープンソースの時系列データベース InfluxDBと、高可用構成と高スループットを実現するためのクラスタリングのスケールアウトをサポートした商用版であるInfluxEnterpriseの1.0版のリリースをご案内します。本日は、我々の会社の歴史上最も重要な日となりました。このリリースまでには約3年もの年月がかかり、これを機にプロジェクトの歴史を振り返り、ユーザーの皆さんに1.x系のリリースでどのよう
Facebook is writing a Mercurial server in Rust. This is not a drill
Facebook is writing a Mercurial server in Rust. This is not a drill Between Git and Mercurial, the two most popular distributed version control systems in use today for managing software development, Git gets most of the attention. Git was created by Linus Torvalds, which gives it a pedigree. And it has benefited from the popularity of commercial services built around the technology, like GitHub.
Cybozu Tech Conference 2016
12月26日 開催報告をCybozu Inside Outに投稿しました 11月25日 登壇者とタイムテーブルの情報を追加しました 11月10日 募集開始しました [東京会場で申し込む] [大阪会場で申し込む] [愛媛会場で申し込む] 10月20日 Cybozu Tech Conference 2016で聞いてみたいことを調査するアンケート実施中です [アンケートに回答する] サイボウズでは2011年から B to B 向けのクラウドサービス「cybozu.com」の開発・運用を行っています。cybozu.com の導入社数は16,000社（2016年9月現在）を突破し、多くの方にご利用頂いています。 cybozu.com では、アプリケーション、スマホアプリ、アプリケーションを支えるミドルウェア、クラウド環境を支えるインフラ基盤まで全てのレイヤーで自社のエンジニアが携わり開発しています。
Linking golang statically
Linking golang staticallyApr. 28, 2014 If you are not familiar with Golang, do take the go tour or read some of the docs first. There are a number of reasons that folks are in love with golang. One the most mentioned is the static linking. As long as the source being compiled is native go, the go compiler will statically link the executable. Though when you need to use cgo, then the compiler has t
GMOペパボの新卒エンジニア研修の様子 & テキストを公開します - Pepabo Tech Portal
こんにちは。2016年新卒エンジニア研修の担当者（社内ではスーパーバイザーと呼ばれています）を務めている Joe_noh です。 今年は Joe_noh、alotofwe、hfm の3人で研修を実施しました。ここではどのような研修が行われたかを紹介したいと思います。 2016年の新卒エンジニア研修 今年のエンジニア研修は、5人の新卒エンジニアを対象に、6月13日から始まり、年内の最終営業日まで行われます。内容としては2015年と大枠は同じで、前半は基礎研修、後半はサイクルOJTという構成です。基礎研修はさらにWeb開発研修、Webオペレーション研修、モバイルアプリ研修の3つで構成されます。サイクルOJTではペパボ内の5つの部署を2週間ずつ回ります。昨年のスーパーバイザーによるブログ記事はこちらです。 ペパボ新卒エンジニア研修2015が始まっています ペパボ新卒エンジニア研修2015・Web
PaaSを開発する，運用する，応用する - builderscon tokyo 2016
Abstract 本発表では私が2年間社内向けのPlatform as a Service（以下PaaS）の開発と運用に関わった中で得た知見を共有します．PaaSについて知ることはインフラ/アプリケーションエンジニアそれぞれから見て以下のような利点があると考えています． インフラエンジニア視点から見ると，自社でPaaSのようなプラットホームを持つことは現在のクラウド環境を考えると，もしくは会社の規模などを考えるとあまり現実的ではないかもしれません．しかしPaaSまではいかなくても各チーム間で統一的なデプロイ機構を準備したい，もしくはDockerコンテナのデプロイ環境を整えたい，という要望は今後も多く想定されるでしょう．PaaSにはすでに長い歴史があります．デプロイなどの仕組みを自分で構築上でつまずくポイントはすべてPaaSが踏み抜いてきています（そもそもDockerはPaaSから登場した技
How to correctly use context.Context in Go 1.7
This post will talk about a new library in Go 1.7, the context library, and when or how to correctly use it. Required reading to start is the introductory post that talks a bit about the library and generally how it is used. You can read documentation for the context library on tip.golang.org. How to integrate Context into your APIThe most important thing to remember when integrating Context into
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Key Sorting Bufferを用いた時系列データのデータベース処理高速化
The Log-Structured Merge-Tree (LSM-Tree)
Go snippets from the new InfluxDB storage engine
InfluxDB's new storage engine: The Time Structured Merge Tree
Paul Dix (@pauldix) on Speaker Deck
新卒の一日 CS びすこ - GMOペパボ株式会社 新卒採用2019
Web-Gakkai Symposium 2010