[B! cybozu] epy0nのブックマーク

サイボウズのサービスを支えるログ基盤

Cybozu Meetup #6 大規模サービスを支える名脇役たちでの発表 https://cybozu.connpass.com/event/61329/

epy0n 2017/07/25

リンク

Elasticsearch 5.0.0で再インデクシングの高速化を探求する - Cybozu Inside Out | サイボウズエンジニアのブログ

こんにちは、アプリケーション基盤チームの渡辺です。IntelliJのコード補完はCtrl+;にバインドしています。アプリケーション基盤チームでは、Necoプロジェクト（アーキテクチャ刷新プロジェクト）の一環として、次世代の検索基盤を検討していて、その候補としてElasticsearchを調査しています。先月の記事で再インデクシングと絡めてingest pluginの話をして、びっくりするぐらい需要が低く、自分のテーマ選択のセンスのなさを痛感したのですが、こじらせた感じで今日も再インデクシングの話をしたいと思います。想定読者は、Elasticsearchにある程度慣れている方として、用語やAPI（インデックス, シャード, ScrollAPI, BulkAPIなど）の説明は最小限にします。利用したElasticsearchのバージョンは5.0.0-alpha4です。2.X系だと

epy0n 2016/08/18

リンク

More Effective Go

More Effective Go 27 July 2016 山本泰宇サイボウズ株式会社 github.com/ymmt2005 本資料について本資料はサイボウズの社内トレーニング用に作成したものです。以下については前提知識としています。 A Tour of Go How to Write Go Code Effective Go 2 Agenda リポジトリの構成依存関係の解決ツール類 github.com の周辺エコシステム重要ライブラリ排他制御 goroutine の取り扱い方 3 題材 github.com/cybozu-go/aptutil を題材とします。 go-apt-cacher / go-apt-mirror というユーティリティを含んでおり、内部で HTTP のリバースプロキシ、多数の goroutine の排他制御、同時実行数の制御などを行っています

epy0n 2016/07/29

リンク

半年かかったバグ調査の顛末は - Cybozu Inside Out | サイボウズエンジニアのブログ

サイボウズ・ラボの光成です。今回は原因究明に半年以上かかったバグ調査の紹介をいたします。弊社はクラウドサービスcybozu.comを提供しています。クラウドサービスでは障害対策のためのデータバックアップやレプリケーションが必須です。現在ラボの星野がメイン、私はサブとして弊社サービスでの利用を目指した次期バックアップシステムWalB（GitHub）を開発しています。 WalBは、ファイルシステムとdiskの間に入ってIOを全て記録するブロックデバイスとIOのログを管理するツールからなるシステムです。詳細はリンク先をごらんください。発端去年はラボ内の開発環境でテストを進め、本社でテスト運用を開始するのが目標でした。ところがラボでテストを開始して4カ月後の2015年4月、不正なlogpackが検出されました。 logpackとはWalBで用いられるデータフォーマットの一つです。

epy0n 2016/01/08

リンク

nginx の拡張モジュールを書いて DoS 対策をした - Cybozu Inside Out | サイボウズエンジニアのブログ

こんにちは。インフラチームの野島です。最近、cybozu.com はロードバランサを Apache から nginx に置き換えました。 (参考: cybozu.com のリバースプロキシを nginx にリプレイス) 置き換えの一環として、Apache に実装していた DoS 対策の仕組みを nginx の拡張モジュールにする形で移植しました。今回、この拡張モジュール nginx-maxconn-module を OSS として公開しましたので紹介します。背景 DoS 対策秒間リクエスト数 v.s. 瞬間同時リクエスト数実装方針 nginx-maxconn-module 基本的な使い方高度な使い方インストールおわりに背景本題に入る前に、cybozu.com において、HTTP リクエストがどのように処理されているかを説明します。 cybozu.com では、負荷分散のた

epy0n 2015/02/26

cybozu
nginx

リンク

サイボウズのPython コーディング規約 11 カ条 - Cybozu Inside Out | サイボウズエンジニアのブログ

ymmt2005 こと山本泰宇です。こんにちは。 cybozu.com のインフラ開発チームでは仕事のかなりを Python でこなしています。 Python を選んだ理由は以下の通りです。便利だから Python には "batteries included" と呼ばれるほど豊富な標準ライブラリが整備されています。例えば HTTP で通信するとか、JSON データを読み込むといった良くある仕事のためにいちいち外部ライブラリを探さなくていいのです。堅いプログラミングができるから例外やモジュールといった現代的な機構が備わっているので、ベターシェルスクリプトとして使うのに適しています。書き方にバリエーションが少ないからチーム開発では他の人が書いたコードを手直しすることは良くあります。書く人によって書き方がいくつもあるような言語より、レビューや修正がしやすいと考えています。標準的に使