kesuuyofのブックマーク - はてなブックマーク

RedisサーバのCPU負荷対策パターン - ゆううきブログ

Redisは多彩なデータ構造をもつ1インメモリDBであり、昨今のWebアプリケーションのデータストアの一つとして、広く利用されている。しかし、一方で、性能改善のための手法を体系的にまとめた資料が見当たらないと感じていた。実際、最初にCPU負荷が問題になったときにどうしたものかと悩み、調査と試行錯誤を繰り返した。そこで、この記事では、自分の経験を基に、RedisサーバのCPU負荷対策を「CPU負荷削減」「スケールアップ」「スケールアウト」に分類し、パターンとしてまとめる。背景 RedisのCPU負荷対策パターン CPU負荷削減 multiコマンド Redisパイプライニング Luaスクリプティング Redisモジュール(夢) スケールアップスケールアウト参照用スレーブ垂直分割水平分割 Redis Clusterによる水平分割その他スライド資料あとがき参考資料背景 R

kesuuyof 2018/05/11

リンク

Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ

社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U

kesuuyof 2017/01/20

リンク

ウェブアプリケーション開発に新言語を採用したときにインフラで考えたこと - ゆううきブログ

この文章は、サーバサイドのウェブアプリケーション開発において、社内実績の少ない新しい言語を採用したときにインフラ面で考慮したことを社内向けにまとめたものです。はてなでは、長らくPerlでウェブアプリケーション開発を続けてきた一方、ここ数年で社内でScalaまたはGoの採用事例も増えてきました。今後開発が始まるプロダクトにおいても、Perl、Scala、Goもしくは他の言語を採用するかどうかを開発開始時に選ぶことになるでしょう。新言語を採用するときに、考慮すべきことの一つとして、「インフラ」への影響があります。新言語に関する雑談をしていると、ウェブアプリケーションエンジニアに「インフラ」への影響について聞かれます。もしくは、ウェブオペレーションエンジニアから考慮するポイントを伝えることもあります。 ScalaやGo以外に、Node.jsやサーバサイドSwiftはどうかというのも雑談

kesuuyof 2016/03/03

リンク

Linuxサーバにログインしたらいつもやっているオペレーション - ゆううきブログ

主にアプリケーション開発者向けに、Linuxサーバ上の問題を調査するために、ウェブオペレーションエンジニアとして日常的にやっていることを紹介します。とりあえず調べたことを羅列しているのではなく、本当に自分が現場で使っているものだけに情報を絞っています。普段使っているけれども、アプリケーション開発者向きではないものはあえて省いています。 MySQLやNginxなど、個別のミドルウェアに限定したノウハウについては書いていません。ログインしたらまず確認すること他にログインしている人がいるか確認（w）サーバの稼働時間の確認 (uptime) プロセスツリーをみる (ps) NICやIPアドレスの確認 (ip) ファイルシステムの確認（df）負荷状況確認 top iostat netstat / ss ログ調査 /var/log/messages or /var/log/syslog /