Mackerelを支える時系列データベース技術 - ゆううきブログ
【追記 2018/01/06】現在Mackerelは、時系列データベースという概念をクラウドの技で再構築する - ゆううきブログの時系列データベース実装へ移行しています。 サーバモニタリングサービス Mackerel で採用している時系列データベース Graphite を用いたシステムの構築と運用事情を紹介します。Graphiteについては、プロビジョニングやアプリケーションからの使い方、Graphite自体のモニタリングなど様々なトピックがありますが、特に大規模ならではのトピックとして、Graphiteの内部アーキテクチャ、パフォーマンスチューニングおよびクラスタ構成についての知見を書きます。 背景 Graphiteシステム概観 データ構造とアーキテクチャ whisperのデータ構造 carbon-cacheのアーキテクチャ パフォーマンス特性 パフォーマンスチューニング ミドルウェアレ
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
GPUを用いたSSLリバースプロキシの実装について - ゆううきブログ
近年，汎用計算の高速化のためのアクセラレータとして注目されているGPUを，ネットワーク処理に適用する一環として，サーバサイドのSSL処理に注目した論文を読んだので，内容を軽く紹介します． SSLShader - GPU-accelerated SSL Proxy SSLShader SSLShader: Cheap SSL acceleration with commodity processors Proceedings of the 8th USENIX conference on Networked systems design and implementation 2011 なお，評価に使われた実装の一部のソースコードが公開されています． http://shader.kaist.edu/sslshader/libgpucrypto/ 紹介 背景 SSL(Secure Socket
超高速なパケットI/Oフレームワーク netmap について - ゆううきブログ
GPUを用いたSSLリバースプロキシの実装について - ゆううきブログ 100Gbpsソフトウェアルータの実現可能性に関する論文 - ゆううきブログ の続きで，最近論文読んだやつのプロジェクトの紹介です． 概要 今の汎用OSは高速なパケットI/Oを考慮してない． 20年前のAPIをそのまま使っている． ネットワークがどんどん高速になっているので，NICとかOSカーネルのパケット処理がボトルネックになってる． (http://news.mynavi.jp/news/2013/04/04/094/index.html) こういうの解決するために既存手法がいろいろある． Linux packet mmap - IwzWiki Linux Kernel Documentation :: networking : packet_mmap.txt DNA (Direct NIC Access) Pac
100Gbpsソフトウェアルータの実現可能性に関する論文 - ゆううきブログ
前回のGPUを用いたSSLリバースプロキシの実装について - ゆううきブログ に続いて，同じ研究グループが出している100Gbpsのソフトウェアルータの実現可能性に関する論文を読みました． Sangjin Han ; KAIST, Daejeon, South Korea ; Keon >Jang ; KyoungSoo Park ; Sue Moon "Building a single-box 100 Gbps software router" Local and Metropolitan Area Networks (LANMAN), 2010 17th IEEE Workshop on IEEE Xplore - Building a single-box 100 Gbps software router 論文紹介 現在または予測可能な未来の技術を用いて，100 Gbpsのソフトウ
研究室のサーバに流行りのGrowthForecastを導入してみた - ゆううきブログ
GrowthForecast - Lightning fast Graphing / Visualization 研究室で各サーバと部屋の温度をグラフ化して，値が異常ならメールで通知しろみたいなタスクが降ってきた． もともと各サーバの統計値をMuninでグラフ化していたけれど，VMware VSphereが入ってる物理サーバの温度とれるようなプラグインないし，自分で書かないといけない感じになったり，Muninの設定とか調べるのだるい感じになってきたから，最近コード眺めてたGrowthForecastを使ってグラフ化しようと思った． lm-sensorsやVsphereのAPI叩いて温度を取得し，GrowthForecastのAPIにPOSTする感じのスクリプトを作成して，各ノードからcronで定期実行すればできそう． OSはUbuntu 12.04． curlをインストールしておく． 実行
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
