Webサイトパフォーマンス計測・監視サービス一覧 2016年版 - Qiita
計測・監視サービスの紹介 Catchpoint 2010年にGoogleのサービス品質担当VPだったMedhi Daoudiが自腹で3億円投資して設立した計測会社。 その後、ベンチャーファンドが幾つか入って、大きな資本金の会社になりました。 今年の6月まで、私が日本代表をしていました。 DoubleClickやGoogleで、Medhiが、当時主流だったKeynote、Gomezといった計測サービスを使っていて、色々と不満があり、彼らが自分の要望を聞かないなら自分で作るといって出来上がった会社です。 世界で最も計測拠点が多いサービスで、世界80か国、161都市、406のネットワークで計測が可能です。 日本で唯一、4G携帯網でのスマートフォンサイトを実験計画法に基いて計測できるサービスです。 この分野では老舗のKeynoteの顧客は、あらかた、Catchpointに移ってしまいました。 Go
ログ収集ツールの比較 - Qiita
ログ収集ツールとしてはFluentd、Logstash、Flume等が挙げられる。ファイルやメール、syslog、DB、センサからログデータを読込み、必要なログをフィルタして、jsonやxmlに整形してアウトプットする機能を持つ。 メリット プラグインが300+公開されており、様々な形式のデータをインプット、アウトプットできる 単体でログのフィルタ、バッファ、ルーティングができる 2000+を超える企業に利用されている 日本語の情報が多い デメリット 単体で動作するためfluentdが落ちたらバッファしているログが消える 想定外のログが入力されると大量のスタックトレースが吐かれる 引用：http://changineer.info/server/logging/fluentd-td-agent.html#fluentd-2 Logstash メリット フィルタを簡単にカスタマイズできる F
Logstash：データの一元化、変換、保管 | Elastic
オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。
プログラマーが「ネットワーク怪しくない？」と思った時に覚えておくと便利なことまとめ - LIVESENSE ENGINEER BLOG
インフラエンジニアの中西です。 最近プログラマーからこのような話を耳にします。 「ネットワークって難しい/よくわからない」 最近ではAWS,GCPをはじめとするクラウドサービスが充実しているのでWeb界隈のエンジニアはなおさら気にするシーンが少なくなったように思います。 今日は最低限これだけ覚えていたら有事の際にちょっとは役に立ちますよという話が出来たらなと思います。 書式統一のため sudo を省略しています。ご容赦下さい。 コマンド編 ping ping です。疎通確認を行う時のコマンドです。 さすがに分かると聞こえてきそうですね。 例えば、192.168.1.1 というサーバに通信を確認したい場合はこうです。 $ ping 192.168.1.1 繋がる場合はこうなります。 $ ping 192.168.1.1 PING 192.168.1.1 (192.168.1.1): 56 d
Graylog ではじめるログ管理 - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部 セキュリティグループの星 (@kani_b) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理といった様々な分野で「ログの処理」がホットですが、アプリケーションのログ (行動ログなど) に関する話題が多くを占めています。 そうしたログの他に重要なのが OS や各種ミドルウェアのシステムログです。これらはトラブルシューティングであったり、セキュリティ上の問題を見つけたり、といったことに使われますが、最低限 syslog でどこかに集約しているだけ、といった例をよく見かけます。 これらのログをきちんと検索可能にし、分析することで、今まで気づかなかったような問
OSSのJob管理ツールを使ってみた感想 - Qiita
先日ラスベガスで開催されたre:Inventに参加し、その際にデータ分析基盤系のセッションはほぼ参加したのですが、Job管理ツールの話がかなり出ていたのが印象的でした。 AWSにはData PipelineというJob管理サービスがあるのですが、それではなくOSSのJob管理ツールを使っているところが多い印象でした。 日本では自分の観測範囲だとまだ使っているところがあまり多くない印象ですが(実際自分もほとんど使ったことない)、いくつか候補を絞って触って見たので感想を書きます。 あくまでJenkinsしか使ったことがないような個人の感想としてお読みください。。 Airflow Airbnbが開発元 re:Inventでは多くのセッションで紹介されており、一番勢いがある印象を受けた。 依存関係はPythonで書く タスクの登録はUIからやるのではなく、コマンドラインから登録 Python力を前
「Serverspec」を使ってサーバー環境を自動テストしよう | さくらのナレッジ
ChefやPuppet、Vagrantといったサーバーの設定を自動で行うツールが普及しつつあるが、それと同時にサーバーの自動テストについても注目されるようになっている。今回はサーバーの自動テストを実現するツール「Serverspec」をLinux環境で利用する手順を紹介する。 サーバーの自動テストの必要性とテスト駆動開発 最近ではサーバーの設定やソフトウェアのインストールといった作業を自動で行えるツールが注目されている。しかし、設定後のテストについてはあまり注目されておらず、各種設定やソフトウェアのインストールが正しく行われているかどうかは手作業で確認することが一般的だった。しかし、手作業での確認にはミスや抜けが発生する可能性があり、また対象とするサーバーの数が増えるとそれに比例して手間も増えてしまう。そこで活用したいのが、サーバーの自動テストツールだ。 サーバーの自動テストツールは、あら
serverspec インフラ層のテスト項目を考える | Ore no homepage
最近は担当システムが平和だけど俺が平和じゃない。疲れてる。忘年会の連チャンもきっついトシになっちまった。会社の制度で1週間くらい休みがとれるので、一人で温泉とスノボと開発合宿でもしに北海道にでも行こうかなって思ってる。1月か2月くらいに。 えーと、担当しているサービスにserverspecを導入した。それにあたってテスト項目を考えたので軽くまとめる。もちろんserverspec導入前もサーバ構築後は動作確認というか、テストらしいことはしていたっちゃしていたんだけど、テスト項目をまともに考えたのはこれが初めてかもしれない。serverspecのバージョンは0.13.2である。Rubyは2.0.0。 0. 環境 下記のような環境に導入した。ありふれた構成だと思う。60台くらいの規模。DBはマスタ3台に分割されていて、それぞれにスレーブがn台ぶらさがっている。LBの箱は二つあるが、物理的には1台
Red HatがAnsibleを買収した理由、同社クラウドマネジメント戦略担当が説明
OpenStackに代表されるような、多数のサーバに対して複数のソフトウェアをインストールするような複雑なシステムの構成には、作業を自動化してくれるツールが不可欠です。 こうしたツールはいわゆるデータセンター自動化ツールなどと呼ばれており、ChefやPuppet、そしてAnsibleといったツールがよく知られています。 そのAnsibleをRed Hatが買収したと発表しました。 ChefやPuppetでは、インストール先のサーバにあらかじめエージェントソフトウェアを導入しておく必要がありますが、Ansibleはそうしたエージェントを必要とせず、また設定もYAMLと呼ばれる分かりやすい形式で記述できるなど、全体にシンプルなツールであることが大きな特長の1つです。 Red HatはこうしたAnsibleのシンプルさを評価しつつ、構成の自動化ツールとしてアプリケーションのデプロイやソフトウェア
WEB系各社で使われている監視ツールまとめ - mikedaの日記
次世代 Web カンファレンスで監視について話すことになったので、ネタとしてWEB系各社で使っている監視ツールを調査中。 うちはこれ使ってるよ！！！ってのがあったら@mikedaにメンションください！ Cookpad Zabbix 昔はNagios+muninだけど台数増えて性能的に破綻した ビューはそのままじゃ辛いのでmunin風に表示するのを自作 StatusCake DataDog。サービス系、サーバに紐付かない系の監視に。DashBoard便利 waker。通知用。PagerDuty高い、と言ってryot_a_raiが秒で作ったらしい Kibana imon。独自のリアルタイムなサービス稼働状況表示ツール NewRelic 試し中なもの Real-User Monitoring : JSでbeacon飛ばしてfluentd -> BigQuery。Google SpreadShee
第1回 シンプル・軽量な構成管理ツールItamae | gihyo.jp
はじめに はじめまして。クックパッド株式会社の荒井（@ryot_a_rai）と申します。 今回から全5回、構成管理ツールであるItamaeの入門から実際の活用例までを解説していきます。今まで構成管理ツールを使ったことがなかった方から、Itamaeをすでに使っている方まで、ぜひご覧ください。 Itamaeとは Itamaeは筆者が中心となって開発を進めているオープンソースの構成管理ツールです。同様のツールとしてはPuppet、Chef、Ansibleなどが有名ですが、ItamaeはChefに影響を受けています。Chefの記述性・柔軟性を持ちながら、シンプルで導入しやすい構成管理ツールを目指して開発が進んでいます。 構成管理ツールの必要性 Itamaeの解説を始める前に、構成管理ツールを使う理由について軽く考えてみたいと思います。 サーバ構築の自動化 手動構築の手間と時間を減らす 手動構築によ
「データ転送ミドルウェア勉強会」レポート #dtm_meetup | DevelopersIO
こんにちは、虎塚です。 1月27日(火)に「データ転送ミドルウェア勉強会」に参加してきましたのでレポートします。イベントは、SAPジャパンさんで開催されました。 今回のテーマは、まず、当日リリースされたばかりのOSSツールEmbulkの解説、次に、データ転送業界のドンHULFTの紹介、そして、今年リリース予定のfluentd v1について、最後に、HTTP/1とHTTP/2両対応のHTTPサーバH2Oの紹介でした。盛りだくさんですね。 懇親会ではトレジャーデータさんからピザが提供されました。SAPジャパンさん、トレジャーデータさん、ありがとうございます。 データ転送ミドルウェア勉強会 - dots.[ドッツ] 「バルクデータロードツール『Embulk』リリース 〜 fluentdの柔軟性と堅牢性をバルクでも」 最初のセッションは、トレジャーデータの古橋貞之さんによるEmbulkの思想やアー
「Puppet Enterprise」商用版の国内提供を開始、サーバやスイッチの構成自動化を実現。ネットワールド
「Puppet Enterprise」商用版の国内提供を開始、サーバやスイッチの構成自動化を実現。ネットワールド 米Puppet Labsの「Puppet Enterprise」は、Chefと並んでインフラ構成自動化ツールとして良く知られているソフトウェアです。そのPuppet Enterpriseの国内販売をネットワールドが今日から開始したと発表しました。商用版の提供は国内初。 Puppet Enterpriseは、データセンターなどでサーバに対してOS、ミドルウェアやアプリケーションなどの設定、更新、導入などの自動化を実現するソフトウェア。また、サーバだけでなくシスコ、Arista Networks、Cumulus Networksなどのスイッチ設定の自動化もサポートします。 これまでこうしたデータセンター内の構成作業はおもに人手によって行われてましたが、大量のサーバで実行される大規模
Cassandraを使ったZipkinサーバーの構築
お手軽だということで Redis をストレージエンジンとした Zipkin サーバーを使っていましたが、Redis ではメモリに収める必要があり、データ容量的に足りなくなったため Cassandra を使うことにしました。 ここでは CentOS 6.6 へ Cassandra と Zipkin サーバーをセットアップする手順を記しておきます。Zipkin をアプリに組み込む方法には触れません。 Zipkin とは Twitter が開発している分散トレーシングツールで、今ちょっとバズってるマイクロサービスを進めていくとどのサービスのどこが遅いのかを知る必要がでてきて、リクエスト毎にアプリをまたいだトレースができるツールです。「LINEのマイクロサービス環境における分散トレーシング « LINE Engineers’ Blog」を読むとわかりやすいかもしれません。（お金があって対応言語など
【Serf】v0.2.0 へのバージョンアップと、変わった所を確認してみた | Pocketstudio.jp log3
Hashicorp Project の Serf ( http://www.serfdom.io/ ) が 11/1 に version 0.2.0 にバージョンアップしました。当記事は、バージョンアップの手順や、追加された機能や設定について、簡単な検証をしたまとめです。 今回のバージョンから、設定ファイルの外部化と暗号化対応により、Serf が実サービスに投入できるレベルになったと思います。 ところで、Serf はオーケストレーションツール、という理解であっていますでしょうか？ ドメイン名が “serfdom” なので、司るほうの orchestration なのかな？と。あまり自信がありません。なんというか、「Serf は考えるんじゃない！感じるんだ！」というツールのような気がしています。 乗るしかない、このビッグウェーブに！！ ← それは surf ■ Serf v 0.1.0 →
Yammer: ワンクリックでデプロイできるDeploymacy - ワザノバ | wazanova
http://eng.yammer.com/deployments-at-yammer/1 comment | 0 points Yammerでは、エンジニアが、どの環境にどのサービスをデプロイするときもワンクリックでできるとのこと。このハブとなっているシステムDeploymacyについて、同社のエンジニアブログで紹介しています。 Goal 何でも、いつでも、誰でも問題なくデプロイができる。 誰が、何を、いつデプロイしたか追跡できる。 同じターゲット環境へのデプロイはシリアライズできること。 直感的かつ人が理解できるかたちでフィードバックがくること。 デプロイにおける問題箇所を洗い出して表示できること。 新しいサービスが簡単に追加できること。 Packaging & Deployment Deploymacyは、全ての環境に対応する設定ができるソフトウェア（サービス、アプリケーションetc
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Puppet Enterprise 2015.2 - Michael Olson氏に聞く
モダンWebシステム開発
Serf という Orchestration ツール #immutableinfra
Real-Time Web App Performance Monitoring : New Relic
