LTSV 形式の Web サーバのアクセスログを集計するツールを作りました - tkuchikiの日記
LTSV 形式の Web サーバのアクセスログを集計する、 tkuchiki/alp · GitHub を作成しました。 Install https://github.com/tkuchiki/alp/releases から各 OS 用のバイナリを取得できます。 Linux 以外では動作確認していませんが、おそらく動作すると思います。 Usage Labeled Tab-separated Values (LTSV) の Labels for Web server's Log みたいに log を出力すれば、 $ ./alp -f access.log +-------+-------+-------+-------+-------+-----------+-----------+-----------+-----------+--------+----------+ | COUNT |
ナウいツールやサービスなどのまとめ - Qiita
国内注目のWebサービスを支える言語・フレームワーク・アーキテクチャ一覧【2013年版】 をもとにナウい感じのサービスなどをまとめた。分類がおかしいかもしれないのん コード管理 ソースコードは Git で管理しているところが増えている Git GitHub GitHub Enterprise: Enterprise 向け Gitlab Gitlab Cloud Gitlab CE: オープンソース Gitlab EE: Enterprise 向け BitBucket Stash: Enterprise 向け codebreak; RhodeCode Gitorious GitPrep GitBucket GitHubクローンまとめ 無料でGitHubのような機能を実現するための候補 | Act as Professional - hiroki.jp 料金 private repositor
Aimingデータ解析チーム現場だより - Qiita
ホゲェ〜 なんか色々とまとめといた方が良さそうだ。 自分にとって数が多くて意味がわからんし。 まだ社内データは収集する環境を整えている状態だ。 整えているといってもできてるんだけど、 なんか色々と新しいツールが出てくるしそれに追っついて 書き換えちゃったりを繰り返している。 意味がわからなくなってきたのでまとめてみよう。 社内で共有するにはQiitaに上げたほうが良さそう。 あげちゃまずいものは書いてないつもりだ。 まずかったら消す。 データ解析チームが何やってるのかをまとめてみた。 各担当者の名前を出して問題なさそうなら出そうかなあ Aimingデータ解析チームについて データ解析チームだとつまらんし愛情がわかないのでチーム名をつけている。 Monolithだ。モノリス。あのモノリス。 @shibacowさんが考えだした。トテモ良いチーム名だと思う。 チームメンバー は以下の3名 @sh
SHOW PROCESSLIST を使ったカジュアルなプロファイラを強化しました : DSAS開発者の部屋
KLab Advent Calendar 2011 「DSAS for Social を支える技術」の11日目です。 「SHOW FULL PROCESSLIST を使った MySQL のプロファイリング」 で紹介したプロファイラですが、 id:sh2 さんからはてブで 秒間10回叩く例も http://developer.cybozu.co.jp/kazuho/2009/07/mysql-539d.html 。変数ぽい部分をカットする処理はmysqldumpslowのコードを移植するといいかも というコメントをいただきました。 そろそろネタに困っていたので、 せっかくなので、多くのユースケースで 便利に使えるように改良しました。ぜひご活用ください。 myprofiler.py (gist) github 解説 クエリのサマライズ 前のバージョンでは = 以降をバッサリとカットしてしまって
GPS ログから写真に撮影位置情報を自動付加できる GPSPhotoLinker（写真の位置情報一括削除もできるよ） : Tedious diary more x4
GPSPhotoLinker は単に GPS ログデーターと写真をマッチングさせて写真に位置情報を付加するだけでなく、写真に含まれる位置情報を一括削除したり、手入力での追加も可能ですので、そのあたりも含めて説明します。 また、GPS ログと撮影写真をマッチングして位置情報を付加する今回の方法は「GPS ログの位置情報記録時刻と写真の EXIF データーに含まれる撮影時刻を照合」しますから、できるだけ正確な位置情報を写真に付加させるためにはカメラの内蔵時計を正確に合わせておく必要があります。 ただ、時刻合わせを忘れてカメラの内蔵時計がズレている場合もあると思いますし、また GPS ロガーによる記録が途中で途切れてしまった場合もあると思います。それらの場合の対処方法も合わせて述べておきます。 GPS ログデーターと写真をマッチングして写真に位置情報を自動付加する GPS ログが一部欠落・記録さ
僕らが日々使っているproteus-monitorが公開されています＋インストール方法 - oranie's blog
詳しいアーキテクチャなどは今後おいおい・・・なんですが、とりあえず公開されていますよ、という紹介記事です。自分たちで使っているので言うのも何ですが、非常に素晴らしいツールで是非良かったら試してみて欲しいです。 何をするツールなのかというと、agent側で値を取って来てserver側でWeb画面表示させる、という書いてしまえば「ふーん」な感じなんですが、現在これでdstatの値等を取ってきて可視化しています。こんな感じです。とてもシャレオツです。 で、1台や2台だとあんまり威力が分からないかもですが、これが数十台や数百台の運用になってくると ・わざわざサーバにログインして見るとかﾘｰﾑｰ ・cactiやmuninもポーリングしている間隔で取れていないとかがあるので、「今この瞬間の全サーバの状況が知りたい！」という「おやじの全盛期は全日本の時か・・・オレは・・・オレは今なんだよ！」というのに向
ASTER テストツールガイド改訂WG（Test Tool Guide Working Group）
特定非営利活動法人 ソフトウェアテスト技術振興協会（以下、NPO法人ASTERと表記する）では、「テストツールまるわかりガイド」Version 2.0.0を、2020年9月末日に公開しました。 2012年、NPO法人ASTER テストツールWGにて、「テストツールまるわかりガイド（入門編）」Version 1.0.0（以下、Version 1.0.0と表記する）が公開されました。この公開から年月が経過したことを受け、読者が最新の情報を入手できるよう、改訂を行い、公開するものです。 「テストツールまるわかりガイド」Version 2.0.0では、プロプライエタリのテストツール（企業が販売しているツールなど）の情報の刷新を行いました。 プロプライエタリのテストツールについては、企業間の垣根を越えて多様なツールを知っていただくために、国内のテストツールベンダ／販社各社に協力を呼びかけ、国内で入手
負荷試験ツール「グリーン破壊」を公開しました : DSAS開発者の部屋
takada-at 作の インターネット破壊 を Python + Gevent で書きなおした グリーン破壊 を公開しました。 なんで作りなおしたのか インターネット破壊は Ruby + rev 製なのですが、 Ruby のバージョンや gem まわりなどが Ruby に詳しくない人にとっては複雑で、セットアップに数時間かかることがありました。 また、インターネット破壊が使っている rev というライブラリはオワコンらしいです。 さらに、 Rev を使ってイベントドリブンの書き方をしているために複雑で、カスタマイズや デバッグが難しいという問題もありました。 結局、インターネット破壊が期待通りに動かなくて調査していた時に、調査するよりも Gevent で書きなおした方が早い！と思って書き直してしまいました。 パフォーマンス グリーン破壊は内部でコネクションプールを利用しており、 keep
ログからは見えてこない高負荷サイトのボトルネック : DSAS開発者の部屋
ちょうど１年前に「高負荷サイトのボトルネックを見つけるには」という記事を掲載していますが、この手のトラブルシューティングって結構大変で悩ましいですよね。はじめまして、新入りの@pandax381です。 ログからは見えてこないもの 「サイトの応答が遅い」という問題が発生した場合、その原因はどこにあるでしょうか。 Webアプリケーションの処理に時間が掛かっている DBサーバに投げたクエリーの応答が遅い サーバの処理能力を超えている などなど、いくつもの可能性があります。通常、上に挙げているような問題は、アプリケーションやサーバのログを調査することで、原因を突き止めることができます。 一方で、こういったログの調査だけでは、その原因にたどり着くことができなかったり、相当な苦労が伴うケースもあります。 あるサイトのある日の出来事 つい先日のことですが、KLabの運営している某ソーシャルゲームにて、サ
Percona Toolkit
All of Percona’s open source software products, in one place, to download as much or as little as you need.
『Terminal Multiplexer(tmux)の紹介』
みなさん、初めまして。 ネットビジネス総合事業本部 CAMP事業部のインフラを担当している福坂と申します。 今回が初投稿となります。 弊社には、OSをはじめVim/Emacs/Eclipseなどを自分好みに徹底的にカスタマイズしている人も多いのですが、 本投稿では私自身が作業効率を上げるために手放せないツールについて紹介したいと思います。 Terminal Multiplexer(tmux)の紹介 唐突ですが、「GNU Screen」を使ったことはありますか？ sshでサーバに接続して作業するような場合、「GNU Screen」を活用されている方も多いのではないでしょうか。 今回はGNU Screenに似ていて、実用的(?)なツール『tmux』についてご紹介させていただきます。 GNU Screenをご存知の方は実際に使ってみた方が早いかもしれませんが、 『tmux(Terminal Mu
これはイイ！『focus booster』ポモドーロできるおしゃれなタイマーアプリ | NANOKAMO BLOG
ちゃっす！@kuroji1987でっす。 ちょー集中できそうなタイマーアプリを見つけたんで紹介したいと思います。 AIRアプリだからMacでもWindowsでも動くみたいです。 AIRアプリってのはなんかアレです。『Adobe AIR』で動くアプリってことです。たぶん。 『focus booster』を使ってみる とりあえず落としましょう。 focus booster – home; try the pomodoro technique focus booster is a simple and elegant application designed to help you eliminate the anxiety of time … こちらでパイルダーオンしてください。 そしたらもうだいたい終了。あと使うだけ。 タイマーはこんな感じ。 デフォで25分&5分のブレイク
livedoor Techブログ : 自家製 #isucon のつくりかた
こんにちは、ISUCON というイベントのレギュレーションを考えたり環境の準備をやったりコード書いたりしてた tagomoris です。普段はライブドア開発本部のインフラサービス部というところで働いてます。 先日ISUCONは幸いにも大好評のうちに終了したのですが、へとへとになって疲れ切った状態で帰宅し、寝て起きてみると、公開しておいたソースコードをさっそく自分の手元で動かしている人がいました。説明とか何にもなかったのによくそこまで。どういうことなのと思わずにはいられません。 #isucon に参加してきました＆isuconツールを試してみました - As a Futurist... また翌日にはTwitterでも続々と動かしてみた報告が見られ、エンジニアのみなさんのバイタリティには感服するばかりです。 ざいりょう で、せっかくだから本番と同じデータで同じように試せるようにしたいよね、とい
qmailのqueue管理(queue-admin)
サイト閉鎖のお知らせ 1999年12月6日に開設した本サイトですが、開設から20年を迎えたのを機に閉鎖いたします。 ここ5，6年は更新できていませんでしたが、長らくご愛好いただきありがとうございました。
HTTPで疎通やレイテンシを確認する「httping」 - 元RX-7乗りの適当な日々
少し前に、某所のサーバ(自分たちで管理)で、通常時は問題ないのだけど、時々HTTPレスポンスで数秒かかる現象が見受けられたので、再現させるときに目視確認でひたすらHTTPリクエストが送れてレイテンシが確認できる「httping」を利用しました。 httpingは、所謂"ping"のHTTP版。HTTPリクエストでポーリングしてくれるコマンドです。ICMPは受け付けないけどHTTPはOK、そんなサーバにも監視などで使えます。 インストール Ubuntuでは、aptでインストールできました。簡単。 $ sudo apt-get install httpingこれだけです。 簡単な使い方 $ httping (URLまたはIPアドレス)で、実行可能です。以下、実行例。 $ httping http://xxx.xxx.xxx.xxx/ PING xxx.xxx.xxx.xxx:80 (http:
Hack MySQL
What is MySQL performance and how do you get it? Efficient MySQL Performance will teach you. Read it to gain 20 years of MySQL performance know-how—written for software engineers, not DBAs. "Daniel does a great job of showing how to drive to the fastest resolution without getting lost in guesswork. He also covers InnoDB row locking in a detailed yet digestible form." —Vadim Tkachenko, CTO, Percona
pssh
Overview This package provides parallel versions of the openssh tools. Included in the distribution: Parallel ssh (pssh) Parallel scp (pscp) Parallel rsync (prsync) Parallel nuke (pnuke) Parallel slurp (pslurp) Software Update: I no longer have time to maintain pssh (at least in the short-term). pssh is now maintained by Andrew McNabb (amcnabb at mcnabbs.org) here.
1つのシェルから複数のSSHセッションを同時に実行するツール3種類を試す | OSDN Magazine
リモートマシンへのログインやファイルのコピーなど、システム管理作業全般でSSHを利用する機会は多い。SSHでの作業を効率よく進めるには、複数のリモートマシンに対してコマンドを同時に実行できるツールを使ってみるとよいだろう。この記事では、Parallel ssh、Cluster SSH、ClusterItという3つのツールを紹介する。いずれも、単一のターミナルウィンドウで入力したコマンドを、対象となる複数のリモートマシンに対して一斉に送ることができる。 こうしたツールを使わずに、openSSHで複数ホストに対する処理を行うことも不可能ではない。たとえば、実行するコマンドを記述したファイルを作成し、bashのforループを使って、複数のリモートホストに対して順次実行していけばよい。だが、ツールを使うことにはメリットがある。その1つは、複数のホストで並行してコマンドを実行できる点だ。短時間で完了
dstat が便利 | Carpe Diem
dstat という vmstat, iostat, netstat, nfsstat, ifstat 用の置き換えとして使える多機能ツールがあることを知ったので、CentOS でさっそく試してみました。 まず、インストール方法ですが、公式に dstat パッケージが提供されているので yum 一発でインストールすることができます。 $ sudo yum install dstat /usr/bin/dstat にインストールされます。 dsat は多機能ツールですが、使い方は dstat –help するとたくさん表示されます。 まず、オプションを指定しないで実行してみます。 $ /usr/bin/dstat —-total-cpu-usage—- -dsk/total- -net/total- —paging– —system– usr sys idl wai hiq siq| read
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
css-eblog.com