GNU awk (gawk) を用いた Apache ログ解析方法
2. 自己紹介 斉藤博文 日本 GNU AWK ユーザー会主宰。 hi_saito@yk.rim.or.jp @hi_saito http://gauc.no-ip.org/awk-users-jp/ さて、今回の課題です。 3. 目的 Apache のログを簡単に整理したい。 combined 形式でも common 形式でも手 軽に処理したい。 項目分割を簡単にしたい。 コードの量を少なく、分かりやすくしたい。 でも awk は Apache の処理が苦手です。 4. 何故、苦手なのか 何故、苦手なのか? Apache のログ項目は 3 つの形式がある。 スペース区切。 → awk で処理できる。 ダブルクォートで囲まれて中身にスペースが含ま れる。 大括弧で囲まれて中身にスペースが含まれる。 そんな時には GNU awk (gawk) です! 5. 形式の combined 形式のロ
Windows OSにおける時刻同期サービスとNTP ― ＠IT
同じWindows Timeサービスでも、Windows 2000とWindows XP以降ではそのサポートしているプロトコルや機能が異なる（よって設定内容も異なる）ことに注意してほしい。なお、Windows NT 4.0およびWindows 9x系ではダウンレベル（過去のバージョン）となるNTLM認証が行われるため、時刻同期は必須ではない（認証に時刻情報は不要）。また、従来Windows ネットワーク・ベースでの時刻同期の仕組みとしてnet timeコマンドを使った方法が存在するが、本題ではないため割愛する。Windows 2000環境での時刻同期の方法については、関連記事のTIPSを参考にしていただきたい。 なお、本記事ではWindow 2000の挙動の詳細については割愛するが、Windows 2000ではSNTPサーバおよびSNTPクライアントとして動作させることが可能だ。SNTPは
テキストファイルを処理するときのUnixコマンドまとめ - nokunoの日記
個人的にテキストファイルを処理することが多いのですが，簡単な処理ならUnixのコマンドをパイプとリダイレクトで組み合わせてできることが多くあります．今回はそんななかでもちょっとマニアックなTIPSをまとめてみました． sortコマンドでタブ区切りのファイルを指定する最近知って驚愕したのがこれ．sortコマンドでタブ区切りのファイルを指定したいときは，Ctrl+v Tabでタブ文字を入力していたのですが，$ sort -t $'\t' -k 2,2 のようにしてタブ区切りで2番目のキーでソートすることができます． 1000行おきにデータをサンプリングする1000行おきにファイルからデータをサンプリングしたいときとかは，perlでワンライナーを書くのが速いようです．$ perl -ne '$i++; print unless ($i % 1000)' 某所のコードゴルフによるとこれだけ短くでき
グラフの描き方
基本的な考え方 棒グラフは比例尺度の量を表すのに用い，棒の長さ（面積）が量に比例するように描くのが基本。一つだけずば抜けて大きい値があるときに棒の上のほうで省略線を用いることはあるが，下を省略して全体の長さを切り詰めることは好ましくない。例えば気象観測データについては，雨量は比例尺度であるので棒グラフで表してもよいが，気温は（絶対温度でない限り）間隔尺度であり，棒グラフは使えない。 折れ線グラフは，両軸とも間隔尺度以上であるのが基本。0点から始める必要はない。特に時系列データについてよく使われる。 円グラフは全体における割合を表すにはよいが，全体との比較ではなく個々の値どうしの比較には棒グラフがよい。いわゆる3次元（3D）円グラフは，錯覚を利用して特定の部分を大きく見せるためのもので，一般には用いない。 円グラフは複数回答のアンケート結果の図示には絶対に用いない。 色分けして凡例を付けるの
備忘録 - HP ProLiant MicroServer + FreeBSD + ZFS : 404 Blog Not Found
2011年06月19日23:30 カテゴリTipsiTech 備忘録 - HP ProLiant MicroServer + FreeBSD + ZFS HP ProLiant MicroServer ヒューレット・パッカード Amazonで24,800円だったので半周遅れぐらいで買ってみた。 いいね! コバQことCobalt Qube復活した感じ。 とはいえ、ある程度工夫しないとFreeBSD + ZFSでは使いづらい。半周遅れだけあって、すでに先人の苦労の後を追検証していくだけでよかったのだけど。 hp proliant microserver freebsd - Google 検索 追加部品 PC3-10600 DIMM 4GB x 2枚セット 8GBで6000円ちょっと?そんな価格で大丈夫か? USBメモリ(高速タイプ) これが起動「ディスク」。右のようにして使う。8GBがちょうど
大家目線で教える実は賃貸より購入の方が良い理由と購入ノウハウ
私は即決で買う派です。 大家の観点、不動産投資家の視点からみれば当たり前の判断です。 なぜなのか？ 今日は、そういった物件の賢い購入の仕方を大家の目線から紹介していきます。 これを読めば賃貸より購入の方がよくなるかもしれませんよ( ´･_ゝ･) さっそく結論 中古の戸建てか中古のマンション一室を買いそこに住む。 価格は500万円以下。 住宅ローンは組まない。 キャッシュで購入する。 引越ししたい場合はその物件を売るか、人に貸す。 そして、また同じくらいの物件を購入する。 基本的な流れはこんな感じです。 激安物件を購入し一定期間そこに住み、気が変わればそこを賃貸にまわし、自分はまた新しい激安物件に住む。 そんな感じです。 ぱっと読んだ第一印象としてどうですか？ そんなの無理と思いますか？ キャッシュがありませんか？ まあ、この方法は、もし私自身が家族と神戸で住むならどうするかを考えたやり方で
sshを使いこなすための7つの設定 - 射撃しつつ前転 改
五月病が抜け切らないIT系新入社員に贈るシリーズ第1段。 ~/.ssh/configにはいろいろな設定が書けるが、周囲を見渡した限り、あまり活用されているようには見受けられない。そこで、今回は便利な設定をいくつか集めてみた。 長いホスト名に短い名前をつける Host exp1 HostName verrrryyy.looooong.hostname.example.jp ssh verrrryyy.looooong.hostname.example.jpの代わりにssh exp1でログインできるようになる。 ちなみに、zshの場合、configファイルに登録されたホスト名はsshコマンドを打つときに補完されるので更に便利。 特定のホストへログインするときのユーザ名や鍵をカスタマイズする Host github.com User tkng IdentityFile ~/.ssh/id_rsa
サイトやブログの運営でよく使いそうな.htaccessの設定のまとめ
ウェブサイトやブログの運営でよく使いそうな便利な.htaccessの設定を紹介します。 こういうまとめは定期的にあがってきますが、やっぱり必要なのでシェアします。 10 useful .htaccess snippets to have in your toolbox [ad#ad-2] 下記は各ポイントを意訳したものです。 URLからwwwを削除 hotlinkingの防止 feedをfeedbunnerにリダイレクト カスタムエラーページ ダウンロードファイルの処理 PHPのエラーのログ URLからファイルの拡張子を削除 ディレクトリのファイルリストを見せない ファイルを圧縮して軽量化 文字コードの指定 URLからwwwを削除 SEOなどの理由で、URLからwwwを削除して使うことがあるかもしれません。このスニペットは、あなたのウェブサイトにwww付きでアクセスしてきてもwww無しに向
Firefox のキャッシュを消去するには | Firefox ヘルプ
Important Notice: We're experiencing email notification issues. If you've posted a question in the community forums recently, please check your profile manually for responses while we're working to fix this. On Monday the 3rd of March, around 5pm UTC (9am PT) users may experience a brief period of downtime while one of our underlying services is under maintenance.
エンタープライズ: Windows How-To - Windows 2000時代のDNS展開作法
本連載では，Windows 2000の利用を前提として，DNS（Domain Name System）をどのように展開すべきかに注力して解説する。DNSは，インターネットやTCP/IPネットワークにおける標準の名前解決方式として，従来から利用されてきた。しかし，従来のWindowsネットワークではNetBIOSを利用していたため，DNSを名前解決の手段としては利用していなかった。 すでに周知のとおり，Windows 2000では標準の名前解決方式としてDNSが採用されている。現在のWindowsネットワークを熟知している人でも，Windows 2000を導入するためには，まずDNSの知識を習得する必要がある。またWindows 2000は，既存のDNSサーバーではあまり利用されていないDynamic UpdateやSRVレコードの利用を前提としている。このため，従来のDNSにかかわる知識だ
美しい日本語を使いたい、ワンランク上のビジネスメールの作法
「お世話になっております」、「了解しました」、「取り急ぎ、お礼まで」など、ビジネスメールでよく使用する言い回しの間違った使い方、正しい使い方など、ビジネスメールのワンランク上の作法を紹介します。 [ad#ad-2] 下記は、月刊誌「日経おとなのOFF 4月号 美しい日本語」で紹介されている「『美メール』の作法」から、特に気になった箇所をピックアップしてまとめたものです。 日経おとなの OFF 2011年 4月号（amazon） マナー以前のビジネスメールの常識 ワンランク上のビジネスメールの作法 シーン別のビジネスメールの作法 マナー以前のビジネスメールの常識 メールの件名は具体的に 内容が分かる具体的な件名にしましょう。 「こんにちは」「お願い」「なるはやで」は、ダメ。 返信メールの件名は変更しない 同じ議題であれば件名は変更せずに、「Re: 」を付加して返信しましょう。 議題を変更する
忙しい人のための「初めてのPHP」
この記事は7年以上前の記事です。情報が古い場合がありますのでお気を付け下さい。説明は適度に、駆け足でお届けします。 言っておきますが、これを覚えたからと言って「PHP出来ます！（ｷﾘｯ」とか言ったら鼻で笑われるレベルだということは認識しておいてくださいね。 ＜追記あり：2012/02/16＞ 大前提 HTML/CSSの基本的なところはわかってるものとします。FTPでアップロードするって意味さえわからない人はこのへんで勉強してください。つまり、出直してください。 あと、もっとちゃんと勉強したい人はこんな駄文を読まないほうがいいです。アシアルさんのコンテンツを読んでください。この文章の100倍素晴らしいコンテンツが満載です。 エディタ Windowsユーザなら、標準で付いてるメモ帳を使うのはやめましょう。 PHPに限らず、プログラムを触るなら、あんなもん使わないでください。文字コードも変更でき
知る価値のある無名Linuxディストリビューション10選
Jack Wallen （Special to TechRepublic） 翻訳校正： 石橋啓一郎 2011-03-16 08:00 Linuxには、恐ろしく多くの種類がある。もちろん、それらのディストリビューションのいくつかは、他のものよりも価値が高い。しかし、UbuntuやFedora、Linux Mint、PCLinuxOS、OpenSUSEやその亜種のほかに、どんなディストリビューションを知っておくべきだろうか。信じられないかも知れないが、知っておく価値のあるディストリビューションは、有名なもの以外にもある。無名のディストリビューションの中にも、見るべきものは数多く存在するのだ。この記事では、読者の生活に何らかのプラス効果を与えるかもしれない、あまり知名度が高くないLinuxディストリビューションを紹介しよう。 1．Damn Vulnerable Linux Damn Vulner
コンピュータの電源を設定時刻に自動的にオンにする
連載目次 解説 コンピュータの電源を常時オンにしておくのではなく、必要なときに自動的にオンにしたいという場合がある。例えばクライアント用途なら、大量のメール取得など、時間のかかる処理を、出社してから手作業で実行するのではなく、出社直前にコンピュータの電源を自動的にオンにしてメールを取得しておき、席に着いたらすぐにチェックできるようにするなどだ。 これとは逆の電源の自動的なオフなら、shutdownコマンドをタスク・スケジューラで実行するなどして簡単に実現できる。 しかし、自動的な電源のオンは可能なのか？ すべてのコンピュータで可能とはいえないが、コンピュータのBIOSがタイマ起動の機能を持っていればこれが可能である。 設定方法 コンピュータの電源を指定した時間に自動的にオンにするには、コンピュータのBIOSの機能を利用する必要がある。残念ながら、BIOSにタイマ起動機能が用意されていない場
@や#やRTって何？基本のTwitter用語と使い方を覚えよう | ついーたーTweeter.jp
さて、プロフィールやアカウントの設定が終わったところで、ひととおりつぶやけるところまでは来ました。 ところが、使っているうちにいろんな謎の暗号や用語が出てきます。実は、それらを知らないままずっと使い続けていらっしゃる方も多いのです。 恥ずかしくて聞けない？でも大丈夫。ここで@やRTなど、基本のTwitter用語と使い方を覚えてしまいましょう。 今回は、基本中の基本のものだけをご紹介します。 Tweet（ついーと） 今までにも何度ものこの「Tweet」という言葉が出てきました。このTweetとは、Twitterで正式に「つぶやき」を示すことばです。なので、「Tweet＝つぶやき」と覚えましょう。 日本語版Twitterではまだ「つぶやき」となっていますが、英語版ではすでに「updates」という言葉から正式に「Tweets」という言葉に変更されました。 140文字制限の秘密 Tweetには1
ルミネカード10％オフセールの法則と過去のセール一覧 Non's Tips
今回のルミネカード10％オフセールは2021年3月19日（金）～3月28日（日）の10日間ですルミネカード10％オフセールの法則過去のルミネカード10％オフセール一覧ルミネのオンラインショップ「アイルミネ」でも10％オフセール！通常定価でしか買えない書籍も10％オフセール！本屋が入っているルミネ一覧無印良品、ユニクロ、成城石井まで！人気店も一律10%オフセール各店のルミネカードカウンターでルミネカードは即日発行が可能過去のルミネカード10％オフセールで買ったものルミネカード10％オフセールキャンペーン 動画アーカイブ 今回のルミネカード10％オフセールは2021年3月19日（金）～3月28日（日）の10日間です 今回はネット通販・実店舗ともに2021年3月19日（金）～3月28日（日）の10日間で開催されます！ ルミネカード10％オフセールの法則 ルミネカードは JR東日本系ショッピングセ
syslogに注意！：プログラマー社長のブログ：オルタナティブ・ブログ
ProDHCPを採用いただいたお客さんのところで、どうしても性能が出ないということで調査を続けていました。仮想環境で動いているとか様々な条件を合わせて動作確認してもなかなか再現ができず、かなり行き詰まった状態だったのですが、昨晩、ほぼこれだろうという問題を見つけました。 syslogです。syslogは、システムのログを記録するための仕組みで、UNIX系では古くから使われています。ログレベルによる管理や出力先の管理など、多機能で便利なのですが、昔から「syslogは遅い」ということは知っていました。単に自分でファイルに書き込むのに比べると圧倒的に遅いですし、あまりに頻繁な書き込みを行うとアプリがハングアップしてしまうことも何度も経験しています。従って、デバッグに必要な詳細なログはファイルに自力で書き込み、syslogには運用・管理面で必要最低限なログのみ記録するというのがルールになっている
(新人向け) Unixオペレーションの注意点 - Magical Diary
主に新人向けとして、Unixサーバで作業をする際の注意点を書いておく。 ここに書いてある内容は絶対的なものではないし、会社や現場ごとにルールがあるので、適宜ルールに合わせて実践すれば良い。 ログを取れ 何をやったか、何をやらなかったか、というエビデンスのためにログは必ず残しておく。SSHクライアントによっては毎回自動的にログ取得する設定が可能なので、設定しておくと良いだろう。 作業後に問題が発生した場合に作業内容を確認するためにも使うため、必ずログは取得しておくこと。 (追記) 当たり前だが、コマンドとその出力をペアで取ることに意味がある。 set -x (set verbose) しろ ログを取得しても、コマンドラインを編集した際には以下のように非常に見づらいものとなってしまう。(がんばれば解析することは出来るが…) ESC[0mESC[27mESC[24mESC[JESC[1myasu
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第七回 入力ミスよさらば！入力ミスを防ぐExcelシート作成のポイントまとめ
dkim.jp