Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
LTSVフォーマットなログを fluentd + GrowthForecast で料理 - naoyaのはてなダイアリー
ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。 しかしあまり自由度のない access_log の combined フォーマット。さてどうしたもんか･･･ ここで id:stanaka の登場です。 Labeled Tab Separated Valueというのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからflue
実践！ SSL証明書の買い方・選び方
実践！ SSL証明書の買い方・選び方：WindowsのIIS Webサーバに証明書をインストールする（1/3 ページ） インターネット上のWebサーバへのSSL導入には、SSL証明書の選択と購入が必須だ。実際にSSL証明書の発行申し込みやWebサーバ（IIS）へのインストールを行い、その手順を詳しく解説する。 ユーザーがWebブラウザを介して個人情報をWebサイトへ送信する、というケースはいまどき普通のことだ。しかしWebサーバの管理・運用担当者にとっては、安全に個人情報を伝送できるように、SSLによる暗号化通信機能をWebサーバに導入する必要に迫られることになる。 SSL導入で面倒なことの1つはSSL証明書の購入だろう。証明書発行サイトを見ると、何が違うのか分からないたくさんの種類の証明書がラインアップされていて、どれを選んだらいいのか判断できない。たとえ1つに絞り込めたとしても、発行を
GMOクラウドPublicの簡易見積もりを作ってみた - とあるプログラマの日記 @s025236
GMOクラウドPublic簡易見積もり GMOクラウドPublicって？ GMOグループ運営してる(GMOクラウド株式会社)が運営してるクラウドサービスです。 利用してるプラン内で自由にリソースを割り振れる素晴らしいクラウドサービスで 「GMOクラウドのVPS」や「GMOクラウド専用サーバー」と相性が良いのが特徴です。 料金プランが分かりにくい パックプラン＋超過分は従量課金という料金体系なので、どの料金プランを選んだらいいか分かりにくいかと思います。 構成例がおかしい 間違った料金が掲載されていたり(パック8は29,600円/月)、色々計算が間違っていたり(LBのCPU使用率は10%,Web1,2のディスク容量が10GBだと思われる)と構成例を元に構成しても計算が合わない罠が仕掛けられています。 見積もり機能が無い さくらのクラウドと違って簡易見積もり機能がありません。 問い合わせをすれ
mixiのサーバOS移行のお話 - 前回補足＆インストール編 - mixi engineer blog
こんにちは。新しもの好きが集まる運用部アプリ運用グループの清水です。 前回の記事では、多くの反響をいただきました。ありがとうございます。 Twitterや、はてブのほとんどのコメントを読ませていただきました。 みなさんのOSの宗派が垣間見えた気がします。 さまざまなコメントをいただいていた中で、よくある代表的なコメントについて、改めてこの場を借りてお答えしたいと思います。 2012年12月28日追記: 以下のQAにつきまして、いわゆる"ネタ"として書きましたが、誤解を招き、不適切な表現で不快な思いをされた方々へ深くお詫び申し上げます。 また、QAの一部に関わるところですが、OS標準のパッケージを否定するつもりは全くございません。 Linuxを安心して使うことができるのは、Linuxディストリビューションに携わっているデベロッパーの方々の素晴らしい活動や成果によるもの、というのが揺るぎない事
mixiのサーバOS移行のお話 - mixi Engineers' Blog
はじめまして、運用部アプリ運用グループの清水 勲です。 2011年8月に入社して以来、はじめてエンジニアブログを書きます。 運用部では、日々、mixiを支えるサーバやネットワークを管理、運用しています。 今回は、サーバで使用しているOSの移行について、何回かにわたって紹介したいと思います。 はじめに 突然ですが、mixiで採用しているサーバのOSはなにかご存知でしょうか？ 過去のブログ記事でもあまり紹介していなかったと思います。 はるか前のことなので詳しくは知りませんが、2006年の社外イベントで、弊社からの発表者と質問者との間で、以下のようなやりとりがあったようです。 参加者からの質問 Fedoraを利用している理由は？ 弊社発表者Bさんの回答 他のOSだとNICを認識してくれなかった。Fedoraなら一発でいけたから。 ということで、mixiでは何年も前からFedoraを採用してき
さくらインターネット、SSD搭載で高速化した仮想専用サーバ（VPS）提供開始。スワップアウト先もSSD
さくらインターネット、SSD搭載で高速化した仮想専用サーバ（VPS）提供開始。スワップアウト先もSSD さくらインターネットは、仮想専用サーバサービス「さくらのVPS」にSSDを搭載し性能を強化した新プランの追加を発表しました。12月13日より提供開始です。 仮想専用サーバ（VPS）は、仮想化されたサーバを利用者が管理者権限を持って占有し、好きなOSやアプリケーションを導入できるサービス。物理サーバを占有するような柔軟性がありながら、仮想化によって物理サーバを複数の利用者共有できるため低価格なのが最大の特徴です。 ここ数年のプロセッサのマルチコア化やメモリ搭載量の増大によって、VPSの価格性能比は急速に向上しましたが、ストレージへのアクセス性能だけはハードディスク性能にそれほど大きな向上がなかったがゆえに停滞していました。 ハードディスクに代わりSSDを搭載したことは、ストレージのアクセス
月315円から使えるインフラサービス Gehirn Web Services がステキで恋に落ちるレベル。 - このブログは証明できない。
あと1ヶ月もすればもうクリスマスだ。そしてまた1年と1ヶ月もすれば来年のクリスマスだ。アレも欲しい、コレも欲しい。でも、本当に欲しいモノって何だっけ？欲しいモノを聞かれて、すぐに答えていた子供の頃。歳をとるほどに、自分の欲しいモノがわからなくなる。そしてプレッシャーがかかると、思わず「からあげ」と答えてしまう。僕の欲しいモノは何なんだろう。 そうだ。サーバーだ。サーバーが欲しかったんだ。僕はずっとサーバーを探していた。昔はRailsが動くレンタルサーバーなんてなかった。専有サーバーを借りるお金などなく、ロリポップの525円の共用サーバーは当時としては珍しくRubyのCGIが動いたので、妻名義で申し込んで（ごめんなさい！）、RailsをCGIモードで動かしては画面遷移するたびに10秒くらい動かない画面を見つめたりしていた。最近は、ServersMan@VPSが490円で使えて安いんだけど、や
Gehirn Web Services サービスサイト トップページ
Gehirn RS2 Plus VPSのようなレンタルサーバ Gehirn RS2 Plus はセキュアでマネージドなホスティング環境を提供するレンタルサーバサービスです。高速なハードウェア構成を採用し、Web コンソール もより使いやすく進化しました。 Gehirn IDを作る セキュアでマネージド サーバセットアップ、適切なバックアップ、リソースの管理、セキュリティパッチの管理など、サーバ環境の保守運用は全て、セキュリティの専門家であるゲヒルンが実施します。 サーバセットアップ不要 VPS のようにサーバのセットアップを行う必要はありません。SOC2 Type1、ISO27001、PCI DSS といった第三者機関認証に準拠した信頼性の高いデータセンタと高速なハードウェアおよび大規模なバックボーンネットワークといった堅牢なファシリティ上に構築されたマネージドな環境を、レンタルサーバのよ
Port Reporter
ネットワークのトラブルシューティングやアプリケーションのデバッグ、ファイア・ウォールの設定などのために、あるアプリケーションがどのようなTCPやUDPのポートを使用しているかを調べたいことがある。このような場合は、netstatを実行したり、Windows Server OSに付属のネットワーク・モニタを利用したりするのが普通である。だが、netstatは動的なポートの状態を記録するには向かないし（常に実行し続け、さらにその結果をファイルに記録しておく手段がない）、ネットワーク・モニタでは（イーサネット上のパケットをキャプチャするという性質上）、ローカル・ループバック・インターフェイス（127.0.0.1）あての通信を見ることができない。 このような目的のためには、マイクロソフトから提供されている「Port Reporter」というツールを使うとよい。このツールの機能を端的に述べると、「n
dstatの万能感がハンパない - （ひ）メモ
サーバーのリソースを見るにはグラフ化は重要ですが、推移ではなくリアルタイムな状況、例えば秒単位のスパイキーな負荷を見るには、サーバー上でvmstatやiostatなどの*statファミリーを叩く必要があります。 さて、vmstatはメモリの状況やブロック数単位のI/O状況は見られますが、バイト単位のI/O状況やネットワークの送信、受信バイト数を見ることはできません。 # vmstat 1 procs -----------memory---------- ---swap--- -----io----- --system-- -----cpu------ r b swpd free buff cache si so bi bo in cs us sy id wa st 3 1 0 4724956 355452 726532 0 0 54 484 3 3 1 0 99 0 0 2 0 0 47
原因調査用Linuxコマンド | 外道父の匠
サーバの動作に異常が発生した際に原因を探るためのLinuxコマンドで、自分用のメモです。 全てmanとかググったら出てくるので説明は適当です。思いついたら後で追記していくかもです。 対象はDebian Squeezeになります。 全てパッケージインストールできるもので、パッケージ名は [in packagename] としてあります。 各所よりコメントありがとうございます。 良さ気なコマンドは追記していきます。 ＜追加したコマンド＞ * telnet (+コメント wget, netcat) * arp (+コメント arpwatch) * pstree * fdisk コメントに gdisk * host, dig * watch * reboot
報道発表資料 - 「パケット警察 for Windows」を開発しフリーウェアとして緊急リリース
2012 年 10 月 22 日 (月) ソフトイーサ株式会社 技術開発部 (茨城県つくば市) 遠隔操作ウイルスによる冤罪防止のための通信記録・プロセス起動記録ソフト 「パケット警察 for Windows」を開発しフリーウェアとして緊急リリース 筑波大学発ベンチャー企業である ソフトイーサ株式会社 (代表取締役 登 大遊 / 本店所在地 茨城県つくば市、以下「ソフトイーサ」といいます) は、新たに「パケット警察」という名称の、遠隔操作ウイルスによる冤罪防止のための通信記録・プロセス起動記録ソフトを開発しました。「パケット警察」は本日よりフリーウェアとして無償でダウンロード可能です。 「パケット警察」は、近頃日本において遠隔操作ウイルスにより知らない間にパソコンが踏み台にされ、かつ警察により誤認逮捕される方が発生する事件が頻発しインターネットユーザーの間で大変な不安が発生していることを鑑み
さくらVPSでスタートダッシュ決めるには結局どーすりゃいいの?
WinでVPSするのに必要なソフト 何はともあれPuTTY。PuTTYはVPSと通信する為のソフト。他にもTeraTermなどあるけど、よく分かんないならPuTTY。 Windowsのsshクライアント三強の個人的な比較 | 全自動ねじまき機 さくらのコンパネでサーバーを起動したらWinでPuTTYを起動してVPSを操作する。コンパネにある「リモートコンソール」は基本的に緊急時に使うもの。ちなみに私はサーバー起動後にさらに一回再起動しないとPuTTYで入れませんでした。 PuTTYでVPSのコンソールを表示するのが、Macにおける「ssh root@IP.ADD.RE.SS」と同じです。これでドットインストールをガシガシ進めます。 ドットインストールの該当範囲 さくらのVPSへ接続してみよう 作業用ユーザーを設定しよう 日本語確認で化けます。PuTTYの文字コードをEUCからUTF-8に変
複数のサーバから一斉にファイルを収集するのにpslurpが便利 - Glide Note
以前、ブログに書いて以来、活用しているpsshとpscpなんですが、 付属コマンドのpslurpについてはすっかり忘れて全く利用していなかったんですが、 同僚の刺身さんが結構活用しているというのを聞いて、改めて使ってみると大変便利！ Parallel sshで複数のホストへ同時にコマンドを実行する | Glide Note - グライドノート 環境はSL6.1です。 pslurpの使いどころ 複数のサーバからaccess.logなどのログ、my.cnfといった設定ファイルなどの同名ファイルを持ってくる場合 DNSラウンドロビンや、ロードバランサを利用していてアクセスログが分散している場合 通常何も考えずscpとかで持ってくるとファイルが上書きされてしまうので、 ホスト毎にファイルを分けて管理したい場合にpslurpが活躍します。 pipを利用してpsshの導入 2012年なんでeasy_i
“ドラゴンクエストXの舞台裏”サーバ・データベース開発のプロが語る、数十万人がいっしょに遊べるゲームができるまで【CEDEC 2012】 - ファミ通.com
“ドラゴンクエストXの舞台裏”サーバ・データベース開発のプロが語る、数十万人がいっしょに遊べるゲームができるまで【CEDEC 2012】 数十万人の冒険者を支える“バックエンド”とは 2012年8月20日～22日、パシフィコ横浜にて開催されている、日本最大のコンピュータエンターテインメント開発者向けカンファレンス“CEDEC2012”。3日目の2012年8月22日に行われた、“ドラゴンクエストXの舞台裏”と題したセッションをリポートしよう。 非常に胸躍るタイトルが付けられたこのセッション。CEDECに訪れたクリエイターたちの興味も高く、立ち見どころか、会場に入りきらないほどの多くの聴衆が詰めかけた。スピーカーは、スクウェア・エニックス開発部 プログラマの森山朋輝氏。森山氏は、「サーバサイドのマニアックなテーマなので、まさかこれほど多くの方が集まるとは……」と驚いた様子を見せつつも、極めて興
さくらVPSで使っているコマンドリストやサーバーの初期設定 ｜https://wp.yat-net.com/name
さくらVPSを契約して色々サーバーを弄ってるんですが、今までSSHに触れて来なかったのでまずそこで四苦八苦してました。軽く覚えるためにもコマンドリストを作ったので公開しておきます。これで自分の見たい時に見れるし編集出来て便利ですね。 あとそれらを使って最初に設定する初期設定も記述しておきます。 1.コマンドリスト 2.さくらVPSでひとまずやったこと。初期設定 3.ログイン→作業用のユーザー作成 4.vimのインストール 5.SSHのポート番号を変更 6.パスワード認証から公開鍵認証（RSA認証）に切り替える7.システムの更新 7.CentOSの環境を日本語化 8.システムの更新 9.まとめ 1.コマンドリスト ・ファイル操作 ・ファイル検索 ・セキュリティ ・解凍・圧縮 ・システム関連 コマンド 概要
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.inouetakuya.info/entry/20121125/1353839740
インフラの話
【イベントレポート】 【Flash Memory Summit 2012】【SSD編】 安易なSSD導入がもたらす「猛毒」の正体