fluentd を利用した大規模ウェブサービスのロギング — Presentation Transcript cookpadid:secondlife / @hotchpotch 1,500 UU (pc ) 110 <match cookpad.**> type tcp host fluentd-proxy-01 retry_limit 9 <secondary> host fluentd-proxy-02 </secondary></... 続きを読む

• www.slideshare.net
• コンピュータ・IT

入社4年目にもなってtech.kayac初登場のせいです。 ブログ書けプレッシャーにとうとう屈する時がきました。 これで夢にkyo_agoが出てうなされなくてすみます。(彼はtech.kayacの尻たたき担当でした) 先々月「ぼくらの甲子園!熱闘編」というゲームをモバゲー内に... 続きを読む

• tech.kayac.com
• コンピュータ・IT

帰ってきた大規模Webサービスの裏側 第1回　バーストトラフィックの発見と対処 2011年6月24日 中野和貴 mixi, ネットワーク管理, バーストトラフィック, memcached, SNMP スイッチ, ネットワーク, トラフィック, バーストトラフィック, ドロップ, パケット この... 続きを読む

• gihyo.jp
• コンピュータ・IT

一年ほど前にヤフーを退職した私ですが、その後なにをやっているかというと、クックパッドに入社して画像配信をしています。私が入社する前から動いていた画像配信の仕組みは設計が古くてなにかと困っていたので、より良いシステムを開発してリプレースというの... 続きを読む

• d:id:mirakui
• コンピュータ・IT

電話 03-6410-6070、FAX 03-6410-6073 ｉｎｆｏ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ / ｓｕｐｐｏｒｔ＠ｈｐｃ−ｔｅｃｈｎｏｌｏｇｉｅｓ．ｃｏ．ｊｐ (アドレスは半角に変更して利用) 導入事例 | 構成例 | ベンチ | 計算機 | ファイル/管理サーバ... 続きを読む

• www.hpc-technologies.c...
• コンピュータ・IT

Webアプリケーション内で処理を直列に実行せずにJob Queueに回して非同期に実行することが多くなって来て久しいと思いますが、そのおすすめ構成と気をつけることについてつらつらと。 1) 既存のデータベースをキューとして使う構成例 １つ目はMySQLなどのデータ... 続きを読む

• blog.nomadscafe.jp
• コンピュータ・IT

小規模のサービスを如何にスモールスタートするか、そのために各コンポーネントをどうやって配置するのがいいのかという話。個人的な考えも含めて。 大まかな構成は昨年のnekokakさんのYAPC::Asiaでの発表、省サーバ運用と大体同じです。Web/Appに使うサーバ2台... 続きを読む

• blog.nomadscafe.jp
• コンピュータ・IT

サイバーエージェント 公式エンジニアブログ プリンキピア サイバーエージェント～日常と非日常の境～ プロフィール [ルーム｜なう｜ピグの部屋] ニックネーム：VAX 性別：男性 誕生日：1978年1月1日 0時頃 自己紹介： 毎週水曜日(+不定期)更新予定。サイバーエ... 続きを読む

• ameblo.jp:principia-ca
• コンピュータ・IT

「クラウド」って言ってみたかった。今は反省していr 上のグラフは前回のエントリーを公開したときの、当blogを配信しているサーバのトラフィックグラフです。記事を公開した17時にぴょーんとトラフィックが伸びています。4時にも増えているけどこちらは謎。 実... 続きを読む

• blog.nomadscafe.jp
• コンピュータ・IT

一時期はサーバの死活監視・リソースチェックといえばNagios + Cacti/MRTGでしたが、最近はZABBIXが割と話題に上ることも多いので、昨年末に1.8がリリースされたこともあり、筆者自宅での事例を交えつつご紹介したいと思います。 ZABBIXとは? Nagiosでのリソー... 続きを読む

• tech.feedforce.jp
• コンピュータ・IT

http://code.google.com/p/mongoose/mongoose はシングルバイナリの軽量 httpd なんですが、ぼくのお気に入りのライブラリの一つです。 簡単に組み込みライブラリとしても使えるssl もサポートしてるディレクトリリスティング対応CGI 対応 SSI 対応シングルバイ... 続きを読む

• d:id:tokuhirom
• コンピュータ・IT

[PR]さくらインターネット×はてな、自作サーバを語り合う 株式会社はてなでは創業以来、ある一定数のサーバは自作のものを使ってきました。例えば、これまで主に活躍していたサーバの「金森」（愛称）は社長の近藤が設計したもの。そして、このたび新型の「marq... 続きを読む

• b.hatena.ne.jp:articles
• コンピュータ・IT

TwittermongrelP: @tasukuchan グニャラくーん、ニコ百の鯖がEeePCという話が持ち上がってますがただの監視用ですよね（しんぱいそうなめでみている）http://twitter.com/mongrelP/status/1524183917ニコニコ大百科のアーキテクチャについてメモしておきます。 ... 続きを読む

• d:id:tasukuchan
• コンピュータ・IT

日本ヒューレット・パッカード（日本HP)は2009年2月9日，フリーのRed Hat Enterprise Linux互換ディストリビューションであるCentOSを含めたオープンソース・ソフトウエアの有償サポート・サービスを開始した。このサービスは日本法人独自のもので，「大手サー... 続きを読む

• itpro.nikkeibp.co.jp
• コンピュータ・IT

09:35 | 先週、AMD主催のセミナーで「はてなでの仮想化技術の使い方」という発表をしてきました。はてなでは、1年半ほど前から仮想化技術に取り込んでおり、現在では300台以上のサーバが仮想化されています。仮想化技術には、様々なメリットがありますが、はて... 続きを読む

• d:id:stanaka
• コンピュータ・IT

Flash Player 9 (or above) is needed to view slideshows. We have detected that you do not have it on your computer.To install it, go here 続きを読む

• www.slideshare.net
• コンピュータ・IT

開発部・システム運用グループの長野です。最近は「サーバ／インフラを支える技術」を読みながら通勤しています。今回はmixiの画像配信について書かせて頂きたいと思います。1回目は画像配信の課題について説明させて頂きます。 ■画像配信の種類 これまで画像... 続きを読む

• alpha.mixi.co.jp
• コンピュータ・IT

先週の金曜日に行われたサーバ/インフラ Tech Meetingの資料を公開します。 この本を書いたわけ - ひろせまさあき(PDF, 1594KB) DSASのこれから - 安井真伸(PDF, 529KB) はてなの伊藤さん、田中さんの発表資料も既に公開されています。 サーバ/インフラ Tech Me... 続きを読む

• dsas.blog.klab.org
• コンピュータ・IT

14:09 | 先週の金曜にサーバ/インフラ Tech Meetingで「はてなのインフラ、いまむかし」という発表をさせていただきました。先日発売された「サーバ/インフラを支える技術」の新刊記念のイベントです。[24時間365日] サーバ/インフラを支える技術 ~スケーラビリ... 続きを読む

• d:id:stanaka
• コンピュータ・IT

続きを読む

• d:id:nishidakeisuke

Google App Engine - Google CodeAmazon Elastic Compute CloudGoogleとAmazonという、二大先端企業から、奇しくもサーバーインフラ仮想化サービスがリリースされることになった。Amazon EC2の方が先行している。これはLinuxの仮想環境を提供するものらしい。追... 続きを読む

• d:id:shi3z
• コンピュータ・IT

Amazon EC2 betaのsign-upが完了したというメールがやってきた。早速やってみよう。　Amazon EC2というのは、Amazon.comのサーバが稼動しているサーバ仮想化の仕組みをそのまま外販してしまおうという、とても太っ腹なサービスで、サーバ稼動1時間あたり10セン... 続きを読む

• d:id:pekeq
• コンピュータ・IT

週3日出社となりました。残りの日はasiajinとかnarabete.comで個人で活動しています / mail: MY-SIRNAME@gmail.com (姓@gmail.com) [追記] これを書いたあとアカウントが入手できたので、実際にGoogle App Engineのサーバ上で簡単なスクリプトを動かしてみた。 ... 続きを読む

• labs.cybozu.co.jp
• コンピュータ・IT

Nagios is an enterprise-class monitoring solutions for hosts, services, and networks released under an Open Source license.Welcome to the official Nagios website! Nagios® is an Open Source host, service and network monitoring program. Where c... 続きを読む

• www.nagios.org
• コンピュータ・IT

天然パーマの Erogeek「ゆーすけべー / yusukebe」の日記です 最近は主にイベントレポートになっています はぁはぁ 去年の12月26日未明にリリースし、年末の下半身に衝撃をもたらしたらしいという YourAVHost 。 現在はてなブックマークしたユーザー数はエロサ... 続きを読む

• yusukebe.com
• コンピュータ・IT

現在個人的に注目している新技術とその効果を記してみます。 【1. IAサーバでの広大なメモリ空間の利用】 UNIXサーバでは既に10年以上前から64ビットCPUが使われていましたが、いよいよIAサーバでもCPU64ビット化の動きが本格化してきました。 CPUが64ビット化... 続きを読む

• nosa.cocolog-nifty.com
• コンピュータ・IT

こんにちは、miyakeです。早く書くつもりだったのに前回からずいぶんと時間が空いてしまいました。今日は前回構築したPXEブート環境を用いて、いよいよOSの自動インストールに取りかかります。 ■前回のフォロー まず初めに、前回の内容について追加です。前回... 続きを読む

• labs.unoh.net
• コンピュータ・IT

準備 † SSLを使わなければ不要 Debian そのままconfigureすると No recognized SSL/TLS toolkit detected とでるので先にSSLをいれる apt-get update apt-get install openssl libssl-dev RedHat?系 RPMで先にapacheが入っているか確認 rpm -qa | grep apache ... 続きを読む

• kepietro.dip.jp
• コンピュータ・IT

『Linuxロードバランサ構築・運用ノウハウ』を公開します！ これはWEB+DB PRESS Vol.37の特集記事としてDSASチームが執筆したもので、技術評論社様の許可を得て今回公開するはこびとなりました。 一口でいうと、「Linux＋IPVS＋keepalivedを使って、冗長構成(Ac... 続きを読む

• dsas.blog.klab.org
• コンピュータ・IT

こんにちはスエヒロです。 今回は弊社が提供しているブログサービス「nowa」(ノワ http://nowa.jp)の仕組みをサーバ構成を中心に紹介したいと思います。 nowaでは一般的なブログサービス要素とSNS要素の機能を実装しています。弊社には先行して提供している「li... 続きを読む

• blog.livedoor.jp:techblog
• コンピュータ・IT

ServerTokensやServerSignatureをいくらいじったところで、或る攻撃に対する防御力はみじんも上がりません。同様にPHPのexpose_phpがオンだろうがオフだろうが関係ありません。詳細なスペックを公開してるレンタルサーバがすべて脆弱でないのと同じ理由です。か... 続きを読む

• d:id:Sybian
• コンピュータ・IT

15:51 | すこし前にはてなスターのリリースがされたのですが、サービス開始直後にありがちなことに、時々負荷で遅くなったり、アクセスしにくくなったりしてしまいました*1。これではいけない、ということで、すぐ次の日に、バックエンドのサーバを一気に10台近... 続きを読む

• d:id:stanaka
• コンピュータ・IT

こんにちわ。 7月2日に、エイガでつながるクチコミサイト「映画生活」のリニューアルが無事に終わってほっとしているhideです。近々、映画APIなども公開していきたいと思っていますので、どうぞよろしくお願い致します。 さて、今日は、Cactiを使ったサーバ稼働... 続きを読む

• labs.unoh.net
• コンピュータ・IT

XHR(XMLHttpRequest)はクロスドメインで使えないという制約があります(セキュリティのため)。簡単に言うと、JavaScriptだけで、あるサイトから情報をAJAX的に取得、別のサイトから情報をAJAX的に取得、のようなことができません。 こういうこと(いわゆるマッシ... 続きを読む

• dev.ariel-networks.com
• コンピュータ・IT

そのときの発表資料と音声を公開します。 発表資料(PDF 1532KB) 音声(MP3 57350KB) ※音声はボリューム最大にしないと聞こえないかもしれません・・ごめんなさい ※資料はPDFに変換しているのでアニメーションがありません・・ごめんなさい 内容は DSASの設計思... 続きを読む

• dsas.blog.klab.org
• コンピュータ・IT

TheC10kProblem - 「C10K問題」（クライアント1万台問題）とは、ハードウェアの性能上は問題がなくても、あまりにもクライアントの数が多くなるとサーバがパンクする問題のこと 目次 この文書について C10K 問題 関連サイト まず読むべき本 I/O フレームワーク ... 続きを読む

• www.hyuki.com
• コンピュータ・IT

調べごとをしたので blog に書いて理解を深めようのコーナーです。長文です。Linux でシステム負荷を見る場合にお世話になるのが top や sar (sysstat パッケージに同梱されてるコマンド) などのツールです。top ではシステム統計のスナップショットを見ること... 続きを読む

• d:id:naoya
• コンピュータ・IT

六本木ヒルズで開催されたライブドア次世代テクノロジーセミナーに、会社の同僚の秋元さんと一緒に行って来ました。 当社は長い受託ビジネスやWEB開発から蓄積した、膨大な経験と実績を使い、現在UU14,336千人、月間約22億PVというポータルサイト 「livedoor」... 続きを読む

• labs.cybozu.co.jp
• コンピュータ・IT

こんにちは satoです WEBサービスは作るよりも運用の方がコストがかかるとも言われています。 運用を極力自動化して、コストを減らしたいものです。 ここではウノウで使っているツール類を紹介したいと思います。 1) 疎通、生存監視 webの生存監視などは nagios... 続きを読む

• labs.unoh.net
• コンピュータ・IT

■[LVS] LVS + Ultra Monkey で負荷分散 (設定編) ライブドアテクノロジーセミナーに行ってきましたよ。 id:naoyaさんは LVS++という話 でしたが、自分も 1年ほど前に、某サイトの負荷分散を LVS + Ultra Monkey (heartbeat + ldrectord) でやったので、社内 Wi... 続きを読む

• d:id:sfujiwara
• コンピュータ・IT

Gmail，Googleトーク，Googleカレンダー，Google Page CreatorとGoogle Docs & Spreadsheets，Start Page，を全て  独自ドメインで無料で使えるGoogle Appsの登録プロセスを完全図解！ 初心者にも簡単に家族用Gmailが作れます →一応Edition比較はこちら。（Sta... 続きを読む

• www.g-fan.info
• コンピュータ・IT

新たにスワップ専用にパーティションを追加する方法ではなく、現資源(パーティション)内にスワップ用のファイルを作成し、利用する方法。 資源(空き容量)があれば、システム起動中でも追加することができ、緊急時対応が可能。 [Linux] top ディスクの容量/空き... 続きを読む

• yuichis.homeip.net
• コンピュータ・IT

まるごとPerl! Vol.1 で執筆させていただいたはてなブックマークのシステムに関する記事が ThinkIT で読めるようになりました。記事全体を何回かにわけて掲載していただいています。まるごとPerlの記事なのですが、実は Perl のことはあまり触れていなくてはて... 続きを読む

• d:id:naoya
• コンピュータ・IT

Linuxによるサーバ構築・運用。Linux上で動くアプリケーションの設定・使用方法をブログにて配信。multitail - 複数ファイルをtail multitailコマンドを使用すれば複数のファイルをtailすることができる。tail時のウィンドウをひとつにmergeしたりすることがで... 続きを読む

• www.ksknet.net
• コンピュータ・IT

ダイエット中で炭水化物の量が気になる尾藤正人です。 前回のエントリベンチャー流サーバ構築のススメ(ソフトウェア編)では、主にOS周りのことについて書きました。複数台のサーバを管理するのに重要なのは極力構成を同じにすることです。そうすることで管理コ... 続きを読む

• labs.unoh.net
• コンピュータ・IT

CentOSで自宅サーバー構築LinuxディストリビューションのひとつであるCentOS(The Community ENTerprise Operating System)で自宅サーバーを構築したときの記録です。 当サイトはCentOSで構築した自宅Webサーバーから発信しており、 23 日間と 8 時間 17 分 連続... 続きを読む

• centossrv.com
• コンピュータ・IT

apacheの出力ログの確認 # vi /etc/httpd/conf/httpd.conf # # The following directives define some format nicknames for use with # a CustomLog directive (see below). # LogFormat "%h %l %u %t \"%!414r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" ... 続きを読む

• kajuhome.com
• コンピュータ・IT