LinuxのLVS(IPVS)でMySQLをロードバランスするときはtimeoutに注意 - （ひ）メモ
構成 [appサーバ] -> [lvs] -> [MySQL]群 DRでMySQLのスレーブ群にロードバランス appサーバはDBコネクションのプーリング、永続化をしている 問題の現象 DBサーバ上ではmysqldへのコネクションが存在するのに、appサーバ上ではコネクションが存在しない。(netstat調べ) →無用なコネクションが残留するせいで、MySQLのmax_connectionsに達してしまう。 原因 MySQLの世界の無通信時のコネクションのタイムアウトはデフォルトで 28800秒 (8時間)。一方、IPVSの世界の無通信時のタイムアウトはESTABLISHEDなコネクションで900秒 (15分)。 # ipvsadm -Ln --timeout Timeout (tcp tcpfin udp): 900 120 300なので、DBコネクションの永続化等でコネクションを張りっ
Webアプリケーションにおける Job Queue システムの構成例と Worker を作る際に気をつけること - blog.nomadscafe.jp
Webアプリケーション内で処理を直列に実行せずにJob Queueに回して非同期に実行することが多くなって来て久しいと思いますが、そのおすすめ構成と気をつけることについてつらつらと。 1) 既存のデータベースをキューとして使う構成例 １つ目はMySQLなどのデータベースをキューとして用いる例。既にアプリケーションで利用しているデータベースにキュー用のテーブルを作成して利用します。データベースを利用したキュー管理の仕組みとしてJonk、Qudo、TheSchwartzなどがPerlでは有名どころです。 依存するミドルウェアが増えないので最もシンプルな構成になると思います。 上記の図ではWorkerはアプリケーション内で実行することで冗長性を確保しますが、キューを格納するデータベースはSPOFになります。しかし、、データベースに障害があった場合キューだけでなくすべてのサービスが停止すると思われ
私家版省サーバ運用2011またはWebシステムのコンポーネントの配置について - blog.nomadscafe.jp
小規模のサービスを如何にスモールスタートするか、そのために各コンポーネントをどうやって配置するのがいいのかという話。個人的な考えも含めて。 大まかな構成は昨年のnekokakさんのYAPC::Asiaでの発表、省サーバ運用と大体同じです。Web/Appに使うサーバ2台、データベース2台です。あとはLBが別にあればそれを、なかったらもう一台(組)必要となります。 Web/Appサーバには、Reverse Proxy、Application Serverがまず配置されます。あとは必要に応じてmemcached、Job Queueのworkerを動かします。ここまでのコンポーネントは2台のサーバ両方に配置し、Active-Activeで動作し冗長性がとれるよう構築します。cronについては、両方のサーバで動かしても問題がない状態が理想ですが、そうでない場合、Web/Appの1台目で動かすというル
スクレイピングするなら ScraperWiki 使うといいよ - ヤルキデナイズドだった
Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ（Web ページをスクレイピングするスクリプト）とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります： Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える（HTML パーサなどのモジュ
Quora創業者の話を聞きながら思ったこと
久しぶりのポストになるが、 Quora創業者の一人、ディアンジェロ氏の講演について。 http://www.quora.com/Adam-DAngelo ディアンジェロ氏、元Facebook CTOで26歳という側面が強調されるけれど、会話の中に感じるストレートなロジックを求める頭の良さが印象に残った。 以下、Quoraについてのプレゼンより。 今日のプレゼン内容は情報の質について。 まず、最初にいえること。Web is a Mess。今のグーグルサーチが返す情報は、本当にぐちゃぐちゃしている。グーグルサーチをするときのマインドセットと、ウィキペディアで編集された情報を行き来するときの集中力・心地よさを比較すればよくわかる。 ウェブでサーチすることは、別にアリだし、５分ほど検索すればそれなりの答えにたどり着ける。しかし、同じトピックについては、世界中でいろんな人が検索しているはずだ。全部あ
コーディングとSEOの概念が変わるかもしれない、Microdataについての概要 - kojika17
6月2日、Google、Microsoft、Yahoo!の検索大手3社が協力して、構造化データマークアップの標準化に乗り出しました。 長期的な最終目標は、幅広いフォーマットのサポートとしているようですが、まずはHTML5のMicrodataに集中するようです。 Microdataが新しいWebの歴史の礎の1つとなるかもしれません。 以前にも「MicrodataとMicroformatsの違いについて」取り上げましたが、今回は実際にMicrodataでどうなるのか、ご紹介致します。 Microdataとは何か？ マークアップ言語であるHTMLは「見出し(h1,h2,h3... )」「段落(p)」「リスト(ul,ol,li)」などの文章構造を示すことができても、「人の名前」「肩書き」「地域」などを示すことができません。 それらをHTMLでメタデータとして追加する方法のひとつとして、HTML5の
電子書籍が紙に負ける5つのポイント | WIRED VISION
前の記事 早送りで見る天の川銀河(動画) 電子書籍が紙に負ける5つのポイント 2011年6月 6日 メディア コメント： トラックバック (0) フィードメディア John C Abell Photo: Anthropologie store window, New York City. (John C Abell/Wired.com) 米Amazon.com社が最初の『Kindle』を発売し、電子書籍という革命を始めたのは3年半前のことだ。現在同社は、紙の本の売り上げよりも電子書籍の売り上げのほうが大きいという状態にある（日本語版記事）。 日本が江戸時代に、銃を捨てて刀に戻ったような、珍しい「時代逆行」が生じないかぎり、電子書籍は、紙の本を引き継ぐ「21世紀の書籍」になることだろう。 実は筆者は、今まで電子書籍リーダーというものを買ったことがなかった。生まれつき、単一機能の機器というもの
大容量ファイルのSCP転送を高速にする方法 - 元RX-7乗りの適当な日々
比較的大きいサイズのファイルをSCPで転送することがあって、できるだけ高速化してみたかったので、色々試してみたメモ。 scpというかsshには、暗号化方式と圧縮有無の指定があるので、それらのベンチマークを。 尚、以下は、SSH v2が対象です。v1はかなり遅かったのと、そもそも使っていないので試していません。 (追記: 2019/11) 本エントリの情報は既に古いため、以下のエントリにて再検証しています。あわせてご覧くださいませ。 ベンチマークで利用した環境 [Server1] <=> [Gigabit Switching Hub] <=> [Server2] Server1 (HP ML115 G5) AMD Phenom 9950, 8GB, RAMディスク使用, Gigabit Ethernet Server2 (HP ML115 G1) AMD Opteron 1210, 4GB,
今やっている仕事は、今のユーザー数を何倍にも増やす可能性がありますか？ – suadd blog
いろいろと細かく調整していく仕事は、どんどん結果が出て、きちんとなっていくからすごく気持ちよいです。仕事しているという感覚もありますし、心地良い環境で仕事ができるようになります。 でも、そういう仕事って、実はユーザーさんへのバリュー（価値）というのは小さいことが多い。ユーザーさんは本当はそんな細かいことは気にしていなくて、もっと大きな「○○が簡単にできる」とか「××が無料でできる」とか何か一点でのみ惹かれて使ってくれていたりします。 細かく調整していく仕事は、全体へのインパクトはほとんどありません。一気にユーザー数が何倍になったりしません。 大企業ならそれでもいいかもしれません。でもベンチャーならやるべきなのは、圧倒的なバリューをユーザーさんに提案することだと思います。「おお、すごい！」と思ってもらって、クチコミしたくなるような、圧倒的な仕事をすることだと思います。 でも、これはほとんどの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
