急増するLINEインフラの課題と対応 « LINE Engineers' Blog
こんにちは。今回はITサービスセンターより、インフラ運営の観点から急増するLINEインフラの課題と対応について記させていただきます。 はじめに 先日開催したLINE Developer Conference（インフラ編）には大勢の方にいらしていただきました。カンファレンスでは、LINEサービスが始まってから約2年の間に我々はどういった方法でインフラ運営を行い、またどんなことに悩んできたのかを、システム、データベース、ネットワークの観点からそれぞれ発表させていただきました。 カンファレンスはLINE株式会社が様々な技術をどのように使い、どのように運用を行っているのか。現在どのような技術的なことに取り組んでいるのか日本のエンジニアの皆さんに知っていただくために開催されました。結果としてインフラ編では150名の定員に対して430名のご応募をいただいたとのことでLINEサービスに対する関心の高さを
Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」
Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」 米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」の、Twitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）を紹介をしています。 この記事は「「Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」」の続きです。 Twitterのサブシステム「loony」「Murder」「memcached」 ここからはTwitterのサブシステムについて紹介しよう。 T
An /etc/init.d/unicorn script for multiple unicorn installations
Our staging server needed to be able to run multiple unicorns, each responsible for a different rails app, e.g. QA and staging I wanted a simple /etc/init.d script that will start/stop/reload all my unicorns or just a specific one: # starts all unicorns listed in /etc/unicorn/*.conf /etc/init.d/unicorn start # stops the QA unicorn /etc/init.d/unicorn stop /etc/unicorn/qa.conf The /etc/unicorn fi
HomebrewでPHP5.3.6をインストールする - okonomiのブログ
Formulaとあわせて手順を公開されてる記事があったのでそちらを参考に。 Formulaを落としてきて所定のディレクトリに配置。 $ curl -O https://github.com/ampt/homebrew/raw/php/Library/Formula/php.rb $ mv php.rb `brew --prefix`/Library/Formula インストールオプションを確認したり。 $ brew options php php --with-mysql Include MySQL support --with-pgsql Include PostgreSQL support --with-mssql Include MSSQL-DB support --with-fpm Enable building of the fpm SAPI executable --with-
HerokuでDBのデータをバックアップする - アインシュタインの電話番号
HerokuアプリのDBをバックアップするにはpgbackupsというアドオンを利用する。昨日書いた方法との主な違いは、今回のはHerokuのサーバー上にバックアップされることと、フォーマットの変換はできないこと、あたりかな。バックアップ処理を自動化する場合は今回の方法が良いみたい。 アドオン追加 まず、herokuコマンドが使えるgemのherokuを最新の状態にする。 $ gem update heroku 次に、対象のHerokuアプリにpgbackupsアドオンを追加する。Basicタイプは無料。 $ heroku addons:add pgbackups:basic --app heroku-hello-world これで準備完了。 Heroku(Amazon S3)上にバックアップするには以下のようにコマンドを実行する。 $ heroku pgbackups:capture -
開発環境をクリーンにする個人的な3つの禁止事項
開発環境は放っておくと自分の部屋と同じで散らかって行きます。 必要なファイルが見つからなくなったり、毎日使うツールが壊れてしまったり…。 そうなると、仕事が進みません。 PCは唯一の仕事道具なので、出来るだけクリーンに保ちたいもの。 そこで私は個人的に3つの禁止事項を決めています。 今日はそのまとめ。 1. 環境を同居させるな えー、簡単に言うと”仮想化しましょう“ってことです。 Macを使っている方は、Apacheも入ってるし、MySQLもインストール出来るし、そのままでも良いじゃない。 あるいはXAMPPやMAMPを使っている方は、インストールすれば環境が揃うし。 そう思われるかもしれません。 しかし、仮想化して開発用のOSを別に持っておけば、良いことが色々とあります。 環境を壊せる！ 好き勝手出来るマシンが1台手に入ったも同然です。自分のマシンでは出来ない恐ろしいことも出来ます
700万PVのRails製サイトが月$60のVPS(メモリ1GB)で動かせるという話
nog @nog Lingrがコピペ運動会のサーバ状況に似てるｗRailsでSlicehost512でやってた。今はlinode1GB。今ユーザアクセスで月700万PV、Ajax,bot含めて1000万PVくらい。1GBプランならRailsでもまだまだ余裕。http://bit.ly/5ZYqW7 2010-01-14 21:09:44 トビーネット @toby_net 700万PVすごい( ´д｀) RT @nog: Lingrがコピペ運動会のサーバ状況に似てるｗRailsでSlicehost512でやってた。今はlinode1GB。今ユーザアクセスで月700万PV、Ajax,bot含めて1000.. .http://bit.ly/5ZYqW7 2010-01-14 21:16:22
54行で分散KVSを実装する（レプリケーション機能付き） - Blog by Sadayuki Furuhashi
Ruby と MessagePack-RPC があれば、簡単なkey-valueストレージは簡単に作れます。54行で書けます（レプリケーションと負荷分散機能付き。サーバー38行、クライアント16行）。 簡単なKVSをベースにして、ログ集計や遠隔デプロイ、遠隔管理機能などの機能を追加していけば、ちょっと便利なサーバープログラムをサクサク自作できるハズ。 この分散KVSは、（keyのハッシュ値 % サーバーの台数）番目のサーバーにkeyを保存します。また、サーバーの名前順でソートしたときの「次のサーバー」と「次の次のサーバー」にデータをレプリケーションします。 すべてのサーバーで同じ設定ファイルを使います。サーバーごとの設定は引数を自分のホスト名に書き換えるだけなので、デプロイが容易です。 MessagePack-RPC for Ruby を使うと、分散しないkey-valueストレージ*1は
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン - （ひ）メモ
MySQLで、レプリケーションベースのHAな構成について考えたメモです。 3台(というか2台＋1台)がいいかなぁと思っていて、前半はその理由を、後半では{マスタ,スレーブ}が{再起不能になった,ちょっとダウンしてすぐ復帰した}場合のリカバリプランについて書きます。 今のところはこれがベストかなと思っているのですが、「こうしたほうがいいと思う！」「ここがおかしい！」などなどのご意見はコメント、TBなどでいただけるとうれしいです。 ゴール マスタが落ちてもぐーすか寝ていられるようにしたい リカバリの作業はできるだけ単純に、かつ、短時間で完了するようにしたい めんどくさいのはいや 基本構成、方針 2台＋1台 サービスで使うのは2台 (db1, db2) もう1台は管理用 (db3) スレーブを多数並べる構成にはしない 台数増えると管理コストが上がる マスタダウン時のフェイルオーバとそのフェイルバ
ロケスタの新サービス「ナナピ」で使った技術を紹介してみるよ - UNIX的なアレ
http://nanapi.jp 本日2009年9月1日、株式会社ロケットスタートの新サービス「ナナピ」をリリースしました。 「ナナピ」はライフレシピと呼ばれる生活の便利な知恵や、ノウハウをみんなに共有してしまおう！というサービスです。 なんとか予定通り9/1にリリースをすることができました。すでに投稿数が160ほどあり、生活に便利な内容が投稿されています。 http://r.nanapi.jp/162/%E3%81%82%E3%81%8F%E3%81%B3%E3%82%92%E6%AD%A2%E3%82%81%E3%82%8B%E6%96%B9%E6%B3%95/ http://r.nanapi.jp/158/%E3%83%AC%E3%83%99%E3%83%AB%E3%81%8C%E4%B8%8A%E3%81%8C%E3%82%8B%E6%8C%A8%E6%8B%B6%E3%81%AE
メンテナンス中画面を出す正しい作法と.htaccessの書き方 | Web担当者Forum
今回は、Webサイトやサービスをメンテナンス中にする場合に、どのURLにアクセスしても「メインテナンス中です」の画面を出す正しいやり方を、人間にも検索エンジンにも適切にする作法を主眼に解説します。 この週末の土曜深夜～日曜早朝にかけて、データセンターの設備メインテナンスのため、Web担を含むインプレスグループのほとんどのWebサイトが、どのURLにアクセスしても「メンテ中です」という表示になっていました。 なのですが、その実装がちょっと気になったので、「正しいメンテナンス画面の出し方」を説明してみます。 ※2010-01-16 Retry-Afterを指定するHeaderの指定を修正しました（コメント参照） ※2009-06-17 RewriteCondから [NC] 条件を削除しました（コメント参照） ※2009-06-16 Retry-Afterの記述をGMTに変更しました（コメント参
Apacheの安全を確保するための10の対策 - builder by ZDNet Japan
あなたは自分の会社のウェブサイトをサービスするApacheをインストールしたところだとしよう。Apacheはスムーズに動作しており、万が一の場合にもLinuxのセーフティネットが助けになるはずだと思う。ところが、2週間ほど経ったところで、いろいろとおかしなことが起こり始める。なぜだろう。ApacheとLinuxを使っているのに・・・おかしくなることなどあるだろうか？ もちろん、注意を払わなければ、おかしくなることはいくらでもあり得る。Apacheを安全にする方法はあるが、もちろん何もしなければ安全にはならない。以下に示すのは、Apacheをより安全なウェブサーバにするための簡単な10の方法だ。 #1: とにかくアップデート LinuxでApacheを動かしているからと言って、アップデートが不要だということにはならない。常に新しいセキュリティホールやリスクが登場している。あなたは、最新のパッ
MySQLレプリケーションを安全に利用するための10のテクニック
MySQLのレプリケーションは非常に簡単に使える割には応用の幅が広いので非常に人気のある機能の一つである。レプリケーションの応用分野は例えば、 バックアップ 参照系の負荷分散 HA（高可用性） ディザスタリカバリ（サイト間レプリケーション） BI（レポーティングetc） という風にとても多くのバリエーションがある。このブログを読んで頂いている皆さんの中にもレプリケーションを使っている方は多いのではないだろうか。ご覧の通りMySQLのレプリケーション機能はミッションクリティカル分野でも利用されているが、レプリケーションの使い方が適切でないとシステムの安定稼働に支障を来してしまってDBAやシステム管理者の肉体的、精神的負担が増大してしまう。逆にレプリケーションを堅牢に運用することが出来ればマクラを高くして眠れるというものだ。レプリケーションはMySQLの代表的な機能であるので、レプリケーション
Railsで月間2.8億PV--COOKPADのリニューアル - builder by ZDNet Japan
455万人のユーザーを擁する世界でも有数、日本最大のレシピコミュニティーサイト『COOKPAD（クックパッド）』。これを運営するのが、クックパッドだ。同サイトは、今年10周年を迎え、7月には大規模なリニューアルを実施した。 このリニューアルにあたっては、Rubyを採用、月間2.8億PVの大規模サイトをRuby on Railsに乗せている。Railsサイトとしては世界でも有数の規模だ。シーネットネットワークス エンタープライズ・メディア 統括 兼 ZDNet Japan編集長の大野が、今や日本最大のRailsサイトとなったCOOKPADの佐野社長に、その運営と今後の計画について聞いた。 聞き手：大野晋一、構成：富永恭子（ロビンソン） 大野： そもそも、今回のリニューアルの狙いはどこにあったのでしょうか? 佐野氏(以下、敬称略)： 一言でいえば、今後の中長期的な成長を想定しての改善が一番の目
漢(オトコ)のコンピュータ道: MySQLを高速化する10の方法
ちょっとキャッチ−なタイトルをつけてしまったが、今日は独断と偏見でMySQLを高速化する方法を10個紹介しよう。MySQLサーバをチューニングするときや初期導入する場合などに参考にしてもらいたい。 1. バッファを増やす、または減らす チューニングの基本中の基本であるが、適切なバッファサイズを設定することはパフォーマンスチューニングの要である。主なバッファは次の通り。 innodb_buffer_pool_size・・・InnoDBだけを利用する場合は空きメモリの7〜8割程度を割り当てる最も重要なバッファである。余談だが、実際にはここで割り当てた値の5〜10%ぐらいを多めにメモリを使うので注意が必要だ。 key_buffer_size・・・MyISAMだけを利用する場合は、空きメモリの3割程度を割り当てるといい。残りはファイルシステムのキャッシュ用に残しておこう。 sort_buffer_
30days Album Information | 30days Album を支える技術 #0 〜 サーバ構成概要
こんにちは、mizzy です。30days Album では、全体的なシステムデザイン、ストレージ API の開発、サーバ構築などを担当しています。このブログでは、「30days Album を支える技術」と題して、裏側でどういった技術が使われているのか、ご紹介していきたいと思います。もちろん、技術スタッフは私だけではないので、他のスタッフにも各自担当した技術について紹介してもらう予定です。 第0回目は、サーバ構成の概要についてです。30days Album の論理的なサーバ構成は、以下の図のようになっています。（実際には、1台のサーバが複数のコンポーネントを兼ねていますので、物理的な構成はこの通りではありません。） 各コンポーネントと、コンポーネント間の関係について、もう少し詳細に解説します。 リバースプロキシが、直接ユーザさんから見えている唯一のサーバで、ウェブブラウザからのリクエスト
Rails 2.0 » ホスティングサービスでもRailsが利用できるようになるかも、な「Passenger」
Archives 2008年 5月 2008年 4月 2008年 3月 Category Amazon (2) Tips (7) Web API (1) Webサイト (1) エディタ (1) オープンソース (1) プラグイン (6) ホスティング/サーバ (1) 開発 (6) Meta ログイン RSS コメント RSS Valid XHTML XFN WP リンク MOONGIFT Open Service Cool Coding MOONGIFTブログ Resident of Net MOONGIFTでも紹介したmod_railsと呼ばれるPassenger。Creative Commonsによるオープンソース・ソフトウェアです。 今回はその導入方法を書きたいと思います。インストールは簡単で、gemを使って行えます。 $ sudo gem install pas
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CapistranoでUnicornの起動と停止と再起動
Hawk Finance