大容量・高パフォーマンス・可用性が人気サービスを支える
もはや改めて説明の必要もないほど人気の「ニコニコ動画」、略して「ニコ動」は、コメント機能などによって今までにないコミュニケーション手段を作り上げた動画投稿共有サービス。インターネット発の新たな流行を生み出しており、日本のインターネット文化にも大きな影響を及ぼしているサービスの1つといえる。 このサービスのインフラに、日本ヒューレット・パッカード（以下、HP）のストレージが採用されたという。 スループットも容量も柔軟に拡張できるストレージ構成 動画コンテンツの商用サービスとしての要件を、どのように満足させていったのかについて、「ニコニコ動画」のサービス構築・運用を行うドワンゴ 開発計画運用部 佐藤哲也氏は次のように話す。 動画コンテンツの商用サービスとしての要件を、どのように満足させていったのか。「われわれとしては、NFSでアクセスでき、全体を単一のボリュームとして扱えるもので、かつ拡張性も
Linuxチューニング 第1部第1回 ファイル・アクセスを高速化：ITpro
ファイルの入出力性能の改善は，システム全体の処理速度向上に大きく貢献する。高速なプロセッサを搭載する現在のコンピュータでは，ファイルのアクセス速度がシステム・パフォーマンスのボトルネックになっているためである。不要なディスク・アクセスの削減とアクセス速度そのものの向上が，チューニングの要となる。 アクセス時刻の記録を省略しファイル読み込みを高速化 ファイルにアクセスしたときには，最終アクセス時刻が属性情報として記録される。この情報を記録しないように設定することで，ファイルの読み込み速度を向上できる。最終アクセス時刻の記録を止めるには，ファイル・システムのマウント時に，noatimeオプションを指定する。ベンチマークでは，読み込み速度が2倍強に改善できた。 atimeは無駄 LinuxなどのUNIX系OSでは，statやfstat，lstatというシステム・コールを使って，ファイルの属性情報
RailsベースのOpenIDサーバ·masquerade MOONGIFT
まだまだ認知度の低いOpenID。ユーザ登録を乱発せずにサービスを利用できるので便利な技術ではあるのだが、一般に流行らせるにはまだまだ越えるべき壁も数多い。問題の一つはまだまだOpenIDサーバの提供が少ないということだ。 トップページ 自サービスを手軽にOpenID対応にするのに、専用のサーバを利用するのはいかがだろうか。 今回紹介するオープンソース・ソフトウェアはmasquerade、Rails製のOpenIDサーバだ。 masqueradeはRailsを使って簡単にOpenIDサーバを構築できるソフトウェアだ。ユーザ登録はもちろん、メールアドレス認証もある。OpenID1.0系のサーバが構築できるようだ。 ログイン masqueradeを使えば、既存サービスの認証情報をOpenIDサーバに対応させられる。既存サービス内にOpenID機能を持たせるのは大変だが、認証情報だけ流用して提供
MOONGIFT: � 成熟した分散化ファイルシステム「OpenAFS」:オープンソースを毎日紹介
企業内のファイルサーバというと、SambaやWindowsを使った中央集約的なファイルサーバがメインになっている。だが、扱うファイルの量が膨大になってきていること、その維持管理がわずかなサーバによって管理されている問題がある。 そうした状況を受け、ファイルシステムも次世代化を目指す段階にきたようだ。 今回紹介するオープンソース・ソフトウェアはOpenAFS、分散化ファイルシステムだ。 OpenAFSの開発は実に1983年からはじまっているらしい。当時ではまだまだ速すぎたかも知れないが、現状のネットワーク化がようやくOpenAFSを求めつつある。分散化することによって複数のファイルサーバを意識することなく利用できるのは素晴らしい。 Mac OSX向けインストーラー インストーラー付きのクライアントはWindows、Mac OSX向けが用意されている。クライアントはインストールするだけで良いの
マルチコア時代のサーバ設計について - Happy Hacking Diary
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
Sambaサーバ構築、5つのべからず：2008年版（1/2）
－ 若葉マーク管理者に捧げる － LinuxやUNIXをWindowsのファイルサーバ／プリントサーバとしてしまうことができる「Samba」は、手軽にファイル共有環境を構築することができ、サーバ管理入門にもぴったりです。インターネット上の関連情報も豊富ですが、しっかり出所を確かめないと誤った設定を招く恐れがあります。 オープンソース・ソリューション・テクノロジ株式会社 代表取締役 チーフアーキテクト 小田切 耕司 2008/4/22 Windowsとのファイル交換を手軽に実現するSamba Sambaは、LinuxやUNIXをWindowsのファイルサーバ／プリントサーバとしてしまうことができるオープンソースソフトウェア（OSS）です。Sambaの導入によって、LinuxとWindowsが混在する環境で、手軽に情報共有を行えるようになります。 Sambaは、大きく以下の4つの機能を提供しま
MySQLをファイルシステムとして使う | OSDN Magazine
MySQLfs を使うと、リレーショナル・データベースMySQLの中にファイルシステムを入れることができる。このファイルシステム中のファイルに含まれるバイト列はデータベースの各行に分割して格納されるため、大きなファイルがある場合もデータベースが巨大なBLOBフィールドをサポートしている必要はない。ファイルシステムをMySQLデータベースに入れておくと、データベースが備えているバックアップやクラスタリング、レプリケーションの機能を利用してMySQLfsファイルシステムを保護することができる。 Fedora、openSUSE、UbuntuにはMySQLfsのバイナリー・パッケージは含まれていない。したがって、MySQLfsを使うにはソースからビルドする必要がある。また、あらかじめmysql-develとfuse-develをインストールしておかなければならない（FUSEにより、一般のプログラム
mixi Engineers’ Blog » memcachedのストレージ層をmodularにしてみた
前回に続いてまたmemcachedの話をしたいと思います。今回は改造編です。 ハッシュデータベースサーバなどの実装でmemcachedライクなものを書くのも良いですが、以前からmemcached自体のストレージをmodularにできたら面白いかも？と思っていたので実験的にmemcachedを改造してみました（memcached-1.2.4がベース）。 とりあえず名前はmemcached modularの略でmmcmodと名づけて、mikioさんのTokyo Cabinetをストレージとして使うモジュール（厳密にいうと共有ライブラリ）を書きました。ソースコードは後日CodeReposの方に上げますがとりあえずこの記事で公開します。ちなみに新しいプロダクトを作る気はなくて、最終的にpatchを作ることが目的です。 で、話を続けると今回の改造を簡単にビジュアライズするとこんな感じです： 図のmm
Rubyで書かれた高速WebサーバThin 0.5.3 - builder by ZDNet Japan
サーバースペシャリストへの道 PCサポートとサーバ管理の共通項 ひとり情シスのためのスキル向上のコツ ビジネスの推進には必須！ ZDNet×マイクロソフトが贈る特別企画 今、必要な戦略的セキュリティとガバナンス ともにDXを推進する コンテナ化されたワークロードを管理 継続的な価値を生みだす「協創」への挑戦 ITインフラ運用からの解放 HCI＋JP1による統合運用による負荷激減で 次世代IT部門への役割変革へ一歩前進 非構造化データのデジタル活用へ 社内の文書コンテンツを一元管理 デジタル変革と内部統制の二兎を得るECM さあ、その想いをカタチにしよう。 Google Cloud が企業の未来に向けた生産性 向上とコラボレーション実現のヒントを解説 高まるゼロトラストの気運 妥協のない安全のために適材適所で組合せ トップ4社によるゼロトラストセキュリティ ビジネスのためのデータ基盤構築 D
MyISAM Scalability and Innodb, Falcon Benchmarks
All of Percona’s open-source software products, in one place, to download as much or as little as you need.
8Gメモリマシンへの道 - 最速配信研究会(@yamaz)
最近一段とメモリが安くなっている. http://www.watch.impress.co.jp/akiba/hotline/20071006/p_mem.html 「今使ってるマザーボードは8G対応って書いてあるし, メモリスロットも4つあるから5万円出せば8Gメモリのサーバってぇ寸法よ」 という目論見だったけれど,いろいろ実験及び調べてみたところうまくいかなかったので,わかったところまでをご紹介.どなたか私の屍を乗り越えて先に進んでください. 得た知見としては下記の通り. メモリコントローラの最大バンク数について フツーに売ってるインテルベースのマザーボードのチップセットのメモリコントローラは最大ランク数(バンク数)という概念が存在して,チップセット的にハンドリングできるメモリ上限とは別の制限がある.メモリモジュールのランク数はおおむね片面実装(チップが基盤の片面にだけくっついてるもの
仙石浩明の日記: NFS と AUFS (Another Unionfs) を使って、ディスクレス (diskless) サーバ群からなる低コスト・高可用な大規模負荷分散システムを構築する
ディスクレス (diskless) サーバを多数運用しようとしたときネックとなるのが、 NAS (Network Attached Storage) サーバの性能。 多数のディスクレスサーバを賄え、かつ高信頼な NAS サーバとなると、 どうしても高価なものになりがちであり、 NAS サーバ本体の価格もさることながら、 ディスクが壊れたときの交換体制などの保守運用費用も高くつく。 それでも、多数のハードディスク内蔵サーバ (つまり一般的なサーバ) を 運用して各サーバのディスクを日々交換し続ける (運用台数が多くなると、 毎週のようにどこかのディスクが壊れると言っても過言ではない) よりは、 ディスクを一ヶ所の NAS にまとめたほうがまだ安い、 というわけで NAS/SAN へのシフトは今後も進むだろう。 そもそも CPU やメモリなどとハードディスクとでは、 故障率のケタが違うのだから
負荷分散講習会 Apache編 | feedforce Engineers' blog
ゴール 負荷分散のいくつかの方法に関して理解する mod_proxy_balancerによる負荷分散クラスタが構築できる 基礎知識編 基本的な資料 主にクラスタによる負荷分散の資料。 - Apache モジュール mod_proxy_balancer - mod_proxy_balancerで中?大規模サーバー運用するときの勘所 - cyano あと社外秘資料。 負荷分散？ 複数台のサーバにアクセスを分散して、個々のサーバにかかる負荷を減らし、全体的に処理できるアクセスを増やすこと。 以下のようなアプローチがある。 DNSラウンドロビン DNSでひとつのホスト名に複数のIPアドレスを割り当てる方法 シンプル しかしダウンしているホストにもアクセスが振り分けされてしまう 冗長化と併用でなんとかなるかな？ 機能ごとにホストを分割 ウェブサーバとDBサーバの分割（基本過ぎるが一応これも負荷分散）
とあるはてな社員の日記 - まっさらなサーバを30分で本番投入できるようにする
すこし前にはてなスターのリリースがされたのですが、サービス開始直後にありがちなことに、時々負荷で遅くなったり、アクセスしにくくなったりしてしまいました*1。これではいけない、ということで、すぐ次の日に、バックエンドのサーバを一気に10台近くまで増やして、おおむね快適に使える状態になっていると思います。この時に、新しいサーバをまっさらな状態から、だいたい30分程度で本番投入することができていました。これを、どのように実現したのかを軽く紹介したいと思います。 ちなみに、サービスの重さは、サーバ増強だけで済むものではなく、それ以降も、Javascriptが重い!とか、アプリケーションロジックで重いSQL を走らせてしまって遅いという問題は何回かありました。が、そこはインフラではなく、アプリケーションの問題で、アプリケーションの改善は、継続的に進んでいると思います。ので、今回は、インフラの話に限定
cyano: mod_expiresとmod_rewriteを使ってサイトの帯域節約と体感速度を向上させる方法
普通の帯域節約術としては、mod_deflateでdeflate圧縮するとか、CSSやJSファイルのHTTPレスポンスヘッダにLast-ModifiedやEtagを追加しておいて、ブラウザがHTTPリクエストヘッダにIf-Modified-SinceやIf-None-Matchを付加するようにし、コンテンツが変更されていなかったら304 Not Modifiedを返すという方法を取るかと思います。 しかし、HTTPサーバーはコンテンツの数だけ304 Not Modifiedを返さないといけないため、その分帯域を消費しますし、またCSSや画像などのパーツの304 Not Modifiedが返ってくるまで、そのパーツのレンダリングが行えないという問題があります（つまり体感速度に影響します）。 今回紹介するのはExpiresヘッダやCache-Control: max-age=31536000を
各メーカーの最安サーバを比較検討してみた
新しくGIGAZINEの現在提供しているサービスを拡張する上において、仮想環境ではなくテスト用サーバの実機を購入して検討する必要がついに出てきたため、試しに現時点での代表的な各サーバメーカーの最安値サーバをそれぞれ調べてみました。 それぞれ最低の最小構成で比較しているだけなので、実際に必要なオプションをくっつけるとまた結果は違ってくると思われますが、いずれにしてもとにかく動けばそれでよし、負荷が上がったら順次買い足して負荷分散させるという使い方を目指すのであればかなり参考になるのではないかと思われます。 詳細は以下から。 以下はすべて現時点での税込価格であって送料は入っていません。サイトやPDFファイルのパンフレットなどを見ながら書き写したモノなので、実際は違うというケースがあるかも。参考にする際は自己責任で、購入前には事前に相手先ベンダー・メーカーにちゃんと問い合わせておきましょう……。
TAKESAKO @ Yet another Cybozu Labs: ニコニコ動画勉強会に行ってきました
本日ドワンゴさんの会議室にてこっそり開催されたニコニコ動画勉強会に参加してきました。 日本の動画コメントサービス「ニコニコ動画」の裏側をドワンゴの開発者の方から 直接お話しを聞いて、参加者も一緒に意見交換ができる非常に面白い勉強会でした。 ドワンゴさんとしては会社で行なう技術者向けの勉強会初めての試みということもあり、 まずは開発者の知り合いベースで声をかけあって少人数で開催することにしたそうです。 六本木のクラブの人や、バイナリカンファレンスでご一緒した人とこんなところで お会いできるとは思っていませんで、さまに想定の範囲外でした。 その甲斐あって密度の濃い話ができたと思います。 以下、自分用のメモを公開できる範囲で書きます。間違っていたらすみません。（ご指摘いただければすぐに訂正します） ■ニコニコ動画の苦労話 (Sさん) ニコニコ動画の歴史 2006年10月 一人でプロトタイプを開発
OpenIDが熱狂的に受け入れられる理由 ― ＠IT
2007/04/23 3月15日、米国の全国紙USA Todayの「Tech」セクションの紙面をOpenIDに関する記事が飾った。その記事では、さまざまなインターネットサービスが利用されるようになる中、増加の一方をたどる「IDとパスワード」を記憶する義務からユーザーを解放する新しい技術としてOpenIDが紹介されている。 OpenIDは、URLをIDとして利用する認証プロトコルである。ユーザーはOpenID認証サーバが提供するIDをコンシューマ（OpenIDによる認証に対応したサービスプロバイダのこと）でのログインに利用することができる。コンシューマはOpenIDをもとに認証サーバを発見し、自身で認証する代わりにサーバへ認証を依頼する。ユーザー認証はすべて認証サーバ上で行われるので、ユーザーはOpenIDを1つだけ覚えておけば複数のサービス（コンシューマ）へログインできるようになる。つまり
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://cafelounge.net/dev/?Cluster%2FDRBD%2F8
糸柳和法のオッパイぷるるん☆放送局 - 各種 RTMP サーバーでのライブストリーミングの実現