Twitterは、同社の何千台ものサーバに対してバイナリをデプロイする場合に、ピア・ツー・ピアシステムのBitTorrentを利用したツール「Murder」を用いていると、7月1日の記事「Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブ... 続きを読む

• www.publickey1.jp
• テクノロジー

Twitterが分散フレームワーク「Gizzard」公開！ Scalaで書かれたShardingを実現するミドルウェア Twitterは独自に開発した分散フレームワークの「Gizzard」をオープンソースとして公開しました。GizzardはScalaで書かれたJavaVM上で動作するミドルウェアで、PHP... 続きを読む

• www.publickey1.jp
• テクノロジー

先日、Hadoop ConferenceでScala on Hadoopというタイトルで発表してきました。スライドを以下に置いておきます。Scala on HadoopView more presentations from Shinji Tanaka.ダイジェストとして、ScalaをHadoopで動かすための方法を書いておきます。まず、Had... 続きを読む

• blog.stanaka.org
• テクノロジー

Microsoftは米国時間11月16日、スーパーコンピューティング分野の主要なカンファレンスにおいて、強力なクラスタサーバ向けに再設計された「Excel」スプレッドシートのテスト版を発表した。 クラスタ上でのExcelのパフォーマンス改良を進めることで、通常ならば... 続きを読む

• japan.cnet.com
• テクノロジー

Hadoop World Report：優良企業はなぜHadoopに走るのか オープンソースの大規模分散データ処理システム「Hadoop」の人気がうなぎ登りだ。Yahoo!やAmazon、FacebookといったIT業界の巨人たちだけでなく、VISAやJP Morganといった有名企業までHadoopにコミットを... 続きを読む

• www.itmedia.co.jp
• テクノロジー

はじめまして。今年の5月に入社した勝間@さがすチームです。 入社してからは、なかなか大変なことも多いですが、最近はお酒好きが集まって月曜から飲み合う 「勝間会」なるものも発足して、仕事面でも仕事以外の面でも密度の高い毎日を過ごしています！ さて、... 続きを読む

• techlife.cookpad.com
• テクノロジー

2009/04/02 米アマゾンの子会社、Amazon Web Services（AWS）は4月2日、多数のOSインスタンスを起動して大規模分散処理を行える「Amazon Elastic MapReduce」のベータサービスを開始した。 Amazon Elastic MapReduceは、オープンソースの分散処理フレームワーク... 続きを読む

• www.atmarkit.co.jp
• テクノロジー

Apache Software Foundationは3月31日、Apache CouchDB 0.9.0のリリースをアナウンスした。CouchDBは、ドキュメント指向（document-oriented）の非リレーショナル型の分散データベースで、JSON APIによるRESTfulなデータアクセスを提供する。開発言語にはErlang... 続きを読む

• codezine.jp
• テクノロジー

Larry Dignan, Sam Diaz and other IT industry experts, blogging at the intersection of business and technology, deliver daily news and analysis on vital enterprise trends. Posted by Larry Dignan @ 2:20 am Categories: Amazon, Cloud computing, E... 続きを読む

• blogs.zdnet.com
• テクノロジー

One of the repeating themes we have heard while working with our customers and the community is that Hadoop configuration and deployment is a pain. Often times, Hadoop is the first truly distributed system that administrators encounter, and t... 続きを読む

• www.cloudera.com
• テクノロジー

WWWサーバの冗長構成　WWWサーバの冗長構成は、一般的に負荷分散装置などを使って比較的簡単に構築することができます。しかしながら、負荷分散装置は各サーバ間のデータの一貫性を保証するわけではないため、システムを構成する各WWWサーバ間では、何らかの方... 続きを読む

• enterprisezine.jp
• テクノロジー

2008年はクラウドコンピューティングの年になる。そのようなことを昨年末に書いた覚えがある（この記事）。バズワードとしてWeb2.0が陳腐化してきた昨年あたりから脚光を浴び始めたのが，クラウドコンピューティングである。 　確かに旬のテーマになってきた。... 続きを読む

• zen.seesaa.net
• テクノロジー

オープンソース・フリーウェアを毎日紹介するブログ。日々の業務の効率化、新しいサービスのネタ探しにどうぞ。SNS、SBS、CMS、オフィス、画像編集、ユーティリティ、Firefoxアドオン、テキストエディタ、ゲーム…ジャンルは様々。 [CUI] [ MIT License] [ Ruby... 続きを読む

• www.moongift.jp
• テクノロジー

はじめに　この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機... 続きを読む

• codezine.jp
• テクノロジー

続きを読む

• punetech.com

Googleを支える技術 2008-03-25-1 [書評・感想] 献本頂きました。ありがとうございます。 そうでなくとも絶対買う本ですが。 ■西田圭介 / Googleを支える技術 - 巨大システムの内側の世界 Ｇｏｏｇｌｅを支える技術　巨大システムの内側の世界 結論から言いま... 続きを読む

• chalow.net
• テクノロジー

読みは「モジャイル」かな？まずは、このへんから。Learning MogileFShttp://www.art-code.org/files/shibuya_pm_tt07_mogilefs_with_catalyst.pdf 分散ファイルシステム MogileFS についてhttp://www.sixapart.jp/techtalk/2006/10/dev_mogilefs.htmlMogileFS ... 続きを読む

• d:id:kinneko
• テクノロジー

Google file system(GFS) * 参照した論文 + http://labs.google.com/papers/gfs-sosp2003.pdf * 特徴 + 安いPC(OSはGNU/Linux)で分散ファイルシステムを構築しています(*注1)。 + PCは壊れるという前提で設計しています(*注2)。このため、分散システムを構成す... 続きを読む

• dev.ariel-networks.com
• テクノロジー

初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います... 続きを読む

• www.sixapart.jp
• テクノロジー

dRuby で 1プロセスで複数サービスの提供 19:12 | http://subtech.g.hatena.ne.jp/cho45/20061002/1159729733 そういえば DRb って一つのプロセスで複数のサービスってできるんだろか。URI 違えばいいのかな。 オプション付き URI というので指定できます。てい... 続きを読む

• g:subtech:id:secondlife
• テクノロジー

Web屋のネタ帳 Ｗｅｂビジネスに必要な「戦略」「システム」「デザイン」の３要素とそれらをまとめる「マネジメント」について現場の実感と独自の観点でお送りするコラム・・・のはずなんですが、要するにＷｅｂがらみのシステム＆デザイン業界に関する小ネタと... 続きを読む

• neta.ywcafe.net
• テクノロジー

次回の第8回Rails勉強会＠東京でセッション案に上がっていたBackgrounDRbというやつがなにやら面白そげなので調べてみた。調べてみた感じ以下のページがよくまとまっている。http://www.infoq.com/articles/BackgrounDRb以下、この内容を大雑把に要約してみる。... 続きを読む

• d:id:walf443
• テクノロジー

数カ月前にMySQL 5.1 GA版 のリリース見通しを5月と記述したが，残念ながら下半期に突入した現在もBata版にとどまっている。バージョン5.0から5.1へのアップは，番号としてはポイント以下のマイナー・バージョンアップだ。しかし，非常に大きな期待を持って待っ... 続きを読む

• itpro.nikkeibp.co.jp
• テクノロジー

筑波大学の端末室。情報学類では120台のMac，Windows，Linuxマシンが使えます。 [画像のクリックで拡大表示] ITproで連載していて面白いのは，読者の反応がわかることです。参考になったかどうかの投票結果やいただいたコメントは，励みになっており，今後の記... 続きを読む

• itpro.nikkeibp.co.jp
• テクノロジー

Copyright (C) Mainichi Communications Inc. All rights reserved. 掲載記事の無断転載を禁じます 続きを読む

• journal.mycom.co.jp
• テクノロジー

AdminIT Daily News：PCのセットアップ依頼はうれしい？　迷惑？――IT関連職の揺れるキモチ IT関連職従事者の実に7割が「知人にPCのセットアップを依頼されたことがある」と回答。うち6割強が「頼まれてうれしい」とし、お願いされるとまんざらでもないという... 続きを読む

• www.itmedia.co.jp
• テクノロジー

フルオープンソースでエンタープライズシステムを容易かつ低コストで実現(ROI向上､TCO削減) 高価なハードウェアを使用せずに構築することが可能 複数のコンピュータをまとめて管理するので操作が単純化され、オペレーションミスの低減に有効 インストーラや、日... 続きを読む

• www.nttdata.co.jp
• テクノロジー

Version 1.0 Author: Falko Timme <ft [at] falkotimme [dot] com> Last edited 03/27/2006 This tutorial shows how to configure a MySQL 5 cluster with three nodes: two storage nodes and one management node. This cluster is load-balanced by a high-... 続きを読む

• www.howtoforge.com
• テクノロジー

はてぶで人気エントリーになっていた、 http://kokoromo.jugem.cc/?eid=195[MySQL：１台しかない環境で負荷分散] これは負荷分散＝スケールアウトというよりは一台でスケールアップしてしのぐ手段を書いてい。だから負荷分散という言葉は必ずしも正しくないのだ... 続きを読む

• d:id:manamanmana
• テクノロジー

MapReduceは，Google社内でクラスタ上のデータ処理に用いられている並列分散プログラミングモデルである．ちょうど今サンフランシスコで開催されるOSDI 2004に発表予定の論文が，すでに公開されているが，これが非常に面白い． http://labs.google.com/papers/m... 続きを読む

• d:id:kazama
• テクノロジー

この文書はProject JXTA上で公開されているJXTA Search White Paperの日本語訳です。 この文書の訳者は吉澤(http://muziyoshiz.jp/)です。誤訳の指摘や改善案は、常に歓迎します。 初出: 2001/11/15 最終更新日: 2004/12/29 JXTA Search: 分散ネットワークのた... 続きを読む

• muziyoshiz.jp
• テクノロジー

MySQLのネタ。 １台しかない環境でエセ負荷分散を行う。 MySQLで負荷分散を考えたとき、 １台目にマスターのＤＢサーバー、 ２台目以降をスレーブのＤＢサーバーとして用いる。 マスターは更新系のみのＳＱＬ文を、 スレーブは参照系のみのＳＱＬ文を投げる。 ... 続きを読む

• kokoromo.jugem.cc
• テクノロジー

mod_proxy_balancerで中〜大規模サーバー運用するときの勘所 - (4) mod_deflateと組み合わせる際の注意点編 Apache2.2から、ロードバランシングをしてくれるmod_proxy_balancer というモジュールが標準添付になりました。 このモジュール、その名前の通り、Apac... 続きを読む

• www.onflow.jp
• 暮らし

mod_proxy_balancerで中〜大規模サーバー運用するときの勘所 - (1) mod_proxy_balancerの設定編 Apache2.2から、ロードバランシングをしてくれるmod_proxy_balancer というモジュールが標準添付になりました。 このモジュール、その名前の通り、ApacheレベルでH... 続きを読む

• www.onflow.jp
• テクノロジー