スパイダリング(Spidering)の基礎
スパイダリング(Spidering)の基礎 宮崎 真, 廣安 知之, 三木 光範 ISDL Report No. 20050813008 2005年 9月 19日 Abstract スパイダ(spider)とは，インターネットから様々な情報を自動的に取得するプログラム のことである．スパイダを用いることによって，例えば複数のサイトにまたがって存在する情報を 組み合わせて，データ蓄積やファイル保存，独自の検索システムを構築，など様々なサービス が可能となる． 本報告では，このスパイダリングについての概要および注意点を述べる． 1 はじめに 現在，Webサイトの肥沃化が進んでおり，実に30億以上ものページがWeb上に存在している． 多くの情報がオンライン化され，Webは従来に比べずっと閲覧しやすく，検索しやすく， 便利になったのである．しかしながら，この巨大なWebに対し，Webユ
Lustreファイルシステムの概要
Lustreファイルシステムの概要 藤原 樹，廣安 知之，三木 光範 ISDL Report No.20040803002 2004年 6月 28日 Abstract 本報告ではLustreファイルシステムの概要について調べる．Lustreファイルシステムとは既存のNFSやAFSのような分散ファイルシステムでは対応できない大規模クラスタなどのシステムのために開発されているオープンソースの分散ファイルシステムである． 1 はじめに 近年，並列計算に用いられるクラスタが大規模化し，クラスタを構成するノード数が増加している．クラスタにおいて広く用いられている分散ファイルシステムのNFS，AFSを用いた場合，NFSサーバ1台に対してNFSクライアントが複数マウントするため，マウントするノード数の増加に伴いサーバに対する負荷が増大し，I/Oスループットが低下してしまう．また膨大な計算結果を出力する
LustreファイルシステムのI/O性能評価
LustreファイルシステムのI/O性能評価 藤原 樹，廣安 知之，三木 光範 ISDL Report No.20040803004 2004年 10月 27日 Abstract 本報告では，大規模なクラスタ用に開発された分散ファイルシステムであるLustreファイルシステムの性能の評価行った．OSTを１台から４台まで増やし，I/Oパフォーマンスの性能を評価した．性能評価にはI/Oベンチマークであるbonnie++を用いた．計測結果，OST４台程度では性能の差が見れらないことがわかった．また，LustreとNFSの性能評価を行ったところ，今回の実験環境ではNFSの性能が良好な性能を示した． 1 はじめに Lustreはメタデータを管理するMDSがロードバランスを行うことでデータを分散し，負荷が特定のOSTサーバに集中しないようにしている．そのため，既存の分散ファイルシステムであるNFSよ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
