大規模データを無料で手に入れることのできるサイトまとめ - nokunoの日記
大規模データが公開されているサイトについて以下のQuoraでid:makimotoさんが質問していました。Data: Where can I get large datasets open to the public? - Quora以下、紹介されているサイトの一覧です。一部有料のものもあるようです。UCI Machine Learning RepositoryPublic Data Sets : Amazon Web ServicesCRAWDADno titleCity of Chicago | Data PortalGovLoop | Social Data Network for Governmentdata.gov.uk | Opening up governmentData.Medicare.GovData.Seattle.Gov | Seattle’s Data SiteOp
TCPの改良やキャッシング、圧縮でより速く (1/2)
WAN経由でのアプリケーションレスポンスを向上させるWAN高速化の技術だ。今回は前回紹介したTCPの弱点を補う各種の拡張のほか、対向で利用する製品ならではのユニークなキャッシング、圧縮などの機能を紹介する。 標準のTCPの改良技術を利用 TCPは、インターネットですでに25年近く用いられている老舗のプロトコルだ。そのため、前回紹介したような弱点は以前から認識されており、以下のようなTCP最適化機能が、RFC化されている。 ウィンドウサイズの拡張 すべてのパケットにタイムスタンプを入れることで、RTTを正確に計測する。また、ウィンドウサイズを、最大1GBまで拡張。両者を組み合わせることで、最適なウィンドウサイズに設定することが可能になる。 選択確認応答（Selective ACK） 標準のTCPでは、複数のパケットのうち「どこまで受信したか」が確認応答で伝えられる。そのため、5つのパケットの
AVATAR製作時、その超巨大データはどのように大陸間転送されたか？ - Wataru's blog
3D映画として現在大ヒットを飛ばしているAVATAR。私の周りでも凄く話題になっていて、IMAXを持つ映画館に近いうちに見に行きたいと思っています。 本日は、AVATAR製作時に使われたITシステムの話を、ご紹介したいと思います。 34ラックという、驚きの超巨大システム AVATARのデータ総容量は、何と、3PB(ペタバイト)!もの大きさだったそうです。毎週、ときには日ごとに数TB(テラバイト)ものデータが出来る上に、それらを色々なフォーマットで保存しなければならないためだそうです。 これだけのデータを処理するために、ITシステムのラック総数は何と34本、そして各ラックには32台のサーバが搭載され、プロセッサ総数は40,000、メモリ合計は104TBに達したそうです。しかも、全てのサーバが10GbEで接続されていたとのこと。 とてつもなく巨大なシステムですね。ここまで来ると小規模なスパコン
ジョエル・スポルスキー氏の「StackOverflow.com」、構成はわずか4台のPCサーバ
元マイクロソフトのプログラマで書籍「Joel on Software」などでも知られる著名なプログラマであるジョエル・スポルスキー氏が立ち上げた、プログラマ向けのQ＆Aサイト「Stack Overflow」。 月間1600万ページビュー、300万ユニークビジターのこのWebサイトがどのような構成になっているのか、Webサイト「High Scalability」の記事「Stack Overflow Architecture」に分かりやすいまとめが掲載されていました。 最大の特徴はスケールアップ型 Stack Overflowの特徴は2つあります。1つはスケールアップ型のアーキテクチャだということです。現代のマルチコア、大容量メモリ、パラレルプログラミング技術においては、スケールアップ型のアーキテクチャも重要な選択肢だと記事では説明しています。 その説明の通りStack Overflowでは、
【笠原一輝のユビキタス情報局】Intel AMTを使って、リモートからのBIOS制御やOSリカバリに挑戦
■笠原一輝のユビキタス情報局■ Intel AMTを使って、リモートからのBIOS制御やOSリカバリに挑戦 Home IT(家庭内IT)というのは聞き慣れない言葉かもしれないが、今後数年のうちにトレンドとなる言葉の1つではないかと筆者は思っている。というのも、現在多くの家庭で複数台のPCが所有されている状況になりつつある。それを後押ししているのは、ネットブックのような低価格PCの存在で、今では1人1台のPCを持つのは当たり前。それどころか、1人で複数のPCを所持するのも珍しくなくなってきている。 そうなると大変なのがPCとそれにより構成される家庭内ネットワークの管理ではないだろうか。今回は、そうしたHome ITを効率よく管理するために役立つ技術として、Intelが企業向けPCブランド「vPro」向けの技術として提供しているAMT(Active Management Technology)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
