タグ

researchとhpcに関するniamのブックマーク (7)

  • サンのクラウドは、Amazon EC2とどう違うのか? - @IT

    2009/06/02 サン・マイクロシステムズが2009年夏にも提供を開始するクラウドサービス「Sun Cloud」の概要が見えてきた。同社のクラウドサービスはOpenSolarisベースの仮想環境で、Amazon EC2/S3に相当するサービスを提供するものだ。計算リソース(OSやアプリケーションなどのソフトウェア実行環境)を提供する「Sun Cloud Compute Service」とストレージサービスの「Sun Cloud Storage Service」で構成する。 価格などまだ不明な点は多いが、技術情報は徐々に出てきている。例えばストレージサービスに関してはWebDAVやAmazon S3互換のRESTful APIでアクセスできることが明らかにされているほか、APIのドキュメントやJavaで書かれた管理コンソール、PythonRuby向けのライブラリが公開されている。スクリ

  • SSD耐久テスト

    2008.11.18 SSDが壊れてしまった。 初めて見たメッセージだ。XPにこんな機能があるとは知らなかった。エクスプローラーでエラーチェックするよう指示が表示されるが、FILE0006.CHKといったファイルが書き込まれるから、更に酷くなるような……。 プログラムそのものも正常に動作しなくなっている。突然意味不明なDLLを要求したり、勝手にフォントが変わってしまったり、ドライブを認識できなくなったりと、プログラムが改変されてしまったような危険な動きを見せる。 HDDの感覚で考えれば、移動させていないプログラムには影響しないと思ってしまうかもしれないが、SSDでは新たに書き込んだ部分だけでなく、このように移動も更新もしていないファイルにも影響を与える。例えば16GB SSDの前半8GBに何かインストールし、空いている後半8GBで読み書きしているつもりでも、実際には全体が均等に書

  • mixi Engineers’ Blog » 圧縮データベースを使おう

    チャリンコ通勤による滝のような汗で、朝からTシャツがシースルーになってしまうmikioです。さて今回は、Tokyo Cabinet(TC)のデータベースを各種のアルゴリズムで圧縮して利用する方法についてご紹介します。 圧縮B+木 B+木とは、比較関数の値による順序が近いレコード群を単一のページにまとめ、各ページにB木(multiway balanced treeの略であり、二分木(binary tree)とは違います)の索引を張ったものです。理論的にはレコードの探索も更新も O(log n) の時間計算量で行え、内部ノード(B木)の操作をキャッシュすると実質的には O(1) の時間計算量で探索や更新が行えるという、かなり安定した性能を備えるデータ構造です。その上、レコードが一定の順序に基づいて並べられているので、数値の範囲検索や文字列の前方一致検索が高速に行えたり、カーソルによって順序に基

    mixi Engineers’ Blog » 圧縮データベースを使おう
  • B木 - naoyaのはてなダイアリー

    昨年から続いているアルゴリズムイントロダクション輪講も、早いもので次は18章です。18章のテーマはB木(B Tree, Bツリー) です。B木はマルチウェイ平衡木(多分木による平衡木)で、データベースやファイルシステムなどでも良く使われる重要なデータ構造です。B木は一つの木の頂点にぶら下がる枝の数の下限と上限を設けた上、常に平衡木であることを制約としたデータ構造になります。 輪講の予習がてら、B木を Python で実装してみました。ソースコードを最後に掲載します。以下は B木に関する考察です。 B木がなぜ重要なのか B木が重要なのは、B木(の変種であるB+木*1など)が二次記憶装置上で効率良く操作できるように設計されたデータ構造だからです。データベースを利用するウェブアプリケーションなど、二次記憶(ハードディスク)上の大量のデータを扱うソフトウェアを運用した経験がある方なら、いかにディ

    B木 - naoyaのはてなダイアリー
  • グーグル、自社設計のサーバを初公開--データセンターに見る効率化へのこだわり - CNET Japan

    カリフォルニア州マウンテンビュー発--Googleは、自社のコンピューティングの運用については多くを語らない。しかしGoogleは米国時間4月1日、当地で行われた、注目度が高まっているデータセンターの効率性に関するカンファレンスで、そのインターネットの力の中枢にあるハードウェアを初めて公開した。 ほとんどの企業は、DellやHewlett-Packard(HP)、IBM、Sun Microsystemsのような企業からサーバを購入している。しかしGoogleは、何十万台ものサーバを保有していて、そのサーバを稼働させることが自社の中心的な専門技術の一部だと考えており、自社独自のサーバを設計および構築している。Googleのサーバの多くを設計したBen Jai氏は、高度な技術を持つ、非常に熱心な聴衆の目の前で、現在のGoogleサーバを公開した。 Googleサーバで非常に驚くのは、サーバ1台

    グーグル、自社設計のサーバを初公開--データセンターに見る効率化へのこだわり - CNET Japan
  • IBM Developer

    IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.

    IBM Developer
  • Second Garage - 東大情報基盤センターの最適化マニュアルが秀逸な件

    _ [Programming]東大情報基盤センターの最適化マニュアルが秀逸な件 これは、良いテキストだ。 分量も多すぎず少なすぎない。 高性能プログラミング(I)入門編 http://www.cc.u-tokyo.ac.jp/publication/news/VOL10/No4/200807tuning.pdf 高性能プログラミング(II)上級編 http://www.cc.u-tokyo.ac.jp/publication/news/VOL10/No5/200809tuning.pdf

    niam
    niam 2009/03/22
    これはとてもよいまとめ。
  • 1