グーグルが構築した大規模システムの現実、そしてデザインパターン（1）～MapReduce編
グーグルが「Evolution and Future Directions of Large-Scale Storage and Computation Systems at Google」（グーグルにおける、大規模ストレージとコンピュテーションの進化と将来の方向性）という講演を、6月に行われたACM（米国計算機学会）主催のクラウドコンピューティングのシンポジウム「ACM Symposium on Cloud Computing 2010」で行っています。 グーグルはどのようにして大規模分散システムを構築してきたのか、そして、そこからどのようなことを学んだのかが語られていますし、後半では大規模分散システムのデザインパターンという、非常に興味深いノウハウも公開している、非常に情報量の多い講演です。 その講演の内容を、全部で4つの記事、MapReduce編、BigTable編、教訓編、デザイン
行列分解ライブラリredsvdを公開しました - DO++
大規模疎行列向けの行列分解ライブラリredsvdを公開しました． redsvd 大規模疎行列向けの特異値分解や主成分分析，固有値分解を行うライブラリredsvdを公開しました． 修正BSDライセンスで公開しており，コマンドラインから使える他，C++ライブラリが用意されています． 例えば，行と列数がそれぞれ10万，非零の要素が1000万からなる疎行列に対する上位20位までの特異値分解を約2秒で処理します． 特異値分解とか，使っている技術の詳細とか応用事例を以下に簡単に紹介しましたので，興味のある方は参考にしてください． 特異値分解とは まず行列を適当に復習します．行列Xの転置をX^tと表すことにします．またIを単位行列とし，Oを全ての成分が0である零行列とします．また，行列XX^t=IであるようなXを直交行列と呼びます．Xが直交行列の時，Xvはベクトルvを長さを変えずに回転させます．ここでは
- MYCOM BOOKS - プログラミングコンテストチャレンジブック
■内容紹介 現在、プログラミングコンテストは数多く開催されています。Google Code Jam、TopCoder、ACM/ICPCなどの名前を聞いたことがある人も少なくないでしょう。本書で扱うのはそれらのような、問題を正確にできるだけ多く解くことを競うプログラミングコンテストです。 プログラミングコンテストは気軽に参加することができます。例えば、Google Code JamやTopCoderはインターネット経由でコンテストが行われるので、Webサイトでの登録を済ませ、決まった時間にコンピュータの前に居れば参加することができます。 しかし、プログラミングコンテストの世界は非常に奥が深く、経験を積んだプログラマーであっても良い成績を残すことは容易ではありません。プログラミングコンテストで勝つには、柔軟な発想力と幅広い知識を用いて問題を解くアルゴリズムを考え、それらを正確に実装しデバッ
プログラミングコンテストの本を書きました - iwiwiの日記
id:wata_orz や kita_masa と少しずつ書いていたプログラミングコンテストの本がようやく完成し，発売間近となりました． http://book.mycom.co.jp/book/978-4-8399-3199-5/978-4-8399-3199-5.shtml Google Code Jam，TopCoder，ICPC, 情報オリンピックなどのような，問題を解くプログラミングコンテストの，特にアルゴリズムに関する話題に焦点を絞った本です．全探索や動的計画法などの基礎的な部分から始まりますが，ネットワークフローや数論などのレベルの高い話題まで扱っており，幅広いレベルの人に楽しんでもらえると思います． また，アルゴリズムの解説だけでなく，章の中で POJ (PKU Judge Online) の問題を扱い，章末で Google Code Jam の問題を扱っています．特に，P
第1回 機械学習 ことはじめ | gihyo.jp
次のサービスや製品はどれも身近にありますが、これらに共通していることはなんでしょう。 Amazonの「この商品を買った人はこんな商品も買っています」 はてなブックマークの「関連エントリー」 Google 翻訳 Google 日本語入力 メールクライアントのスパムフィルタ デジタルカメラの自動顔認識 ニンテンドーDSの手書き文字認識 買い物履歴、ユーザが書いたコメントやタグ、Webに無数にあるページ、メール、画像や動画と対象はそれぞれ異なっていますが、どれも「データから有益な情報を取り出す」ということを行っています。 これらは「機械学習」という技術を使って実現されているのです。 機械学習の応用範囲 機械学習は冒頭で挙げた以外にも、様々な分野で使われています。 例えば、ノイズ除去や特徴の抽出を目的とした利用パターンがあります。音声認識や画像認識、文字認識（OCR）などはその代表格です。それらも
Sorting algorithms: quite boring until you add sound effects - Geek.com
This site may earn affiliate commissions from the links on this page. Terms of use. Anyone who has ever done a programming course or tried to learn to code out of a book will have come across sorting algorithms. Bubble, heap, merge, there’s a long list of these methods of sorting data. The subject matter is fairly dry. Thankfully someone has found a way to not only make sorting more interesting, b
ridiculous_fish » Blog Archive » The Treacherous Optimization
Old age and treachery will beat youth and skill every time. "I’m going to beat grep by thirty percent!" I confidently crow to anyone who would listen, those foolish enough to enter my office. And my girlfriend too, who’s contractually obligated to pay attention to everything I say. See, I was working on Hex Fiend, and searching was dog slow. But Hex Fiend is supposed to be fast, and I want blazing
why GNU grep is fast
Mike Haertel mike at ducky.net Sat Aug 21 03:00:30 UTC 2010 Previous message: Latest intr problems Next message: why GNU grep is fast Messages sorted by: [ date ] [ thread ] [ subject ] [ author ] Hi Gabor, I am the original author of GNU grep. I am also a FreeBSD user, although I live on -stable (and older) and rarely pay attention to -current. However, while searching the -current mailing list f
【レポート】GNU grepが高速な理由 | エンタープライズ | マイコミジャーナル
FreeBSD - The Power To Serve why GNU grep is fast (なぜGNU grepは高速なのか)といったタイトルの興味深いメールがFreeBSD開発者メーリングリストに投函された。メールを出したのはGNU grepのオリジナル開発者であるMike Haertel氏。Mike Haertel氏はFreeBSDユーザでもあり、FreeBSD開発者メーリングリストで興味深いやりとりがあったため、このメールを流したとしている。Mike Haertel氏の紹介する内容はgrep(1)の実装のみならず、高速な文字列処理を実現するひとつの方法として参考になる。紹介されているGNU grep高速さの秘訣は次のとおり。 GNU grepは入力バイトのすべてをチェックするようなことは避けている。 GNU grepはバイトごとに適用する操作を極力最小限に減らしている。 G
コンピュータ将棋協会blog » 遅延評価とアルファベータ枝刈り
少し前にFPGAで将棋プログラムを作ってみるブログにて、たらいまわし関数が採り上げられていました。最近ときどき話題にのぼるたらいまわし関数ですが、激指のY山さんのような並列処理のテストよりも、関数型言語による遅延評価やラムダ式の説明などで見かけることが多そうです。ブログ記事でもLispの話は出てきますけれど。 たらいまわし関数に遅延評価(lazy evaluation)を適用すると、 if ( x <= y ) return y; return tarai(tarai(x-1,y,z), tarai(y-1,z,x), tarai(z-1,x,y)); x <= yのときは、zの値にかかわらず関数の値が決まるので、実はzの計算は省略することができます。このような展開がありうることを見越して、真にその値が必要になるまでzの計算を遅らせることで、できるだけ省いてしまおう、というのが遅延評価の考
FPGAで将棋プログラムを作ってみるブログ:たらいまわし関数の恐怖 - livedoor Blog（ブログ）
激指のY山さんのブログに激指の並列化の実験にtak関数を使った、との 記述があったので、なんだろう、と調べてみたら なんと竹内先生が1976年に再帰のベンチマークとして考案された関数、とのことです。 こんなところで竹内先生の名前が出てきてびっくり。 で、関数はいたってシンプル。 int tarai(int x,int y, int z) { if ( x <= y ) return y; return tarai( tarai(x-1,y,z), tarai(y-1,z,x), tarai(z-1,x,y) ); } これだけです。 なんだこりゃ、という感じ。 再帰関数なのですが、それが引数の中に3つも入っている、という危険な構造です。 何をやってるか分からなかったのですが、ぐぐると この関数に意味はないそうです（おいおい）。 次にちゃんとこれって終了するのかな？という疑問。 ということで
比例配分 | いま聞きたいQ&A | man@bowまなぼう
今回の質問は、証券取引所の価格決定に関するものですね。最近は新規公開市場が活況で、新規公開株が上場後数日間というものストップ高まで急騰するケースが多く見られます。 通常、証券取引所での価格決定は「個別競争売買」の原則に基づいて行われています。売りに関しては値段の低いものが優先され、買いに関しては値段の高いものが優先されます。有名な「価格優先の原則」の原則です。もうひとつ、同じ値段同士なら早い方が優先されるという「時間優先の原則」も重要です。 そして売買方法としては、「板寄せ（いたよせ）方式」と「ザラバ方式」の2種類の方式が使われています。板寄せ方式は一日のうち、前場の寄り付き、前場の引け値、後場の寄り付き、後場の引け値の計4回で用いられます。これに対してザラバ方式は、寄り付きと引けの間のいわゆる「ザラバ」で使われる値決め方式です。 質問にある「比例配分」とは、株価が制限値幅いっぱいのストッ
Minimax - Wikipedia, the free encyclopedia
This article is about the decision theory concept. For other uses, see Minimax (disambiguation). Minimax (sometimes Minmax, MM[1] or saddle point[2]) is a decision rule used in artificial intelligence, decision theory, combinatorial game theory, statistics, and philosophy for minimizing the possible loss for a worst case (maximum loss) scenario. When dealing with gains, it is referred to as "maxim
アルファ・ベータ法 - Wikipedia
アルファ・ベータ法（アルファ・ベータほう、alpha-beta pruning）は完全情報ゲームにおける探索アルゴリズムの1つである。基本的にミニマックス法と同じであり、同じ計算結果が得られるが、ゲーム木において、計算しなくても同じ計算結果になる部分を枝刈りしている。 アルファ・ベータ法の擬似コードを以下に示す。alphabeta関数がアルゴリズムの実装であり、minimax関数はミニマックス法とインタフェースを揃えるためのラッパーである。 function minimax(node, depth) return alphabeta(node, depth, -∞, +∞) function alphabeta(node, depth, α, β) if node が終端ノード or depth = 0 return node の評価値 if node が自分のノード foreach ch
最短経路問題 - Wikipedia
グラフ理論における最短経路問題（さいたんけいろもんだい、英: shortest path problem）とは、重み付きグラフの与えられた2つのノード間を結ぶ経路の中で、重みが最小の経路を求める最適化問題である。 2頂点対最短経路問題 特定の2つのノード間の最短経路問題。一般的に単一始点最短経路問題のアルゴリズムを使用する。 単一始点最短経路問題 (SSSP：Single Source Shortest Path) 特定の1つのノードから他の全ノードとの間の最短経路問題。この問題を解くアルゴリズムとしては、ダイクストラ法やベルマン-フォード法がよく知られている。 全点対最短経路問題 (APSP : All Pair Shortest Path) グラフ内のあらゆる2ノードの組み合わせについての最短経路問題。この問題を解くアルゴリズムとしては、ワーシャル-フロイド法が知られている。 このよう
Introduction to Algorithms: Shortest Paths
例えば．．． あなたの家の最寄り駅から四ッ谷駅までの鉄道の最短時間(もしくは最安)ルート を求める(駅すぱあと参照） カーナビを使って現在地から目的地までの最短経路を調べる 単純なアルゴリズム 出発地点から目的地までの全ての経路を調べる 経路の中で, 距離や料金が最も小さいものを選ぶ とても簡単, コンピュータを使わなくてもできる でも，目的地までの経路の総数が非常に多い場合には？？？ 効率的なアルゴリズムが必要
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp: プログラミングコンテストチャレンジブック: 秋葉拓哉, 岩田陽一, 北川宜稔: 本
Metropolis light transport - Wikipedia
open-supercomputer.org
サービス終了のお知らせ