Flood fill - Wikipedia
fn fill(x, y): if not Inside(x, y) then return let s = new empty stack or queue Add (x, y) to s while s is not empty: Remove an (x, y) from s let lx = x while Inside(lx - 1, y): Set(lx - 1, y) lx = lx - 1 while Inside(x, y): Set(x, y) x = x + 1 scan(lx, x - 1, y + 1, s) scan(lx, x - 1, y - 1, s) fn scan(lx, rx, y, s): let span_added = false for x in lx .. rx: if not Inside(x, y): span_added = fals
Welcome to Hadoop MapReduce!
Hadoop MapReduce は、大規模な計算ノード・クラスタ上において膨大なデータを高速で並列処理するアプリケーションを作成するためのプログラミングモデルおよびソフトウェアフレームワークです。 スタートガイド 以下のことから始めるとよいでしょう。 ドキュメントを読んで MapReduce について知る。 リリースページから Hadoop をダウンロードする。 MapReduce に関する講義を見る。 MapReduce についてメーリングリストで議論する。 Hadoop MapReduce は Apache Software Foundation の下で進められているボランティアによるオープンソースプロジェクトです。どのようなプロジェクトか理解して興味を持ったら、あなたが持っている優れた知識をぜひプロジェクトのために役立ててください。そのための方法をいくつか以下に示します。 プロジェ
Apache HBase - Wikipedia
Apache HBaseはオープンソースの、列指向、分散データベースであり、GoogleのBigTableをモデルとし、Javaにより書かれている。Apacheソフトウェア財団のHadoopプロジェクトの一部として開発され、HDFS (Hadoop Distributed File System)の上で実行され、Hadoopに対しBigtableのような機能を提供する。 HBaseはBigTable論文に従い圧縮、インメモリ処理の機能、および各列ごとにブルームフィルタを持っている。[2] HBaseにおけるテーブルはHadoop上のMapReduceジョブの入出力として機能し、Java APIのほか、REST、Avro、ThriftといったゲートウェイAPIを通じアクセスが可能である。 HBaseは、古典的なSQLデータベースを直接置き換えるものではないが、近年ではパフォーマンスが向上し、
クックパッドのデータ処理、たった5万円：日経ビジネスオンライン
気になる記事をスクラップできます。保存した記事は、マイページでスマホ、タブレットからでもご確認頂けます。※会員限定 無料会員登録 詳細 ｜ ログイン 月間ユニークユーザー数、884万人、月間ページビュー数、4億6000万（2010年3月）を誇る国内ナンバーワンの料理レシピの投稿・検索サイト「クックパッド」。 日常的に料理をする人はもちろんのこと、たまにしか包丁を握らない人でもクックパッドのウェブサイトを一度は訪れたことがあるのではないか。 2ちゃんねるやTwitterを凌駕する それくらい、クックパッドはレシピの投稿・検索サイトとして不動の地位を築いているように思える。なにしろ、母の日とカミサンの誕生日くらいしか、料理をしない筆者でさえも、クックパッドは何度かのぞき、お世話になったことがあるくらいだ。 ページビュー数の比較でいえば、この4億6000万という数字は、2ちゃんねるや今流行りのT
Google File System - Wikipedia
This article needs additional citations for verification. Please help improve this article by adding citations to reliable sources. Unsourced material may be challenged and removed. Find sources: "Google File System" – news · newspapers · books · scholar · JSTOR (July 2016) (Learn how and when to remove this message) Google File System (GFS or GoogleFS, not to be confused with the GFS Linux file s
Bigtable - Wikipedia
Bigtable（ビッグテーブル）とは、Googleの大規模なサーバ上の大量のデータを管理するために設計された、データ圧縮機能を持つ高性能なNoSQL型のプロプライエタリのデータストレージシステムである。Google File System、分散ロックマネージャの1種であるChubby Lock Service、SSTable（LevelDB（英語版）に似たログ構造化ストレージ）、その他のいくつかのGoogleの技術を活用して構築されている。2015年5月6日、パブリックバージョンのBigtableが、Google Cloud Platformのサービスの1つとして公開された。BigtableはGoogle Cloud Datastoreのバックエンドとしても利用されている[1][2]。 歴史[編集] 2004年から開発が始まり[3]、2006年には設計が論文として公開された[4]。 Ma
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。 これまでの連載 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思わ
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
総務省統計研修所/統計図書館・統計相談の案内
統計図書館・統計相談 統計について調べたいことがある方は、 統計図書館をご利用ください。 〒１６２−８６６８ 東京都新宿区若松町１９−１ 総務省統計局1階 [利用時間] 午前９時３０分〜午後５時００分 [休館日] 土・日曜日、国民の祝日、休日及び年末・年始 [統計図書館のご案内] 交通案内 閲覧室 電話０３−５２７３−１１３２ 統計相談室 電話０３−５２７３−１１３３ １ 統計図書館（国立国会図書館支部総務省統計図書館） 統計図書館は、総務省統計局のほか、国の機関、地方公共団体、民間団体等の統計関係資料及び 諸外国の統計書並びに我が国の歴史的な統計古資料等を所蔵している統計専門の図書館です。当館で は、これらの書誌情報をデータベース化しており、所蔵の書籍を即座に検索することができます。 ☆ 職員以外の方は、『資料閲覧申込書』に所定の事項
日本のブラウザシェア率
Sorry, JavaScript is required to view Global Stats charts.
最先端の実験は必然的に大規模化する - 武蔵野日記
大規模テキストデータ(もう昨今 GB 単位はそんな大規模ではなく、TB 単位以上)を対象とした研究をしている自分が言うのもなんだが、そもそも自然言語処理の研究ってそんなに大規模化する必要はないし、データ量を増やしたからといってそんなに劇的に精度が変わったりするわけではない(むしろ扱いに独特なコツが必要なので、うかつに手は出さないほうがいい)、と思っているのだが、なんでみんな大規模化したがるのかなぁ、と不思議だった疑問に得心がいった。 もちろん増やしたデータ量に対し log スケールで改善する、というような微弱な改善効果はあるのだが、そんなことよりはアルゴリズムを変えたり、用いるデータの質を上げたり、もしくは使う素性を工夫したり、はたまた全部同じだけどパラメータだけチューニングしたりするほうが大幅に精度に影響したりするのは世の常である。 で、今晩見た爆問学問で、先週の情熱大陸と同じくノーベル
Hadoop Streaming - naoyaのはてなダイアリー
id:naoya:20080511:1210506301 のエントリのコメント欄で kzk さんに教えていただいた Hadoop Streaming を試しています。 Hadoop はオープンソースの MapReduce + 分散ファイルシステムです。Java で作られています。Yahoo! Inc のバックエンドや、Facebook、Amazon.com などでも利用されているとのことです。詳しくは http://codezine.jp/a/article/aid/2448.aspx (kzk さんによる連載記事)を参照してください。 Hadoop Streaming 記事にもあります通り、Hadoop 拡張の Hadoop Streaming を使うと標準入出力を介するプログラムを記述するだけで、Hadoop による MapReduce を利用することができます。つまり、Java 以外
zsh-gitを導入した - 筆者は病気シリーズ
Systemgitのstatusをzshで表示できるzsh-gitってのがあったので，早速導入してみた．promptの見た目がカッコ悪いので，直してみた．1行目にユーザー名，カレントディレクトリ，ブランチ，番号が，2行目にgitのステータスが書かれている．ちなみに2行目の+が追加したファイルがあるか，!が変更したファイルがあるか，?がgit管理下にないファイルがあるかをそれぞれ表している．git作業ディレクトリ外に出ると，こんな．俺のpromptはこんな感じ．ちなみにid:hakobe932さんのテーマを改造した． # byoki prompt theme autoload -U zgitinit zgitinit prompt_h932_help () { cat 'EOF' prompt h932 EOF } typeset -A colorcode colorcode[black]
PoweredBy - HADOOP2 - Apache Software Foundation
Powered by Apache HadoopThis page documents an alphabetical list of institutions that are using Apache Hadoop for educational or production uses. Companies that offer services on or based around Hadoop are listed in Commercial Support. Please include details about your cluster hardware and size. Entries without this may be mistaken for spam references and deleted._ _ To add entries you need write
OBB vs AABB - Radium Software Development
iPhoneの一般修理店は予約なしでも来店できる？ 基本的には飛び込みで修理に行ってもOK iPhoneを置いていたソファにうっかりと腰かけてしまい、パネルを割ってしまった、こんな時はスマホの一般修理店へ行きましょう。画面割れは、スマホやタブレットの故障原因として非常に多いものです。予約なしで突然お店に行っても平気かしらと、不安に思う方々もいらっしゃるかもしれません。結論としては特に問題はなく、予約なしで訪問しても画面割れの修理はお願いできます。 ただし他のサービス業のお店同様、予約なしの場合、お店が混雑していると順番待ちをしなければいけないです。特に繁盛しているスマホ修理のお店だと、行列が店内で出来ており、予約なしだと、自分の順番が巡ってくるまで長時間待たされる可能性があります。平日の朝、昼なら利用客が少ない場合が多く、飛び込みでも比較スムーズに修理が頼めます。 予約は入れた方が時短に、
Thread Base MapReduce - moratorium
Thread Base MapReduce 2007-01-09 (Tue) 0:29 Uncategorized 並列計算フレームワークを作っている人を見てたら自分もなんか作りたくなって来たので、スレッドベースでGoogleのMapReduceを真似て見ました。1マシン用のMapReduceといった所ですかね。 以下にソースコードが有ります。適当に煮るなり焼くなりしてください。 ソースコード ワードカウントが以下のようなコードで記述できます。 [code] class WordCounter : public Mapper { public: virtual void Map(const MapInput& input) { string text = input.value(); istringstream iss(text); string word; while
MapReduce - naoyaのはてなダイアリー
"MapReduce" は Google のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。 MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。 MapReduce の計算モデル map() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
With Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer | TechCrunch
With Hadoop, Amazon Adds A Web-Scale Data Processing Engine To Its Cloud Computer Slowly but surely, Amazon keeps adding capabilities to its cloud computing services. What started out as pay-by-the-drink storage (S3) and computational processing (EC2), now includes a simple database (SimpleDB), a content delivery network (CloudFront), and computer-to-computer messaging (SQS). And today Amazon adde
幅優先探索 - Wikipedia
ドイツの都市間の接続を示した例 フランクフルトから幅優先検索を行った場合にできる木構造 幅優先探索（はばゆうせんたんさく、英: breadth first search）はグラフ理論(Graph theory)において木構造(tree structure)やグラフ(graph)の探索に用いられるアルゴリズム。アルゴリズムは根ノードで始まり隣接した全てのノードを探索する。それからこれらの最も近いノードのそれぞれに対して同様のことを繰り返して探索対象ノードをみつける。「横型探索」とも言われる。 幅優先探索は解を探すために、グラフの全てのノードを網羅的に展開・検査する。最良優先探索とは異なり、ノード探索にヒューリスティクスを使わずに、グラフ全体を目的のノードがみつかるまで、目的のノードに接近しているかどうかなどは考慮せず探索する。 アルゴリズム[編集] 根ノードを空のキューに加える。 ノードをキ
GPGPUによるパーソナルスーパーコンピュータの可能性
Lisp Meet Up #19, cl-cuda: a library to use NVIDIA CUDA in Common Lisp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
複数マシンへHadoopをインストールする
Hadoopのインストールとサンプルプログラムの実行
Hadoopのインストールとサンプルプログラムの実行
Google基盤ソフトウェアのオープンソースクローンを使ってみる一覧
Hadoop、hBaseで構築する大規模分散データ処理システム
Big Data Platform - Amazon EMR - AWS
サービス終了のお知らせ