タグ

hadoopに関するkiyo_hikoのブックマーク (24)

  • Apache HBase - Wikipedia

    Apache HBaseはオープンソースの、列指向、分散データベースであり、GoogleのBigTableをモデルとし、Javaにより書かれている。Apacheソフトウェア財団のHadoopプロジェクトの一部として開発され、HDFS (Hadoop Distributed File System)の上で実行され、Hadoopに対しBigtableのような機能を提供する。 HBaseはBigTable論文に従い圧縮、インメモリ処理の機能、および各列ごとにブルームフィルタを持っている。[2] HBaseにおけるテーブルはHadoop上のMapReduceジョブの入出力として機能し、Java APIのほか、REST、Avro、ThriftといったゲートウェイAPIを通じアクセスが可能である。 HBaseは、古典的なSQLデータベースを直接置き換えるものではないが、近年ではパフォーマンスが向上し、

  • NoSQLデータベースを試してみる 記事一覧 | gihyo.jp

    運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します⁠。個別にライセンスが設定されている記事等はそのライセンスに従います。

    NoSQLデータベースを試してみる 記事一覧 | gihyo.jp
    kiyo_hiko
    kiyo_hiko 2010/08/16
    RDBMSとSQLは面白いけど、スキーマ設計がタコだとプログラマーが苦労する。NoSQLはその辺柔軟性がありそうなので期待。
  • こっちは本物のMapReduceだ! グーグルがAppEngine-MapReduceをオープンソースで開発中

    こっちは物のMapReduceだ! グーグルがAppEngine-MapReduceをオープンソースで開発中 グーグルGoogle App Engine上でMapReduce処理を実現するオープンソースを開発中だと、先日行われたイベントGoogle I/Oで明らかにしています。プロジェクトのホームページもGoogle Code上に「appengine-mapreduce - Project Hosting on Google Code」として公開されています。 Reduce処理やJava版はこれから 1つ前の記事「グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作」では、グーグルSQLライクな命令を用いて大規模データ処理のサービスを提供することをお伝えしました。 記事でも書いたとおり、これは内部でMapReduceを使っているかど

    こっちは本物のMapReduceだ! グーグルがAppEngine-MapReduceをオープンソースで開発中
    kiyo_hiko
    kiyo_hiko 2010/06/03
    こちらは本家Googleの話。MapReduceのオープンソースが現れたですと?
  • Map/Reduce Tutorial

    このドキュメントでは、チュートリアルとして役立つことを目的に、ユーザーが触れる Hadoop Map/Reduce のすべての側面についてまとめて説明します。 Hadoop のインストールと設定が済み、すでに実行されていることを確認してください。詳細については、以下を参照してください。 Hadoop を初めて使うユーザーは、Hadoop クイックスタートを参照してください。 大規模な分散クラスタを使うユーザーは、Hadoop クラスタセットアップを参照してください。 Hadoop Map/Reduce は、どこにでもあるごく普通のハードウェアで構成した (数千ノードの) 大規模なクラスタ上で、膨大なデータ (数テラバイトのデータセット) を並列処理するアプリケーションを簡単に記述できるようにするソフトウェアフレームワークです。 通常、Map/Reduce のジョブは、入力データセットを独立

    kiyo_hiko
    kiyo_hiko 2010/02/12
    オライリーでHadoop本の訳書が出ました。その辺とも合せて読みたい。