Hadoop、セキュリティ強化でKerberos実装中
Hadoopには現在、企業などで利用する際にはセキュリティ面での不安があり、そのための改良に取り組んでいます。Yahoo!のHadoop Developmentチームに所属するOwen O'Malley氏による、現在どのような仕組みでHadoopのセキュリティを強化しようとしているのかを説明するプレゼンテーションが「Hadoop User Group March Meeting Recap」のページで公開されています。 Kerberosでシングルサインオンを実現 プレゼンテーションの主なポイントを紹介します。 今回の主たる目的は、「認証されていないユーザーがHDFSにアクセスできないようにすること」となっています。 現在のHadoopには、NameNodeやJobTracker、DataNodeなどでのユーザー認証がないことがセキュリティ上の課題になっていると指摘。
blog.katsuma.tv
前回、JavaScriptでMap Reduceのコードが書けるHadoop Streamingについて紹介しました。 標準入出力さえサポートされてあれば、任意のコードでMap Reduuceの処理が書ける、というものでしたが、エンジニアはそもそも面倒くさがり。コードも書くのも面倒です。 と、いうわけで、今回はもうコードすら書かずにSQLライクでMap ReduceできるHiveというプロダクトについて、まとめたいと思います。 Hive Hiveとは、簡単に言うとHadoop上で動作するRDBのようなものです。 HDFSなどの分散ファイルシステム上に存在するデータに対して、HiveQLというSQLライクな言語で操作できます。 で、面白いのがHiveQLの操作は基本的にMap Reduceのラッパーになっていること。 要するに、SELECT文実行すると裏でMap&Reduceのタスクが走り出
blog.katsuma.tv
久々のBlog更新、というわけでリハビリがてらJavaScriptで軽く遊んでみたいと思います。 いま、巷で流行ってるMapReduceのオープンソース実装Hadoopは「Hadoop Streaming」という標準入出力でデータのやりとりができる仕組みを使って、 Hadoopの実装言語であるJavaにとらわれず、RubyやPerlなど他の言語でもMap＋Reduceの処理ができることが１つのウリになっています。 で、僕たちwebエンジニアはみんなJavaScript大好きなので、「JavaScriptでもMap Reduceやりたい！」という流れになるのは必然です。 そこで、試行錯誤でいろいろ試してみると割とさっくり出来たのでそのメモを残しておきたいと思います。 環境の整備 Mac OSX上のVMWare FusionにCentOSの仮想マシンを２台立ち上げて、環境セットアップしました。
Littel-hadoop
私たちリッテルは、Google化時代の切り札、Hadoop(ハドゥープ)技術を活かして、大規模データの収集や処理を高速、安価に実現。大規模分散処理プラットフォームの構築支援を行います。 勝間和代さんが、『効率が10倍アップする新・知的生産術』 というベストセラーをだされましたが、その本に 『―自分をグーグル化する方法』というサブタイトルがありました。 どれだけ情報を無駄なく、効率よく出し入れできるか？ どれだけ有効に情報を抽出し明日の業績につなげるか？ といった内容の本です。 そこで、会社そのものを『google化する方法』を考えてみませんか？ Webアプリケーション、例えばEコマースなどでは、アクセスデータだけでなく、 男女・年齢など顧客データや、購買履歴、時間、商品、回数などの購買状況など、 日々蓄積される膨大なデータやログが集積されていることでしょう。 大量のデータはあって
へ〜たのめも:Hadoop と RDBMS の性能を比較してみた。という論文。の感想。の翻訳。 - livedoor Blog（ブログ）
2009年04月19日 Hadoop と RDBMS の性能を比較してみた。という論文。の感想。の翻訳。 Stonebraker, DeWitt, et al. compare MapReduce to DBMS Map-Reduce (Hadoop)と Parallel DBMS (Vertica と DBMS-X) の性能を比較したところ、おおむね DB の方が性能がよく、ケースによっては 6.5倍も性能差があるという実験結果が、SIGMOD09 で発表されたらしい。原論文はここから PDF でダウンロードできる。 以下は DBMS2 というブログに書かれた、この論文を読んだ人の感想の翻訳。 Stonebraker, DeWitt, et al. MapReduce と DBMS の比較 5人の共著者(主筆者は Andy Pavlo っぽい)とともに、Map-Reduce 嫌いで知られ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Blogger
