HbaseとHadoopMR - 急がば回れ、選ぶなら近道
Hbase勉強会のまとめの延長として 今後の考え方をまとめておきます。 まずは前提として <一般論> Hbaseにかぎらず、NoSQL系一般に言えることではあるが Usecaseを意識して利用する事が必要だ、ということだと思う。 最近の傾向としては、Googleでも顕著だけど、 一定の用途をターゲットにして 特定のミドルを開発するという方法が結構多い。 Hbaseもその流れはあるので、 そのあたりは意識する必要はあるかもしれない。 Hbaseついては、注目するとすればFacebookになるかな。 http://www.cloudera.com/resource/hw10_hbase_in_production_at_facebook いずれにしても、割とうまくいっているUsecaseの情報の有用性は 他の技術よりも高いと思う。 基本的に単純に分散KVSを使いたいならHbaseにこだわる必要
SQLとHBaseの操作比較 - LunaBiblos
概要 ここではHbaseで使われるHBase Shellに関しての説明を行います。従来のSQLの処理と、それに相当するHbase Shellの書き方を並べて記述しています。 基本的にこのSQLをHBase Shellで書いたら、を解説します。 HBase Shell独自の機能はHBase独自のTable/Data操作を参照してください。 RDBが二次元構造だったのに対してHBaseは三次元構造になっている為、最初はちょっと解りにくいかも知れません。 参考:Hadoop Wiki Hbase/Shell HBase0.2のhelpの取得結果:Hbase:0.2Help RDBとHBaseの差異 全て主語は「HBase」です。 IndexはCreate文ではなくInsert文で作る Indexに相当するKeyのみが検索条件の対象と成ります。 Tableの有効無効概念があり、無効状態のT
MapReduceとHadoopとPythonとmecab - 涼風庵 楡
非常に色々と応用が利きそうで面白かったので自分用のメモ。 昔の専攻がらみで焼けぼっくいに火が付きそう。 HadoopのMapReduceとPythonとmecabを組み合わせてテキストマイニングの取っ掛かりのお話。 条件としては 分散のHadoop環境が構築できていること データノードでpythonが正常に動くこと データノードにmecabがインストールされていること。 です。 Hadoop構築はHadoopのドキュメントを参照しました。 Hadoopで動くPythonのMapReduce環境はこのblogを参照しました。 mecabはmecabの公式ドキュメントを参照しました。 環境構築の話を書くと長くなるので端折ります。 実行したmapperが以下のスクリプト mapper.py #!/usr/local/bin/python # -*- coding: utf-8 -*- impor
Hadoop実行環境をWindows上に簡単に構築する方法: TBヘッドライン
こんにちは、システム開発部のKTです。 今回は、Windows上にHadoopの実行環境を構築するためのお手軽な方法を紹介します。 Hadoopは内部でLinuxコマンドを使用しているため、本格的に使用するためにはLinux環境を準備する必要があります。一応Windows環境へのインストールも可能ですが、その場合は別途Cygwin等を使用する必要があり、いずれにしても個人ベースで行うには環境を整えるまでにある程度の手間がかかってしまいます。 そのため、「巷で話題のHadoopにちょっとだけ触れてみたい！」といった比較的軽い気持ちの人達にとっては、なかなか手を出し辛い代物になってしまっているのではないでしょうか。 ここではそんな方々のために、Windows環境に簡単簡潔にHadoopの実行環境を構築する手順を紹介します。 今回は、VMPlayerとCloudera社が公開しているVMイメージ
Hadoopの内部動作を可視化できるソフト、AcroquestがOSSとして公開
Acroquest Technologyは2012年11月9日、分散処理フレームワークのHadoopや、Hadoop上に構築する分散データベースのHBaseの内部動作を可視化するソフトウエア「halook」をオープンソースソフトウエア（OSS）として公開すると発表した。halookでは、WebブラウザからHadoopで構築したクラスター間のデータの偏りや、クラスターのタスクなどを確認できる。 Hadoopの分散ファイルシステムでは、クラスターを構成するDataNodeにデータを分散させて保存する。各クラスター内に保持しているデータは、できるだけ均等に保つことが望ましい。各クラスターに保存されているデータ量に偏りがあると、データ量が大きいクラスターに処理が集中してしまい、サーバーの台数を増やしても処理能力がスケールしない可能性があるためだ。 halookの「HDFSDataDistribut
Apache Hadoop on Windows Azureの操作例 その１ | 蒼の王座
Apache Hadoop on Windows Azure CTPのアカウントを申込すれば、この情報を使用して新しいクラスタを作成することができます。もしHdoop on Azure CTPについて詳細を知りたい場合は、このBlog記事を参照してください。 コンテンツ 新しいHadoop ジョブ用のWindows Azureクラスタの作成 サンプルの展開（Pi Estimator Hadoopジョブの作成） Word Count Hdoopジョブ作成と注意点 MapReduceジョブとHDFS管理のためHadoopノードへリモートログイン 新しいHadoop ジョブ用のWindows Azureクラスタの作成 Hadoop on Azure CTPに接続し、Windows Liveアカウントでhttp://www.hadooponazure.comにログインします。 次の情報を入力する必
W88 - Nhà cái cá cược thể thao và casino online uy tín nhất
Nhà cái W88 là một trong những nhà cái online uy tín và được yêu thích nhất hiện nay. Tại link vào W88, người chơi có thể trải nghiệm tất cả các sản phẩm cá cược trên thị trường từ cá độ thể thao, đến sòng casino qua mạng, hay những game quen thuộc như esport, xổ số lô đề, slots game…
「金融機関等コンピュータシステムの安全対策基準」（FISC 安全対策基準）に対する Azure の対応状況リストを公開 - MSDN Blogs
In Visual Studio 2022 17.10 Preview 2, we’ve introduced some UX updates and usability improvements to the Connection Manager. With these updates we provide a more seamless experience when connecting to remote systems and/or debugging failed connections. Please install the latest Preview to try it out. Read on to learn what the Connection ...
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
衛星データ処理勉強会 分散処理システムHadoop