Hadoop／HBaseの内部動作を可視化するソフトウェア「halook」をOSSで公開
Hadoop内部の負荷状況などをグラフィカルに表示するOSSツールが登場。Javaプログラム解析ツールを流用し、HTML5などを駆使して内部の挙動を可視化する Acroquest Technologyは、2012年11月9日、Hadoop／HBaseの内部動作を可視化するソフトウェア「halook」をオープンソースソフトウェアとして公開した。CDH 3u4、3u5で動作確認済み。 Hadoopは分散処理を行うため、多数のノードを連携して動作する。データの処理が多数のノード、多数のプロセスで実行されるため、処理中に問題が発生した際の調査が非常に困難とされる。halookは、Hadoopシステムにおける障害や稼働状況そのものの可視化を実現している。可視化の対象は、並列処理タスク、Region、データノード。 HDFSのクラスタノード「DataNode」のデータの偏りを可視化する「HDFS Da
Clouderaトレーニングコース受講者向けCDH4説明会でとったメモを公開しよう - #garagekidztweetz
ツイートSource: cloudera.com via garage-kid on Pinterest Clouderaトレーニングコース受講者向けCDH4説明会にお呼ばれしたので、行って参りました。 今日はそのときわたしがとったメモを公開しようと思います。 〜Clouderaトレーニングコース受講者様向けCDH4説明会 概要〜 ▼ 日時：2012年7月6日（金） ▼ 会場：ベルサール八重洲 3階ルーム４ (http://www.bellesalle.co.jp/bs_yaesu/access.html) ▼ タイトル： 進化するHadoop：CDH4とCloudera Enterprise4.0のご紹介 Cloudera のトレーニングを受けた人に対するインセンティブのようなものとして開催された催しでした。 雨の中にも関わらず、50名近い参加者があったことは正直にすごいな、とわたしは思
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
Welcome to Apache™ Hadoop™!
This is the first release of Apache Hadoop 3.4 line. It contains 2888 bug fixes, improvements and enhancements since 3.3. Users are encouraged to read the overview of major changes. For details of please check release notes and changelog. This is a release of Apache Hadoop 3.3 line. It contains 117 bug fixes, improvements and enhancements since 3.3.5. Users of Apache Hadoop 3.3.5 and earlier shoul
分散ファイルシステムを試す(基礎編)
カテゴリー DX (2) 一般 (59) 研究会 (6) 働き方 (4) 技術 (352) Edge AI (2) Edge Computing (13) Erlang (1) FIWARE (2) Fog Computing (10) Infiniband (31) Internet of Things (32) Key Value Store (17) Linux (3) Linux KVM (10) Machine Learning (5) RealTime Web (14) SRE (3) Webサービス (42) インフラ (8) コンテナ (4) ストレージ (93) データセンター (7) データベース (47) データ流通 (6) テレプレゼンス (2) ネットワーク (215) 仮想化 (111) 災害コミュニケーション (26) 空間情報 (30) 量子コンピューティン
チームラボ / teamLab
森ビル デジタルアート ミュージアム：エプソン チームラボボーダレス Feb 09, 2024 - 麻布台ヒルズ、東京 NOW OPEN
GlusterFSでクラスタFSを作る
INSANEWORKS,LLC What You Need Is What You Get!! Hostname: 133.242.243.6 IP Addr: 133.242.243.6 Kotaです。 Linuxクラスタ上のファイルシステムはGFS/ocfs/Cephやら色々出てて正直どれを使っていいか、、と、ざっくり調べた所かいつまむとこんな感じのようです。 GFSはFC-SAN有りの大規模向け OCFSは歴史ありだがKernelにMergeされていない Cephははじまったばっか pNFSはNFSベースだけど実績不明 みたいなところです。 で、先日ひょんなとこからGlusterFSを知りました。 GlusterFSはBlockDeviceではなく、UserLandで動作するFSベースの分散ファイルシステムです。 自動復帰、ミラーリング/ストライピング 結論から言うとファイルの配布や
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer