AsakusaFW バイナリーファイル操作 - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 Hadoopは基本的にテキストファイルを扱うようになっている。バイナリーデータを使いたければSequenceFileを使うのが一番簡単だと思う。 InputFormatやRecordReaderやInputSplitを独自実装すればバイナリーファイルを読み込めるだろうけど、面倒だわな＾＾； で、Asakusa FrameworkにはBinaryStreamFormatというクラスがあり、これを継承したクラスを作ることでバイナリーファイルを扱うことが出来る。実装しなければならない部分はあるけれど、素のHadoopよりは簡単な気がする。 その実装も、主な部分はバイナリーデータとAsakusaFWのデータモデルの各プロパティーとの移送部分のコーディングなので、少々面倒ではあるが
第2回Asakusaソースコードリーディングのメモ - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 Asakusaソースコードリーディング（第二回）、ThunderGate編のメモです。 資料： ThunderGate Togetter：Asakusaソースコードリーディング（第二回） ThunderGateはHDFSと外部のRDB（今のところはMySQL）とのデータ転送を行う部分。Asakusaフレームワークが「トランザクションをサポート」と言っているのは、ThunderGateにかかっている。 やはりHadoopを使う上ではHDFSと外部とのデータ配信がひとつのポイントになるので、重要。 説明してくださったのは、ThunderGateのアーキテクチャー設計者の埋金さん。 テレメータ（社会インフラ）の開発だとか、RDBでHAクラスターを組んだりとか、UMLaut/J-
第2回 言語、運用監視機能、テスト環境まで用意
分散処理ミドルウエアの「Hadoop」を基幹バッチ処理に適用するためのフレームワーク「Asakusa」。第2回では、その構成要素を紹介しよう。 Asakusaは、MapReduceアプリケーションの入出力データのクラスファイルを生成する「Model Generator」、独自のDSL（Domain Specific Language）用コンパイラである「Ashigel Compiler」、実行ライブラリの「Rumtime Library」、データ入出力管理フレームワークの「ThunderGate（雷門）」という四つを提供している。 まず、ThunderGate以外の三つについて紹介しよう（図1）。 Model Generator Model Generatorは、開発者が定義した、MapReduceアプリケーションの入出力データ形式をインプットとし、Hadoop独自の「Writable」と
Asakusa Enterprise Batch Processing Framework for Hadoop
Asakusa Enterprise Batch Processing Framework for Hadoop Hadoop Japan Conference 2011-2-22Read less
ノーチラス、Hadoop用基幹バッチフレームワーク「Asakusa」の商用サポート開始
ノーチラス・テクノロジーズは2011年10月3日、オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」を使って基幹系バッチ処理システムを開発するためのフレームワーク「Asakusa Framework」の商用サポートサービスを開始した。安定バージョンに関しては、サポートを5年間提供する。同社は10月3日に、イーシー・ワンから社名変更した。 Asakusaは、OSSとして公開している。商用サポートサービスとして、Asakusaの技術的な問い合わせに回答したり、パッチを開発したりする「Asakusa Enterprise Support」のほか、ユーザー企業やシステムインテグレーター向けの開発支援サービス「Asakusa Framework Technical Support」などを有償で提供する。 Asakusaの安定バージョンは、リリースから5年間の商用サポートを提供
ウルシステムズのHadoopフレームワーク「Asakusa」
企業ITに携わる人々の間で、Hadoopに対する関心が急速に高まっている。Hadoopとは、米Googleが発表した論文のアイデアから生まれた、オープンソースの分散処理基盤ソフトウェアである。大量のデータを、比較的安価なサーバを多数並べたクラスタシステム上で、高速かつ効率的に処理できる。既に多くの企業が、Webログの分析やPOSデータの解析といった情報系システムの用途で、Hadoopの活用を始めている。 さらに近年では、大量データを高速処理できるHadoopのメリットを、基幹系システムにも応用しようという動きが出てきている。特に、基幹バッチの処理を高速化するための技術として、Hadoopに大きな期待が寄せられている。しかしその半面、Hadoopを基幹系システムで導入するには、技術的なハードルが数多く存在するともいわれている。 ここに目を付けたのが、ウルシステムズだ。同社が2011年3月にオ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
