タグ

関連タグで絞り込む (2)

タグの絞り込みを解除

HadoopとDSLに関するnobusueのブックマーク (4)

  • 基幹バッチ再構築のニーズは大きい、Hadoopの課題をAsakusaで解決する

    ウルシステムズは2011年3月31日、「Asakusa」をオープンソースソフトウエア(OSS)として公開した(関連記事:Hadoop向け基幹バッチ分散処理ソフト「Asakusa」の全貌)。同社はある顧客の基幹バッチシステムをAsakusaで構築している。Hadoopで基幹バッチ処理を行うにあたっての問題をどう解決したのか。なぜOSSとして公開したのか。ウルシステムズ 取締役 神林飛志氏に聞いた。 ハードウエア、ソフトウエア、SIを含めれば1000億円は軽く超えると見ている。特に大きいのは基幹バッチ処理システムだ。BI(ビジネスインテリジェンス)の案件は1件3000万円から1億円くらいだが、基幹バッチ処理の案件は1件1億円以上。 バッチ処理システムは“残ってしまっている”ものが多い。手をつけたくとも、わかる人がいなくなって保守できなくなりつつある。再構築したいというニーズは高い。実際に引き合

    基幹バッチ再構築のニーズは大きい、Hadoopの課題をAsakusaで解決する
  • ウルシステムズ、基幹バッチ用Hadoopフレームワーク「Asakusa」をOSSとして公開

    ウルシステムズは2011年3月31日、オープンソースソフトウエア(OSS)の分散バッチ処理ソフト「Hadoop」を使って基幹バッチ処理を開発できるソフトウエアフレームワーク「Asakusa Framework」をOSSとして公開した。同社は4月1日付けでHadoopなどクラウド関連技術の導入支援を行う専門組織を設立し、先端技術コンサルティング事業を強化する。 Asakusaは、Hadoopに詳しくないエンジニアでも、同社独自のDSL(ドメイン特化言語)によって、Hadoopを使ったアプリケーションを開発できるというフレームワークである(関連情報:Hadoop向け基幹バッチ分散処理ソフト「Asakusa」の全貌)。同ソフトを開発したウルシステムズは、Asakusaを使用した基幹システム構築を既に始めている。「Asakusaによって、普段は日が当たりづらい基幹系バッチを開発するエンタープライズ

    ウルシステムズ、基幹バッチ用Hadoopフレームワーク「Asakusa」をOSSとして公開
  • 第3回 業務の境界や並列性を見極め処理を分割

    第3回と第4回では、Asakusaを使ったバッチ処理アプリケーションの設計方法について解説する。Asakusaでは、Batch DSLで記述する「バッチ」、Flow DSLで記述する「ジョブフロー」と「フロー部品」、Operator DSLで記述する「演算子」という三つの階層で、アプリケーションを構成する。 なお今回解説する設計技法は、Hadoopへの依存度を極力なくすことを意図している。Hadoopへの依存度が高いと、設計者がHadoopをマスターする必要があり、開発規模を拡大する足かせになるからである。以降は「クラウド時代の非同期処理設計の一般技法」と捉えてもらっても差し支えない。 有向非循環グラフ「DAG」を使って開発する Asakusaでの設計では、DAG(Directed Acyclic Graph)を用いる。DAGは、図1に示したような有向非循環グラフのことである。処理を表す頂

    第3回 業務の境界や並列性を見極め処理を分割
  • 第2回 言語、運用監視機能、テスト環境まで用意

    分散処理ミドルウエアの「Hadoop」を基幹バッチ処理に適用するためのフレームワーク「Asakusa」。第2回では、その構成要素を紹介しよう。 Asakusaは、MapReduceアプリケーションの入出力データのクラスファイルを生成する「Model Generator」、独自のDSL(Domain Specific Language)用コンパイラである「Ashigel Compiler」、実行ライブラリの「Rumtime Library」、データ入出力管理フレームワークの「ThunderGate(雷門)」という四つを提供している。 まず、ThunderGate以外の三つについて紹介しよう(図1)。 Model Generator Model Generatorは、開発者が定義した、MapReduceアプリケーションの入出力データ形式をインプットとし、Hadoop独自の「Writable」と

    第2回 言語、運用監視機能、テスト環境まで用意
  • 1