業務系処理の分散処理の実行基盤について(Asakusa0.2.6) - 急がば回れ、選ぶなら近道
Asakusa supports for the multi-clusterというお話で、多分解説がいるので書いておく。公式に書くものではない、という意見も強いので、ここで書く。先日のSIGMOD日本支部のMtgでも発表した内容ともかぶりますが。 具体的にはここで http://asakusafw.s3.amazonaws.com/documents/0.2/release/ja/html/yaess/multi-dispatch.html いろいろ細かい内容は以下を参照で。 「AsakusaFW0.2.6の見どころ」 http://blog.goo.ne.jp/hishidama/e/2ba82d5ad404000de52d1a4029eb7346 まず、前提として現在のAsakusaは業務処理のバッチ処理、特に非同期処理を対象している。その上で実際に使われているし、SIも行われている。
ノーチラス、Hadoopディストリビューションの商用サポートを開始
ノーチラス・テクノロジーズは2011年12月13日、同社が開発する「Hadoop」向けのアプリケーションフレームワーク「Asakusa Framework」の顧客に対して、Hadoopの商用サポートを提供するというサービス「Asakusaサポート・プラス」を開始した。ディストリビューションには、米クラウデラの「Cloudera’s Distribution including Apache Hadoop（CDH）」を使用する。 Asakusaは、基幹系のバッチ処理をHadoopを使って実現するためのオープンソースのアプリケーションフレームワーク（関連記事：Hadoop向け基幹バッチ分散処理ソフト「Asakusa」の全貌）。ノーチラス・テクノロジーズは2011年10月からAsakusaの商用サポート「Asakusa Enterprise Support」などを始めている。「顧客から、Asak
Hadoop＆Asakusaを基幹業務で使い倒す--ノーチラス 神林飛志氏
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 日立ソリューションズは12月2日、東京・品川にて「Hadoopが導く分散処理における次世代のバッチ処理開発とは〜Asakusa FrameworkによるHadoopエンタープライズ適用セミナー〜」を開催した。 本稿ではその中から、ノーチラス・テクノロジーズ代表取締役副社長 神林飛志氏による講演「Hadoopによるバッチ処理の導入」を紹介する。 Hadoopを定義するのにビッグデータという言葉は必要ありません——神林氏は冒頭、こう切り出した。 いまやバズワードとして定着し始めている「ビッグデータ」だが、その言葉が語られるときはサブセットのごとく「並列分散処理システム」としてHadoopも引き合いに出されることが多い。だが神林氏は「ビッグデ
Python Developers Festa 2011.10 - Elliptium
Python の勉強会で Asakusa/Hadoop について話してきました. Python Developers Festa 2011.10 を開催します Python Developers Festa 2011.10 を終えて 「エ!? Python の勉強会で??」と思うかもしれませんが, 主催者の @voluntas さんに「Hadoop について話さないか? @Shiumachi が Hadoop について話して, @cocoatomo が Asakusa について話してよ」という話が飛んできたので, 喜んで発表してきました. 発表資料 発表 Hadoop を知ってる人で Asakusa のことを初めて知る人向けに発表してきました. なので浅く広く発表したのですが, 実は Asakusa を知ってる人がけっこういて,「その人達には物足りなかったかなぁ?」と振り返って思います.
第4回Asakusaソースコードリーディングのメモ - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 第4回Asakusaソースコードリーディングに参加しましたので、そのメモです。 資料： TestDriver/CI Togetter： Asakusaソースコードリーディング第4回（#AsakusaReading） 今回のテーマはテストドライバーとCI（継続的インテグレーション）。 発表者は@apirakunさん。テストドライバーの設計/実装の担当者で、AsakusaFWのCIの仕組みも作ったそうです。 まずはテストドライバーの概要・方針から。 AsakusaFWでは、各DSLのテスト方法を提供している。 Operator…通常のJavaとしてテスト FlowPart…DSLをコンパイルしたMapReduceに対してテスト JobFlow…外部インターフェース（Thund
zusaar.com - このウェブサイトは販売用です！ - zusaar リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
第三回Asakusaソースコードリーディングの感想 - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 AsakusaSCR第参回に参加してきました。今回はMonkey Magic（ジョブの運用監視ツール）について。 Togetter： 20110727_AsakusaSCR第参回（#AsakusaReading） 現在のMonkeyMagicのバージョンは0.9で、2.0で大改修すると共に名前を「Tengine」に変えてOSS化するとのこと。「T」と「engine」をくっつけて「てんじん」。 （あと、特許もとったらしい） MonkeyMagicは2年くらい前から作り始めたそうで、元々はクラウド基盤（のリソース最適化）をターゲットにしていたらしい。その他に（値段の高い）商用製品の代わりとか、Hadoop（AsakusaFW）向けとかがターゲットになっている。 まぁ、Asak
第2回Asakusaソースコードリーディングに参加してきました - AOEの日記
AsakusaSCR第弐回に参加してきましたので、そのメモをまとめました。ほとんど自分向けの内容ですが折角なので表に置いておくにします。立て続けに勉強会参加レポートのエントリになっちゃいました。 今回はAsakusaにおいて外部とのデータのやり取りを引き受けているThunderGateのお話でした。 講師はThunderGateのアーキテクチャを設計したウルシステムズの埋金さんです。UMLaut/J-XMLの開発も担当されたそうで、昔はテレメータの開発をされてたとか。あと懇親会で聞いたのですが、かつてはWebLogicの鬼だったそうな。 なぜThunderGateを作ったのか？ Hadoopはデータ配るところが弱いので、そこを補うのがThunderGate データをどこに置く？ HDFS 信頼性？SPOFあるね バックアップリカバリのノウハウがない (復旧できる技術者いる？少なくともデータ
第2回Asakusaソースコードリーディングのメモ - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 Asakusaソースコードリーディング（第二回）、ThunderGate編のメモです。 資料： ThunderGate Togetter：Asakusaソースコードリーディング（第二回） ThunderGateはHDFSと外部のRDB（今のところはMySQL）とのデータ転送を行う部分。Asakusaフレームワークが「トランザクションをサポート」と言っているのは、ThunderGateにかかっている。 やはりHadoopを使う上ではHDFSと外部とのデータ配信がひとつのポイントになるので、重要。 説明してくださったのは、ThunderGateのアーキテクチャー設計者の埋金さん。 テレメータ（社会インフラ）の開発だとか、RDBでHAクラスターを組んだりとか、UMLaut/J-
GitHub - asami/AsakusaScalaDslSample: Sample Scala DSL for Asakusa framework flow model
1. ファイル 以下の4つのファイルを参照してください。 === src/main/scala/com/asakusafw/ab/AccountBatch.scala 図7 改善された会計処理バッチの処理フロー ==== src/main/scala/com/asakusafw/ab2/AccountBatch.scala DataSourceとOperationに情報を設定 Asakusa Java DSLとの接続情報を想定 === src/main/scala/com/asakusafw/ab3/AccountBatch.scala 入力と出力の部分にサブフローを追加 === src/main/scala/com/asakusafw/ab4/AccountBatch.scala 中間処理のサブフローに変更 2. コンパイル方法(参考) bash-3.2$ sbt Project doe
Ashigelコンパイラ勉強会の感想 - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 昨日『Ashigelコンパイラの勉強会』に参加してきました。 スライド：Inside of Asakusa DSL Togetter：#ashigel Ashigelコンパイラの勉強会 自分が書いてきたメモはほとんどスライドの写しなので、今回は感想だけ書きます。（というか全部理解できたとは言いがたいので、感想しか書けないというか(苦笑)） まず「DSL」という言葉について。 自分は最近Scalaを勉強していてScalaの本でよく「DSLの例」を見かけていた。Scala上に新しい構文っぽいものを作り上げ、それを使って目的の記述を行う形式。 なので漠然とAsakusa DSLもそんな感じかと思っていたんだけど、全然違った＾＾； Asakusa DSLは大きく三層に分かれていて
Inside of Asakusa DSL
2. 講演者について 荒川 傑 (@ashigeru) Ashigel Compilerの中の人 Asakusa DSLのデザンも担当 株式会社グルージェント開発部所属 2010年9月より出向中 普段の仕事 研究: コンパラ、開発環境 調査: Google App Engineなど 教育: 授業設計、教材開発 Asakusa DSLの内部 2 3. 本日のテーマ 第一部: Asakusa DSLの設計思想 どんな言語か、何を考えて作ったのか 第二部: Asakusa DSLのセマンテゖクス Hadoopとどのように関連するか 第三部: コンパラのコード生成 どのようなコードを生成しているか 第四部: コンパラの最適化手法 どのような最適化があるか Asakusa DSLの内部 3 4. 本日の内容 触れること DSLの位置づけ
#ashigel Ashigelコンパイラの勉強会
豊月 @yutuki_r Asakusaの次期VerのコードネームはやはりTawarachoなのだろうか。Ueno、Nihonbashi、Toranomonなどを経て最後はShibuyaになるんだろうか・・・ 2011-02-25 01:00:42
Asakusa Enterprise Batch Processing Framework for Hadoop
3. 目的 Asakusa の目的 基幹バッチ処理を Hadoop 上で、開発・実行・運用すること Hadoop 上で基幹を動かすことの狙い バッチ処理時間の短縮 バッチ処理の短縮で何が可能になるのか？ ① 今まで時間的な制約できなかった処理を何度も行うことができる 月次・週次での処理を日次で行える。可能であれば「即時処理」 シミュレーション・確定処理・クレンジング・引当・受発注・在庫管理・予測処理 ② 時間的に処理が不能であったデータも処理をする 13 か月実績推定から 100 カ月超のデータも取り込む データ種が異なるデータもまとめて処理にかける ③ 無駄な時間がなくなり、運用のコストが劇的に下がる 夜間バッチをなくして、運用監視の人的なコストを下げる 4. 実際どんなものか？ 基幹バッチ処理の例～一部抜粋 仕入データ 取り込み 残高 更新 照合 処理 仕入明細 データ 仕入返品 デー
基幹系バッチ処理をHadoopで高速化 - プログラマの思索
基幹系バッチ処理をHadoopで高速化する記事を見つけたのでメモ。 以下ラフなメモ書き。 間違っていたら後で直す。 【元ネタ】 プレスリリース｜2011年2月9日 |ウルシステムズ、業界初、基幹バッチ用のHadoopフレームワーク「Asakusa」 を開発、オープンソース化して提供開始 | ウルシステムズ株式会社 | UL Systems, Inc. ウルシステムズ、基幹バッチ用HadoopフレームワークをOSS化 - ニュース：ITpro 基幹バッチが超高速化する？｜HATのブログ 業務システムは、日中のフロントエンドのリアルタイム処理と夜間の大量データを集計するバッチ処理の2パターンを組み合わせたアーキテクチャが多い。 フロント側はVisualBasic→CGI→Java→RailsやHTML5と次々に技術革新が起きているのに、バッチ側は昔のCobolで作った資産が残っていて、そこから
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop ミドルウェアのサポートを含む「Asakusa サポート・プラス」を提供開始 ~ Asakusa+Hadoop の総合サポートを実現 ~ | NAUTILUS
zusaar.com
zusaar.com - このウェブサイトは販売用です！ - zusaar リソースおよび情報
zusaar.com - このウェブサイトは販売用です！ - zusaar リソースおよび情報
Hadoop向け基幹バッチ分散処理ソフト「Asakusa」の全貌