AsakusaFW0.7.1 スモールジョブ実行エンジン - ひしだまの変更履歴
上2つはかなり極端な例で、ほとんどがスモールジョブ＾＾；なので、3倍くらい速くなっている。 一番下のバッチはほとんどが大きなジョブだが、それでも20％くらい速くなっている。特にこの環境はAmazon EMRなので、1時間を切ると嬉しいらしいｗ（課金が1時間単位なので） バッチ全体でなくスモールジョブだけで見ると、だいたい5倍くらい速くなりそうとのこと。 それと、スモールジョブ実行エンジンをフローのテストの実行にも使用することにより、テストの実行時間も短縮できる。 （テストデータはたいてい小さいだろうから、効果覿面ｗ） フローのテストでスモールジョブ実行エンジンを使うには、build.gradleのdependenciesにasakusa-test-inprocess-extの設定を追加する。 （『スモールジョブ実行エンジンを利用したエミュレーションモードの有効化』を参照） dependen
Asakusa Framework 勉強会 2014秋の感想 - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 2014/10/17『Asakusa Framework 勉強会 2014秋』に行ってきました。 今回の会場はサイトロックさん。 サイトロックさんはシステム運用をやっている会社で、噂には聞いていましたが、行ったのは初めてでした。食堂とかおしゃれな感じですね(笑) 最初は恒例の土佐さんの『Asakusa fwはじめの一歩 0.7.0』。 拙作DMDL EditorXですが、いくつか使用できない箇所があったようで＞＜ 属性追加ウィザードの障害（issue42）は、自分の環境では再現しないんですよねぇ。 たぶんXtext内部の情報に不整合があるのだと思います。プロジェクトのクリーンをしたりdmdlファイルを保存し直したりすると直るかも？ フローのテストクラスの作成の障害（iss
Asakusa Framework 勉強会 2014真夏で食べてきました - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 『Asakusa Framework 勉強会 2014真夏』に参加してきました。 今回は普段と違って5分ずつのLT大会、およびビアバッシュということで、ビールとピザをいただきながらの勉強会でした(笑) 最初は土佐さんの『Asakusa脳の作り方』。 前回の才所さんの発表に出てきた「Asakusa脳」がキーワードです(笑) Asakusa脳になるまで、つまりAsakusaFWに慣れるまでに壁があるんじゃないかという話ですね。 そのうちのひとつ、演算子の実装方法について、ジョブフロー側の実装例が無い！という訳で、土佐さんがチートシートを作ったそうです。→演算子のチートシート 図と実装例が書かれています。GitHubでこんなことも出来るんですねぇ。 2つ目はts_minさんのO
Asakusa 演算子 cheetsheet
JobFlowクラス実装 HogePrice hogePrice = operator.hogePrice(this.hoge); JoinedMoge joinedMoge = operator.joinedMoge (this.moge, hogePrice.CHEEP); Operatorクラス実装 @Branch public Status hogePrice(Hoge hoge) { int price = hoge.getPrice(); if (price < 0) { return Status.ERROR; } if (price >= 1000000) { return Status.EXPENSIVE; } return Status.CHEAP; } public enum Status { EXPENSIVE, CHEAP, ERROR }
Asakusa Framework 勉強会 2014夏に行ってきました - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 2014/7/11『Asakusa Framework 勉強会 2014夏』に行ってきました。→Togetter アンケートによると参加者はAsakusaFW経験者4割（Hadoop経験者は6割）という感じで、まだまだAsakusaFW初心者の人が参加して下さっているようで、嬉しいことです。 最初は恒例、土佐さんの『Asakusa Framework はじめの一歩（ver 0.6.2）』。現時点のAsakusaFWの最新版である0.6.2に合わせたものですね。 前回はライブコーディングによるAsakusaアプリケーションの作成手順の紹介でしたが、今回はスライドによる紙芝居でした。手順を再現していると結構時間ぎりぎりになってしまい、ライブコーディングだと突発的なトラブルがあ
Asakusa Framework 勉強会 2014春に行ってきました - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 2014/4/7『Asakusa Framework 勉強会 2014春』に行ってきました。→Togetter 最初は土佐さんの『Asakusa Framework はじめの一歩・改』。 前回のが『はじめの一歩』で、今回の『改』は、主にGUIを使うようになったことが違いでした。 前回はちょうどShafuが出たばかりでまだ認知されていなかった為、Mavenを使ったコマンドベースだったのが、今回はShafuでプロジェクト作成していました。 それどころか、拙作のDMDL EditorXのデータモデル作成ウィザードを使ってDMDLを生成していたのでびっくり＾＾； 結合モデルのキーの指定方法は、ペアとなる項目を2つ選択してからコピーするのですが、他のツールではそういう方法はしないの
AsakusaFW0.6.0大変革 - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 Asakusa Framework 勉強会 2014冬で話題にしたAsakusa Framework0.6.0が出ましたよ。 →リリースノート 今回は色々大きい機能変更・機能追加が！ まず、標準のビルドシステムが今までのMavenからGradleに変わった。 と言っても、当面はMavenでも今まで通り使用できるけど。 でもGradleプラグインの方が環境構築が簡単なので（Maven版だとMavenをインストールする必要があるが、GradleプラグインだとJavaだけ入っていればいい）、今後はGradleプラグインを使うのがお薦め。 （Jinrikishaも、内部ではGradleを使うように変わった模様） それから、Shafuが公開された。（前からひっそり公開されていたけれ
Asakusa Framework 勉強会 2014冬で発表しました - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 2014/1/29『Asakusa Framework 勉強会 2014冬』に参加・発表してきました。 今まで勉強会へは何度も参加していたけれど、発表したのは初めてです。話す内容は決まっていたので緊張はしなかったのですが、やっぱりあまり上手く話せませんでしたorz 時間もオーバーしてしまったような(汗) 冒頭の自己紹介がちょっと余計で長すぎたかもしれません＾＾； 自分としてはAsakusaFWを気に入っているので、多くの人に使ってもらいたい。これは今回の勉強会の主催者の土佐さんと同じ想いです。が、自分がやるのは“試したことをウェブに書く”程度（AsakusaFWに限らず、利用したソフトウェア等について今までウェブに書いてきたのも、そのソフトウェアへの貢献の一環のつもりでも
Asakusa Gradle Pluginを試してみた - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 Asakusa Framework0.5.2で試験的に導入されたAsakusa Gradle Pluginを試してみた。 AsakusaFWはWindowsには正式対応していないが、GradleプラグインにはWindows用のバッチファイルも含まれているので、Windowsからも使うことが出来る。 Mavenをインストールする必要が無いので、Windowsから使うにはとても便利(笑) （特に、WindowsにはJinrikishaが無いから、余計にｗ） ダウンロードしたアーカイブを解凍してそこのコマンドを実行するだけ、という手順はシンプルで分かりやすい。 Windowsに正式対応していないが故にアーカイブ（プロジェクトテンプレート）はtar.gzファイルしか提供されていな
AsakusaFW0.5.2 Gradle対応！ - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 今日Asakusa Framework0.5.2がリリースされたので、例によってちょっと見てみる。 →リリースノート・Changelogs 一番大きなのは、やはりGradle対応（#301）だろうなぁ。まだ実験的（experimental）な機能という扱いだけど。 今までMavenを使ってプロジェクトを作ったりコンパイルしたりしていたが、Mavenを使わずにGradleで実行できるようになるらしい。今度の週末に試してみよう(笑) 次に大きなのは、Direct I/O CSVとDirect I/O TSVのデータ圧縮解凍機能。（#305） Direct I/OなのでHDFSとAmazon S3が対象。 ネットワークとCPUを比べてネットワークの方がボトルネックになっている場
ノーチラス二年目終了して三年目へ - 急がば回れ、選ぶなら近道
二年経過したので記録として置いておく感じで。 ということで気がついたら設立から二年経過していました。正直、まだ二年しか経過していないのか、という感じがします。この一年は二年分ぐらいの時間感覚でした。まじで時間経過が速すぎて死ぬかと思った。去年の今頃はAsakusaの立ち上げで、特にSI屋向けのサポートに力を入れていた時分で、今と状況がまるで違う状況でした。この一年では大きな試行錯誤を二回ほどやった感じになっていて、現在ではAsakusaの向こう側の違う方向性の模索し始めているところです。 大きな方向性としては、この一年で以下が大きく違ってきていると思います。 1.クラウド・コミットが普通になってきた、とはいえ、一方でまだまだというところも実情。元々クラウド上で構築や作業や環境の獲得は普通にやってきましたが、やはり、春先の西鉄ストアさんの基幹業務系をAWSで動かしたというのは、それなりのイン
Xtextネイチャー - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 Xtextを使ってエディターを作ると、そのエディターを初めて開くときに「Do you want to add the Xtext nature to the project 'プロジェクト名'?」というダイアログが開く。 これはそのプロジェクトにXtextネイチャーを追加するかどうか確認するもの。 （ネイチャーはEclipseの機能で、例えばJavaの開発の場合はJavaNatureが使われている） Xtextネイチャーを追加しないと一部の機能が使用できない。 Xtextの作者としては、ネイチャーを使うかどうかをユーザーに明示的に確認する、という姿勢のようだ。 が、エディターを使うだけのユーザーから見ると、エディターがXtextを使っているかどうかは関係ないし、「変なダイ
AsakusaFW Operator DSLメモ(Hishidama's Asakusa Framework FlowDSL Memo)
概要 [/2016-02-11] 用語 演算子一覧 [/2019-06-14] どの演算子を使えばよいか [/2013-12-23] Optionクラス [/2021-12-21] Resultクラス [/2017-04-30] 値引数 [2018-09-26] GroupView [/2018-11-12] Sharedクラス [2017-06-04] マルチスレッドに関する注意 [/2016-05-30] プロパティーファイルの読み込み [2017-06-04] Asakusa Framework documentation 演算子リファレンス Asakusa DSLユーザーガイドの『Operator DSL』 cocoatomoさんの演算子選択のための流れ図 teppei_tosaさんのAsakusa 演算子 CheetSheet 概要 Asakusa Frameworkでは、Flo
AsakusaFW 0.5.1 Windowsメモ(Hishidama's Asakusa Framework Direct I/O Windows Memo)
CDH3の修正 CDH3（Hadoop）をインストールし、シェルにパッチを当てる。 HADOOP_HOME/bin/hadoop： # cygwin path translation if $cygwin; then CLASSPATH=`cygpath -p -w "$CLASSPATH"` HADOOP_HOME=`cygpath -w "$HADOOP_HOME"` HADOOP_LOG_DIR=`cygpath -w "$HADOOP_LOG_DIR"` TOOL_PATH=`cygpath -p -w "$TOOL_PATH"` JAVA_LIBRARY_PATH=`cygpath -p -w "$JAVA_LIBRARY_PATH"` HADOOP_OPTS="-Dfile.encoding=UTF-8 $HADOOP_OPTS" fi HADOOP_OPTSにファイルエンコー
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編）
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編） 基幹システムをクラウドで実現する。その過程でどのような技術を用い、どのような苦労があったのか。小売り流通業である西鉄ストアの基幹システムをAmazonクラウド（以下、AWS：Amazon Web Services）の上で実現したノーチラス・テクノロジーズが、その詳細について紹介したセミナーを5月15日、アマゾンジャパン本社のセミナールームで開催しました。 大規模システム開発の現状、Hadoopの可能性、クラウドのメリットとデメリットなど、参考にすべき多くの内容が語られたセミナーでした。この記事ではその概要を紹介します。 止まってはいけない基幹システムをクラウドへ ノーチラス・テクノロジーズ 代表取締役社長 神林飛志氏（写真中央）。 西鉄ストア様の本部基幹システムをクラウドへ移行する
「オンプレミス・システムの終わり」の始まり〜AWSでのミッションクリティカルシステムの稼働 - 急がば回れ、選ぶなら近道
個人的には割と大変だったので、その辺をまとめておきます。 ニュースリリースはこちら。 http://www.nautilus-technologies.com/topics/20130409.html 要するに本部系バックエンド基幹システムの「一式」のクラウド移行です。完全なミッションクリティカルシステムで、止まった段階で業務に確実に影響が出ます。 システムの機能概要 1.売上の確定処理と債権管理 POSデータの直結です。売上確定処理を行います。同時に債権管理も行い、F/Bからの入金データをそのままつなぎ込み、入金処理・債権の消し込み処理を実行します。マッチングは自動処理できるものは処理を行い、ヒューリスティックなものはユーザー判断に従います。 2.仕入・費用の計上と確定処理、および支払いデータの作成 費用・在庫の計上確定処理です。当時に支払データの確定処理を行います。EDI（BMS）との
Asakusa Frameworkアーキタイプ - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 Asakusa Frameworkのアーキタイプの概要を書いてみた。 Asakusa Framework0.4を試してみようと思ったらまずインストールする必要がある（当然ｗ）が、Mavenとかを事前にインストールしなきゃならない。 まぁMavenの使い方を知らなくても色々なサイトに説明があるから調べられなくはないし、Jinrikishaを使えばMavenとかもインストールしてくれるので気にしなくて大丈夫。 しかし、どの方法でインストールするにせよ、途中で訊かれる「Asakusa Frameworkのアーキタイプ」については、Asakusa Frameworkを知ってないと選択できない。 自分も初めてAsakusaFWをインストールした時はどれを選べばいいのか迷ったし＾＾；
基幹バッチでHadoopを飼い慣らすノーチラスとEMCの提携
1月19日、EMCジャパンはエンタープライズ分野でのHadoopソリューション「EMC Greenplum HD EE」の販売を開始するとともに、Hadoop製品の開発を進めるノーチラス・テクノロジーとの協業を発表。基幹システムのでバッチ処理をHadoopで行なうソリューションを提供する。 Apache Hadoopと互換性のあるエンタープライズレディなHadoop 発表会の冒頭、EMCジャパン データ・コンピューティング事業本部 テクノロジー＆プロフェッショナルサービス部 部長 仲田聰氏は、同日発売を開始した「EMC Greenplum HD EE」について説明した。 EMC Greenplum HD EEは非構造化データ処理に最適化されたHadoop製品で、Apache Hadoopと100％の互換性を保ちつつ、パフォーマンスや信頼性を強化した実装になる。並列処理に最適化されたデータベ
Distributed Control Break - 急がば回れ、選ぶなら近道
まず始めに断っておきますが、このワードの発案は@marblejenkaさんによるものです。個人的には、言い得て妙だと思っています。この手の言葉の使い方のセンスはマーブル先生は時々天才な時があり、このワーディングもそれに属します。尚、社内では「この言い方は若干、一種の中二病的な側面もある」という意見のため、公式のドキュメントから削除されています。残念です。よってブログに残す。 まずもってControl Breakですが、COBOLの必殺技のひとつで最上位古代魔法(ハイ・エンシェント・ロア)のひとつに属します。JavaとかJavaとかJavaとか、な人たちにはちょっと意味がわからない感じになりますが、ある一定の処理の固まりを順におこなっている時に、なにかのタイミングで（大抵はキーの切り替え）で別の処理を一時的に行う（コントロールがブレイクする）ことを言います。 まず単純な例では、例えば、明細が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Asakusa Framework チュートリアル — Asakusa Framework Tutorial 0.8-revision-1 documentation