バッチの未来、どうするHadoop - ひしだまの変更履歴
ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 ITproの『DBの未来、どうするHadoop』のタイトルに釣られてみたｗ （以下長々書いたけど、結局言いたいことは、DBとHadoopは関係無いってことと、タイトルについて何か勘違いしたっぽいということだけだった＾＾；） 僕の意見では、Hadoopはバッチ処理を分散して実行する基盤である。データを溜めるのは副次的な効果に過ぎない。（暴論ｗ） もちろん、そもそも分散処理を行う必要があるのは処理対象データが大量だからなので、データの溜め方も必須ポイントだし、Hadoopが分散処理する原理も密接に結びついているのだが。 あらかじめ断っておくと、自分は非構造化データとか分析とか機械学習には興味が無い。 自分がHadoopに興味を持ったのは、自分が担当していた“RDBを対象にした
Java Batch CLI Template
At work, there have been a couple times that I needed to throw together the equivalent of a batch processing job or one-off command-line application to process some data quick and dirty. My platform that I have to develop on has it’s own Java API, so I lean on using a Java framework or toolset to get this work done. This ends up simplifying the end-to-end migration of source data –> destination
待望のバッチ処理機能がJava EE 7で標準化。「jBatch」で何ができるのか、どう使うのか？ - page2 - builder by ZDNet Japan
ステップの実装方式は「chunk」と「batchlet」の2種類 ジョブを構成するステップについては、各ステップの処理内容を開発者自身がコーディングする。ステップの実装方法には、「chunk方式」と「batchlet方式」の2つがある。 chunk方式による実装 chunk方式では、「ItemReader（データの読み込み）」、「ItemProcessor（データの処理）」、「ItemWriter（データの書き込み）」のそれぞれに対して処理を記述していく。ItemReaderとItemProcessorによるデータの読み込みと処理を複数回（デフォルトでは10回）繰り返した後、ItemWriterを呼び出して処理結果を書き込み、チェック・ポイント情報を書き出したうえでコミットが行われる。このように、複数のデータを"固まり"として処理するためchunk方式と呼ばれている。 チェック・ポイント情
[AWS Summit 2012] クラウドデザインパターン#5 CDP バッチ処理編
クラウドデザインパターン#5 CDP バッチ処理編 登壇者名・社名 大谷 晋平（アマゾン データサービス ジャパン株式会社）Read less
![[AWS Summit 2012] クラウドデザインパターン#5 CDP バッチ処理編](https://cdn-ak-scissors.b.st-hatena.com/image/square/8ddc65b75e738c9839196f444a22a83de3faea9b/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Faws-summit-cdp-05-121001104857-phpapp01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
ワークフローとバッチ処理の違い - makotanのブログ
最近非常に狭いエリアでワークフローで盛り上がったりしてたので判りにくいかなぁ〜って思った部分。 AWSに最近登場したData Piplineはバッチ処理、ちょっと前になぜかAWSの中の人が推してる？って状態だったのはSWFはワークフロー この二つの明確な違いについて ワークフローとバッチ処理がどう違うのか その１ バッチ処理は複数のデータをひとまとめに処理 ワークフローは一件ごとのデータを個別に処理 ここが一番大きな違い なので、Data Piplineは一定時間毎に・・・みたいな記述だし SWFはデータをきっかけに・・・みたいな感じになってる ワークフローとバッチ処理がどう違うのか その２ バッチ処理は途中で止まらない ワークフローは途中でユーザの反応を見るために止まる これも大きな違い。 バッチ処理がエラー等で止まるなんて普通にある話だけど、それは駄目でしょ！ってなるので普通は止まらず
Java Batch 仕様 (Public Review時点)
Public Review版を読み込んだときの勉強メモ。内容は今後改版される可能性がある。Read less
Jenkinsとhadoopを利用した継続的データ解析環境の構築
2. Meta Information • 2006.4 – 2012.3 – Keio University • Artificial Intelligence, Semantic Web, Ontology Engineering • 2011.2 – 2012.3 – CTO at Trippiece, Inc. • Software Engineering • 2012.4 – – Engineer at adingo, Inc. • Data Analysis, Operation Engineering twitter: @suzu_v http://blog.kentasuzuki.net
Proby - Task monitoring made simple
Have you ever had a daily task go weeks without running successfully, unnoticed? Yeah, us too. Proby is a monitoring application that keeps an eye on scheduled tasks executed by cron or some other scheduler. Signup Easy Setup Simply upload your server's crontab file and tell Proby which tasks you would like to track. Then, update your tasks to notify Proby, via its HTTP API, when they start and fi
Smart Batching
How often have we all heard that “batching” will increase latency? As someone with a passion for low-latency systems this surprises me. In my experience when batching is done correctly, not only does it increase throughput, it can also reduce average latency and keep it consistent. Well then, how can batching magically reduce latency? It comes down to what algorithm and data structures are empl
安全なバッチ処理の作り方 - KAYAC Engineers' Blog
このまえ登り坂の途中でロードバイクのタイヤが破裂しました。ながたです。 今回はバッチ処理について書いてみようと思います。 バッチ処理？ Webサービスの処理開始条件は、大まかに次の2つに分けることができます。 ユーザーのアクションに起因するもの ユーザーのアクションに起因しないもの このうち後者の処理をバッチ処理が担当することになります。 バッチ処理の担当分はさらに、 特定の条件（時間やサービスの状態）で実行するもの 手動で実行するもの の2つに分けられます。 今回はこの「手動で実行するもの」について書きたいと思います。 バッチを手動実行するのはどんなとき？ バッチ処理を手動で実行するのは、十中八九イレギュラーな状況が発生したときです。 ルーチンワークや実行の条件が決まっているものは何らかの方法で自動化できるはずです。 そしてイレギュラーな状況のほとんどは不具合が発生したとき。 つまり 重
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/geta6/items/199faca823e84026c10a
GitHub - azkaban/azkaban: Azkaban workflow manager.
PushMon – Script, Job, App & Batch Monitoring – Push Monitoring