Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん
バッチ処理というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、いざバッチ処理を実装しようとした時に基本的なノウハウを知らないままに書いてしまうことが多い。 バッチ処理というのは実態を整理すると「何らかのトリガーを期に起動し、データをロード・加工・変換・集計してから、出力する」という事になる。 まぁ、INがあって処理してOUTがあるという点では関数だと考えてもいいだろう。 システムの利用者(人に限らない)のアクションとは直接関係ない処理であったり、利用者のアクションをトリガーとしていても、即時にレスポンスがいらないor返せない場合に バッチ処理を選択する事が多い。 実現方式はシェルスクリプト、LL言語、実行可能バイナリだったりするし、デーモンとして立ち上げる場合もある。 利用者の操作に対して対話的・同期的な処理はオンライ
巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ
トレンド調査ラボの青木峰郎（id:mineroaoki）です。 好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、 最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。 今日はわたしが開発している「たべみる」の背後で働いている 巨大バッチの構成について話したいと思います。 たべみるのバッチは約3000行のSQLで構成されており、 処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。 このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。 「たべみる」とは まず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。 「たべみる」は企業のみに提供しているB2Bの分析サービスで、 クックパッドのレシピ検索の分析をすることができま
問合せの最適化
問合せの最適化 TopLinkでは、データの読取り、書込みおよび更新用の問合せAPIを幅広く提供しています。この項では、様々な状況における問合せのパフォーマンスの最適化の方法について説明します。 問合せを最適化する前に、「データ・アクセスの最適化」で最適化の提案について検討してください。 この項では、次の内容について説明します。 パラメータ使用のSQLとプリコンパイルされたSQL文のキャッシュ 名前付き問合せ バッチ読取りと結合読取り 部分オブジェクト問合せとフェッチ・グループ JDBCフェッチ・サイズ カーソル付きストリームとスクロール可能カーソル 読取り最適化の例 書込み最適化の例 パラメータ使用のSQLとプリコンパイルされたSQL文のキャッシュ これらの機能を使用すると、問合せが再実行された際に、事前に解析された問合せデータベース文をキャッシュおよび再利用できます。 詳細は、「パラメ
PowerPoint Presentation
大規模DBを見据えた PostgreSQLの性能検証 WG1: 性能WG活動成果中間報告 WG1主査 SRA OSS, Inc. 日本支社 石井 達夫 Copyright © PostgreSQL Enterprise Consortium, All Rights Reserved. WG1(性能ワーキンググループ）の役割 技術部会で設定された課題に具体的に取り組む実 働部隊の一つで主に性能関係の課題をテーマとする ミッションクリティカル性の高いエンタープライズ領域への 適用に向けて、本体・周辺ツールに関する技術ノウハウを 共有する 性能に関する課題の例 CPUマルチコアに対する性能懸念 負荷分散方式が確立されていない などなど（総数約50件) この中から問題点を整理し、PGEConsとして取り組んで効 果がありそうなものをテーマ化 さらに今年度実施するもの
バッチ設計と実装ガイド | Asakusa Framework
Asakusa Frameworkでは、基幹向けバッチアプリケーションの作成に主眼を置いた独自の領域特化言語(Domain Specific Language, 以下 Asakusa DSL)を利用してアプリケーションを作成します。 ケース・スタディを通じて、Asakusa DSLを前提とした設計手法と具体的な実装方法を理解することができます。 ここで解説する設計手法と実装ガイドは、Asakusa DSLの概要を理解していることを前提としています。 Asakusa DSLについては、以下のドキュメントを参照してください。 Asakusa Framework 入門 Asakusaでは、設計手法としてDAG（有向非循環グラフ）を利用した記述法で設計を行います。以下のドキュメントではAsakusa DSLの設計手法と実装手法を解説します。 AsakusaDSL設計手法（PDF） AsakusaD
Playframework、Akka、Quartz、MyBatisで簡単なジョブスケジューラを作成してみた。
弊社では、SHANON MARKETING PLATFORMを使ってお客さまにサービスを提供していますが、お客さまのシステムとのデータ連携などで、スクラッチでアドオン開発をする場合があります。 アドオン開発しているときに「こんなのあったらいいなぁ」と思ったものを勉強も兼ねてscalaで試作してみました。 試作したのは、簡単なジョブスケジューラです。 ジョブスケジューラといえば、商用製品では、JP1、A-AUTOなど、OSSでは、Hinemosなどがあります。 小規模な開発をする場合、これら製品は、開発するアプリケーションとは別にインストールする必要がありますし、サーバのリソースも消費します。また商用製品は、ライセンス料を支払う必要があります。 また、EAIツールを使う方法もあります。EAIツールのSaaS製品も廉価なものが増えてきたので、EAIツールだけで対応可能であれば、EAIツールを使
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Design & Implement Batch Stream Processing Application for Ruby