kimutanskのブックマーク / 2015年12月28日

kimutansk id:kimutansk

2015年12月28日のブックマーク (3件)

Transactional Information Systems入門
2. 自己紹介  久保田展行 (@nobu_k)  作っているもの  Sedue 、 Bazil  ( ソフト ) リアルタイム検索部分の改良  興味のある分野  分散システム : コンセンサス、レプリケーション  DB: インデックス、ストレージ、トランザクション  Red Bull 中毒解消、 2013 年はまだ 1 ブル 2 4. トランザクション処理とは  すごくおおざっぱに言うとデータの整合性を保つための技術  銀行や ATM でのお金のやりとり  不整合で困る例 : お金を振り込んだけど残高が増えなかった  EC サイトでの購買履歴・在庫管理  不整合で困る例 : お金払ったけど商品が届かなかった  通常 DBMS に実装されたトランザクション処理機能が利用される  いわゆる三層アーキテクチャみたいなやつ 4 5. トランザクション処理と DBMS
kimutansk 2015/12/28
CSRはシンプルでわかりやすいですが、その先が・・・180ページの一部でこれですか。トランザクション処理の上下は買ってるので読み返してみますかねぇ

transaction
リンク
Tuning Java Garbage Collection for Apache Spark Applications - The Databricks Blog
Unified governance for all data, analytics and AI assets
kimutansk 2015/12/28
Spark、チューニング前だとG1がParallelに劣りますが、チューニングすると実行時間半分近くになると。G1はチューニング項目多い分、伸びしろはおおいということですか。

spark

JVM
リンク
Workflow Engine をつくろう！ Part 1（Task の依存関係の解決） - Qiita
Part 1 Task の依存関係の解決 Part 2 Workflow の冪等性 Part 3 Task 間でのデータのやり取り Part 4 Task の並列実行 Workflow Engine って何？ Workflow Engine と言っても多機能なものから、シンプルなものまで様々なものがあります。そこで、主旨がぶれないように、この記事での Workflow Engine は、以下の要件を満たすソフトウェアとします。 Workflow Engine とは、依存関係のある複数の Task を、意図した順番通りに実行するものこの記事では、この要件を満たす Workflow Engine を Ruby でつくる方法について解説します。依存関係を記述する依存関係を解決するコードを書く前に、依存関係を記述する方法をまず決めましょう。依存関係を記述するには、luigi のように Ta
kimutansk 2015/12/28
まずは一番初めのDAGをソートするところと。次回以降の内容からが本番ですか。

ワークフロー
リンク
- 2015年12月29日
- 2015年12月28日
- 2015年12月27日