並列データ転送ツール『Embulk』リリース！ - Blog by Sadayuki Furuhashi
こんにちは。古橋です。 先日の*1 データ転送ミドルウェア勉強会で、新しいオープンソースツール Embulk をリリースしました。 Embulk, an open-source plugin-based parallel bulk data loader from Sadayuki Furuhashi Embulk は、リアルタイムなログ収集では常識となった fluentd のバッチ版のようなツールで、ファイルやデータベースからデータを吸い出し、別のストレージやデータベースにロードするためのコンパクトなツールです。 fluentd と同様にプラグイン型のアーキテクチャを採用 しているため、RubyやJavaで簡単なコードを書くことで、様々なファイルフォーマットやストレージに対応することができます。一方で fluentd とは異なり、高速性やトランザクション制御、スキーマを使ったデータのバリ
R で超簡単に並列処理を書けるパッケージ pforeach を作った - ほくそ笑む
※この記事は R Advent Calendar 2014 : ATND の 22 日目の記事です。 0. この記事の要約 R の foreach パッケージを改良して、デフォルトで並列計算するようにしたパッケージ pforeach を作りました。 pforeach - Easy to parallel processing in R これにより、R での並列計算を下記のようにシンプルに書くことができます。 library(pforeach) pforeach(i = 1:100)({ i ** 2 }) これは、従来の foreach で次のように書いたものと同じ動作をします。 library(foreach) library(doParallel) cl <- makeCluster(detectCores()) registerDoParallel(cl) foreach(i = 1
読んだ: Java 並行処理プログラミング / ブライアン・ゲーツ、ダグ・リー、他 著、岩谷宏 訳 - ひだまりソケットは壊れない
Java の並行処理プログラミングについての書籍を読みました。 2006 年の本なので結構古いですが、内容的には今でも十分通用するものですし、世間からも高く評価されてるみたいですね。 内容的にはかなり良かったです。 Java並行処理プログラミング ―その「基盤」と「最新API」を究める― 作者: Brian Goetz,Joshua Bloch,Doug Lea出版社/メーカー: ソフトバンククリエイティブ発売日: 2006/11/22メディア: 単行本購入: 30人 クリック: 442回この商品を含むブログ (170件) を見る 内容紹介 簡単に内容を紹介します。 本書は全 4 部、16 章構成となっています。 序章 まず、第 1 章は序章ということで、並行処理の歴史と、マルチスレッドプログラミングの必要性や、利点と欠点などが述べられています。 IO 待ちすることが多い処理を複数実行する
Parallel Distributed Shell (pdsh)で複数ホストでコマンド同時実行 : しげふみメモ
2010年09月15日00:13 カテゴリLinux Parallel Distributed Shell (pdsh)で複数ホストでコマンド同時実行 複数のホストに対してコマンドを同時に実行できるツールとして、以前にpsshを試してみました。 今度は、Parallel Distributed Shell (pdsh) を試したところ、使い勝手が良かったのでメモしておきます。 名前のとおり、並列で多数のホストにコマンドを同時実行できます。 通信にはsshの他、rsh等も使えます。 今回はソースからmakeしてインストールしました。 configureのオプションには以下を使用してみました。 rshは使わないので無効にして、sshを使うようにし、-gでホストをグループ指定できるようにし、GNU readline libraryを使うように。 --without-rsh --with-ssh
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
