ファイル・ディレクトリのgzip圧縮を行いたいが、1コアしか使われないので時間が掛かる。 待ちきれない。8コア以上のCPUを活かしてパラレルでgzip圧縮をしたい。そんな方に朗報です。 yum(rpm)でさくっとインストール出来る「pigz」を紹介します。 使い方 普段使っているtarコマンドに--use-compress-progオプションを併用し、pigzを指定します。 $ tar cf foo_document.tar.gz --use-compress-prog=pigz foo_document MySQLのデータディレクトリ(/var/lib/mysql)を圧縮するなら以下のような書き方となります。 $ cd /var/lib $ sudo tar cf /backup/mysql-YYYYMMDD.tar.gz --use-compress-prog=pigz mysql t
Parallel and Concurrent Programming in Haskell: Techniques for Multicore and Multithreaded Programming 作者:Marlow, SimonO'Reilly MediaAmazon この本には、その名が示すように Haskell (正確には GHC(Glasgow Haskell Compiler))が提供する並列(parallel)/並行(concurrent)プログラミング技術がまとめられている。著者は、GHC の主要開発メンバーである Simon Marlow 氏である。 彼は、長年、並列/並行の研究に携わっており、並列ガーベジコレクションを持つ GHC RTS (Runtime System) やいくつかの並列/並行ライブラリを実装している。そのため、並列/並行プログラミングには、驚く
Use ScalaBlitz optimize block, to make collection operations faster! Simply import the scala.collection.optimizer package, and take full advantage of it. Eg. this example becomes 2x faster! import scala.collection.optimizer._ def average(x: List[Double]) = optimize { x.sum / x.size } import scala.collection.par._ import Scheduler.Implicits.global (0 until 15000000).toPar.reduce(_ + _) With ScalaBl
グラフ問題とバルク同期並列の常識をGiraphで体得:ビッグデータ処理の常識をJavaで身につける(5)(1/3 ページ) Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク/ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 ソーシャル時代の「グラフ問題」の重要性 「グラフ問題」とは、どのようなものか、ご存じでしょうか? ご存じでない方でも実は、「グラフ」を活用したシステムを日常的に使っているのです。 その1つは「Google」「Yahoo!」といった、Webの検索システムです。Webの検索システムでは、検索結果の表示順の判断基準の1つとして、Webページの重要度を示す「PageRank(ページランク)」と呼ばれる指標を用います。このPageRankは「注目に値する重要なWebページは、たくさんのページ
Haskell Distributed Parallel Haskell Haskell distributed parallel Haskell (HdpH) is a Haskell DSL for parallel computation on distributed-memory architectures. HdpH is implemented entirely in Haskell but does make use of a few GHC extensions, most notably TemplateHaskell. HdpH is described in some detail in the paper Implementing a High-level Distributed-Memory Parallel Haskell in Haskell. The pap
2013/Nov/24に開催された"Parallel and Concurrent Programming in Haskell" (by Simon Marlow) の読書会第7回についての呟きをまとめました。今回で最終回。Haskellに限定せず、並行、並列プログラミングの基礎を学べる非常に良い本でした。お疲れ様でした!
いや、Scalaに詳しい人からすると当たり前かもしれませんが、今まで知らなかったので…。 通常、Scalaで例えばListの和を求めようと思うとfoldLeftとかreduceLeftとかを使うと思いますが、並列コレクションを使った場合って、これって並列に実行されると困りますよね? 実際、scala.collection.parallel.ParIterableLike.scalaを見ると、単純にオリジナルのシーケンスの各メソッドを呼んでいるだけになります。 // Source from Scala 2.9.2 ... def foldLeft[S](z: S)(op: (S, T) => S): S = seq.foldLeft(z)(op) def foldRight[S](z: S)(op: (T, S) => S): S = seq.foldRight(z)(op) def red
2013/Oct/27に開催された"Parallel and Concurrent Programming in Haskell" (by Simon Marlow) の読書会第6回についての呟きをまとめました。"STMでもまだ弱い!抽象化だ!もっと抽象化したAPIを!" さくっと把握したい向きは最後の井上さんによるまとめを読みましょう。
The Glorious Glasgow Haskell Compiler.
The document discusses inter-process method invocation in Android using Binder and AIDL. It describes how Binder allows processes to communicate across memory spaces using a kernel driver. The document outlines how AIDL generates proxy and stub classes to allow a caller process to invoke methods on a callee process via an interface. It provides an example of how the ActivityManager uses Binder to
lvish: Parallel scheduler, LVar data structures, and infrastructure to build more. A programming model based on monotonically-growing concurrent data structures. As a starting point, look at the main module, Control.LVish, as well as one of these papers: FHPC 2013: LVars: lattice-based data structures for deterministic parallelism (http://dl.acm.org/citation.cfm?id=2502326). POPL 2014: Freeze afte
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く