性能測定道 実践編
みなさんはApache Arrowを知っていますか？ 普段データを処理している人でも今はまだ知らない人の方が多いかもしれません。しかし、数年後には「データ処理をしている人ならほとんどの人が知っている」となるプロダクトです。（そうなるはずです。） Apache Arrowはメモリー上でデータ処理するときに必要なもの一式を提供します。たとえば、効率的なデータ交換のためのデータフォーマット、CPU/GPUの機能を活用した高速なデータ操作機能などです。 一部のデータ処理ツールではすでにApache Arrowを使い始めています。たとえば、Apache SparkはApache Arrowを活用することでPySpark（PythonからApache Sparkを使うためのモジュール）とのやりとりを高速化しています。データ量によっては10倍以上も高速になります。（リンク先の例では20秒→0.7秒と約3
New Results Posted for the SQL “Big Data Benchmark”
Back in June, Patrick Wendell posted a first set of results in a “Big Data Benchmark” for large-scale query engines. Obviously a lot has happened in the space since then and so we have updated those results, re-running the tests on the latest versions of the previously tested systems (Redshift, Impala, Spark, and Hive) and including numbers for the Tez (Stinger) system. While all the systems exa
pumabenchmarks - Faraz Ahmad
MapReduce Benchmarks by Faraz Ahmad, Seyong Lee, Mithuna Thottethodi, T. N. Vijaykumar MapReduce is a well-known programming model, developed within Google, for processing large amounts of raw data, for example, crawled documents or web request logs. This data is usually so large that it must be distributed across thousands of machines in order to be processed in a reasonable time. The ease of pro
Kazuho at Work: Q4M - 0.6 release and benchmarks
Today I have uploaded Q4M (a Queue for MySQL) 0.6, which is basically a performance-improvement from previous releases. Instead of using pread's and a small user-level cache, Q4M (in default configuration) now uses mmap for reads with a reader/writer lock to improve concurrency. I also noticed that it would be possible to consume a queued row in one SQL statement. SELECT * FROM queue_table WHERE q
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tutorial: Micro 2014 BigDataBench
Log In - OOICI Confluence Site
