GitHub - influxdata/influxdb-comparisons: Code for comparison write ups of InfluxDB and other solutions
In an attempt to make our performance comparison both realistic and relatable, we decided to build our benchmark suite according to real-world use cases. Micro-benchmarks are useful for database engineers, but using realistic data helps us better understand how our software performs under practical workloads. Currently, the benchmarking tools focus on the DevOps use case. We create data and querie
Elasticsearchへのクエリが突然Failし始めた時の対処(fielddata cacheがデフォルト無限で泣いた話) - Qiita
Elasticsearchにクエリ投げても突然応答しなくなるという事象が発生し、調査してみたので内容をシェア。 ##出たエラー 突然Elasticsearchのクエリがfailし始めて、Kibanaのグラフが応答しなくなったという話が上がる。。 ログ見てると、下記の用語が怪しいので調査 ####うちの環境だと、HEAP_SIZEを18gにしていたので、まさにこのエラーは、[indices.breaker.fielddata.limit]でひっかかっている。(18g*60%=10.8g...) OOM(OutOfMemory)を制御する為の機構 デフォルト値は下記 [indices.breaker.fielddata.limit] The fielddata circuit breaker limits the size of fielddata to 60% of the heap, by
Elasticsearchインデックス作成におけるパフォーマンス考慮事項
Update November 2, 2015: If you're running Elasticsearch 2.0, check out this updated post about performance considerations for Elasticsearch 2.0 indexing. 小さなログラインドキュメントの追加から、Webスケールコレクションの大きなドキュメントのインデキシングまで、Elasticsearchユーザーの導入事例は多岐にわたります。多くの場合、インデキシングスループットを最大限にすることが重要な課題です。私たちはできるだけ「典型的」なアプリケーションに適するように、一般的なデフォルトを設定するようにしていますが、ここで説明する簡単なベストプラクティスを用いれば、インデキシングのパフォーマンスを向上させることができます。 まず、できれば巨大なJa
Python Kafka Client Benchmarking - Activision Game Science
NOTE: the code in shown notebook is hidden for better readability. To toggle on/off, click here. Python Kafka Client Benchmarking¶ Kafka is an incredibly powerful service that can help you process huge streams of data. It is written in Scala and has been undergoing lots of changes. Historically, the JVM clients have been better supported then those in the Python ecosystem. However, this doesn't ne
Tune for indexing speed | Elastic Docs
ECE ECK Elastic Cloud Hosted Self Managed Elasticsearch offers a wide range of indexing performance optimizations, which are especially useful for high-throughput ingestion workloads. This page provides practical recommendations to help you maximize indexing speed, from bulk sizing and refresh intervals to hardware and thread management. Indexing performance is also affected by your sharding and i
日銀が実験で確認、ブロックチェーン技術のファイナリティと可用性はトレードオフの関係に | さくらのナレッジ
ブロックチェーン技術（注1）の大きな特徴である可用性と、金融系システムで求められる決済の確定性（ファイナリティ）の間にはトレードオフの関係があります。日本銀行が行った実験結果は、このことを確認する内容となっています。 「ファイナリティ」は一貫性を重視した言葉 ブロックチェーン技術を情報システムに適用する場合に話題になることが多い言葉が「ファイナリティ」です。 ファイナリティとは、元々は金融業界の用語で「決済の確定」を意味します。ブロックチェーン技術に対してこの言葉が用いられるのは、決済処理の挙動が確率的であるブロックチェーン技術（詳しくは後述）に対して「ファイナリティがない」と表現する場合です。 ファイナリティが問題になる背景には、ビットコイン、Ethereum、NEM/mijinなどのブロックチェーン技術が実現している一貫性と、金融機関が情報システムに求めている一貫性の種類が異なるという
Configuring Apache Kafka for Performance and Resource Management | 4.1.x | Cloudera Documentation
CDH 6 includes Apache Kafka as part of the core package. The documentation includes improved contents for how to set up, install, and administer your Kafka ecosystem. For more information, see the Cloudera Enterprise 6.0.x Apache Kafka Guide. We look forward to your feedback on both the existing and new documentation. Apache Kafka is optimized for small messages. According to benchmarks, the best
Hiveのクエリを何倍も速くする４つの方法 - Qiita
はじめに HiveはHDFS上のデータをSQLで操作できるHadoopのエコシステムです。Facebook社により開発され、現在はApacheのトッププロジェクトの一つです。 Hiveがリリースされてから7年ほど時間が経ちました。 その間に他のビッグデータ用のSQLエンジンがいくつか登場しました。 これらのSQLエンジンの多くは、Hiveが苦手としていた低レイテンシなクエリの実行に応えることにフォーカスしています。 従来HiveのバックエンドはMapReduceで動いており、クエリを実行すると完了するまで数分から数十分、数時間の時間がかかりました。そのためアナリストの解析用途で利用するのは難しく、主にデイリーやアワリーの集計などのバッチ処理として利用されてきました。 しかしながら、現在もHiveの開発・改善は非常に活発に行われています。特にここ１〜２年の間にHortonworks社を中心と
Choosing an HDFS data storage format- Avro vs. Parquet and more - StampedeCon 2015
Choosing an HDFS data storage format- Avro vs. Parquet and more - StampedeCon 2015 At the StampedeCon 2015 Big Data Conference: Picking your distribution and platform is just the first decision of many you need to make in order to create a successful data ecosystem. In addition to things like replication factor and node configuration, the choice of file format can have a profound impact on cluster
Elasticsearch PHP Clients test drive
Cet article est aussi disponible en 🇫🇷 Français : Quel client PHP pour Elasticsearch. Update november, 26: some days after publishing this article, we got some very good feedback, especially on the benchmark part. The SearchSuggestion slowness of Elastica disappeared, and elasticsearch-php got some configuration and code love by Zachary Tong, improving its performances (Guzzle and systematic pin
MongoDB vs. Elasticsearch: The Quest of the Holy Performances - Quarkslab's blog
Posted Mon 23 March 2015 Author Le Maréchal Category Software Tags Ivy, NoSQL, MongoDB, Elasticsearch, development, software, 2015 A modest comparison between two ways of storing our unstructured data, from MongoDB to Elasticsearch. Introduction Historically, a significant part of QuarksLab's activity is composed of reverse engineering, malware analysis and offensive pentesting. But these occupati
Couchbase Performance Benchmarking
Sep 24, 201257 likes33,810 viewsAI-enhanced description The document summarizes a benchmarking study conducted by Altoros Systems to compare the performance of Couchbase Server, MongoDB, and Cassandra. It outlines the benchmark goals of having a reproducible workload, using a realistic scenario, and comparing latency and throughput. It describes the benchmarking tools, scenario details involving d
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Very low performance of g_mass_storage virtual usb device
https://eventmarketing.blob.core.windows.net/mstechsummit2018-after/CI22_PDF_TS18.pdf
Merge | Elasticsearch Reference [6.2] | Elastic
Any tips on how to optimize Kafka broker performance?
Rubyの文字列連結に関して知っておくべきこと - Qiita
GitHub - databricks/spark-perf: Performance tests for Apache Spark
Nordcloud – Cloud Services & Training
FireMotD - Dynamic MotD Generator for Linux Systems