TuningAndDebugging.ppt
1 Hadoop Map-Reduce – Tuning and Debugging Arun C Murthy acmurthy@apache.org Yahoo! CCDI 2 Topical Matters… • Who doesn’t know Map-Reduce?! • Peek inside your MR application… • Tuning • Debug (god forbid!) Counters … • Often MR applications have countable ‘events’ • For e.g. the Map-Reduce framework ‘counts’ the bytes read/write on HDFS and the local filesystem • To define your own: – sta
prefork サーバーと thundering herd 問題 - naoyaのはてなダイアリー
Catalyst を POE で動かす Engine の Catalyst::Engine::HTTP::POE という実装が CPAN にあります。"Single-threaded multi-tasking Catalyst engine " だそうです。"Single-threaded" と言いつつも実装を覗いてみると環境変数 CATALYST_POE_MAX_PROC を 1 よりも大きく設定することで prefork する実装になってます。POEシングルスレッドではアプリケーション内で発生するブロックを避けることが難しいのでそのための実装じゃないかなと思います。 ところでこの Catalyst POE エンジン、prefork の実装はどのように行っているかというと POE から prefork と名の付いたイベントが発生するとおもむろに子プロセスを生成する、というのもの。複数の
MODULE.JP - Apache Portable Runtimeをあなたのプロジェクトに取り込む
Apache HTTP Server 2.x系でプラットフォーム依存部分を吸収し、一貫したAPIを提供するために利用されているライブラリAPR - Apache Portable Runtimeを、Apache以外のプロジェクトで利用するための方法。 Apache module APIの美味しいドコ取り APRを使用するとApache module APIで利用できていた リソースプール 扱いやすく安全な文字列処理関数 動的なデータ型 などを、Apache HTTP Server以外のプログラムで利用できます。さらに メモリマップドI/O 共有メモリ スレッド など、プラットフォームごとにAPIやオプションが異なる機能も、一貫したAPIで利用する事ができるようになります。 しかしASFの他のプロジェクトと同様に、APIのリファレンスマニュアルはあれど、その利用方法やサンプルに関するドキュメ
libapr(apache portable runtime) programming tutorial
INOUE Seiichiro <inoue@ariel-networks.com>2005/8/29 This is a tutorial on how to use libapr(apache portable runtime). 1. Tutorial Availability 2. libapr skeleton code 3. memory pool (apr_pool_t) 4. Error status (apr_status_t) 5. file handling 6. file lock 7. file-system directory handling 8. character string handling 9. time handling 10. command line options 11. memory map(mmap) 12. DSO(Dynamic Sy
Apache Performance Tuning - Apache HTTP Server Version 2.2
Please note This document refers to the 2.2 version of Apache httpd, which is no longer maintained. The active release is documented here. If you have not already upgraded, please follow this link for more information. You may follow this link to go to the current version of this document. Apache 2.x is a general-purpose webserver, designed to provide a balance of flexibility, portability, and per
Welcome to Apache™ Hadoop®!
A wide variety of companies and organizations use Hadoop for both research and production. Users are encouraged to add themselves to the Hadoop PoweredBy wiki page. 8 Aug 2018: Release 3.1.1 available This is the first stable release of Apache Hadoop 3.1 line. It contains 435 bug fixes, improvements and enhancements since 3.1.0 Users are encouraged to read the overview of major changes since 3.1.0
「Amazon EC2」と「Amazon S3」を実際に使ってみた、今度はEC2の操作環境セットアップ
前回はAWSのアカウントを作成したので、今回はEC2の操作環境のセットアップ方法です。実際に「Amazon EC2」を使用する方法は2つあり、ひとつはFirefoxのプラグインツール「Elasticfox Firefox Extension for Amazon EC2」を使ってビジュアル的に操作する方法とコマンドプロンプトを使ってコマンドライン入力する方法です。どちらの方法も紹介していますが、やはりビジュアル的な方が簡単に使えて便利な感じがしました。 セットアップの詳細は、以下から。 ・Amazon Web Servicesのホームページ Amazon.com: Homepage: Amazon Web Services ・Amazon EC2のホームページ Amazon.com: Amazon EC2, Amazon Elastic Compute Cloud, Virtual Gri
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
トップページ