[Apache Spark]RDDについて簡単にまとめてみた | DevelopersIO
はじめに t.hondaです。前回の最後に書いたように、今回はRDDについて書いてみたいと思います。 RDD(Resilient Distributed Dataset) RDDとは、以前にも書きましたが「不変(イミュータブル)で並列実行可能な(分割された)コレクション」です。Apache Sparkのプログラミングでは、このRDDにデータを保持して操作することがメインとなります。RDDの操作には用意されているメソッドを使うことで、Sparkは自動的に分散処理を行い、開発者は分散処理を意識することなくプログラミングできます。 RDDのメソッドの種類 RDDに保持したデータを操作するメソッドは大きく分けて2つに分類されます。「Transformations」と「Actions」です。「Transformations」はRDDを操作し、結果を新しいRDDとして返します。「Actions」はRD
![[Apache Spark]RDDについて簡単にまとめてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/976e6989ab538c58fa5b64a03837c916f8d9ba11/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FApache_Spark.png)
Apache Spark による推薦システム案件例
2015-03-21 #TokyoWebmining 44th の発表資料です。
楽しい可視化 ： elasticsearchとSpark Streamingの出会い | NTTデータ先端技術株式会社
0. ログやデータを取得した後は？ ログやデータの分析には、様々なアプローチが考えられるが、Apache Solrやelasticsearchといった全文検索エンジン製品にデータを蓄積し、その機能を用いて検索・集計・分析を行う方法がある。その際、データをそのまま蓄積するのではなく、各ツイート・各行に属性を付与（エンリッチメント）することにより、分析の幅は大きく広がる。 全文検索エンジンへのデータの投入では、Flume-ngやfluentdといったデータ収集製品を利用する実例が多い。しかし、リアルタイムにデータに対してエンリッチメントの前処理を行おうとした場合、処理が複雑になるにつれ、単体サーバーで動作するFlume-ngやfluentdでは処理能力が頭打ちになってくる。そこで、登場するのが、リアルタイムに大量のデータを処理することができるストリーミング処理系のビッグデータ関連技術である。
Apache Auroraの始めかた
OSC2015 Tokyo/Spring #osc15tk 2015年2月28日 14:00 - 明星大学 202 号室Read less
homebrewで環境構築 (php, mysql, composer, apache編) - Fish Bash Bosh
参考にさせていただいた記事 http://qiita.com/kawanamiyuu/items/7cb4da3d1fa0516cc573 http://qiita.com/livejam_db/items/b70caccdeece036a3797 http://tanakahisateru.hatenablog.jp/entry/20121001/1349093118 http://oshiete.goo.ne.jp/qa/8670980.html https://github.com/Homebrew/homebrew-php/issues/401 MySQL # インストールする brew install mysql mysql.server start # ルートパスワードを変更 mysqladmin -u root password YOUR_PASSWORD # 基本的なセキュ
apache を利用しての public_html が公開できない - 解 - ir9Ex’s diary
各ユーザーの home にある public_html が公開できないという 問題 について…… 謎は…全て解けた…！！ # ls -l /home drwx------ 23 ir9 ir9 4096 11月 6 07:28 ir9 嘘だぁぁぁぁッッッッ！！！！！！！ orz えーっとつまりは、selinux はぜんぜん関係ありませんでした。orz …ちくしょう……ちくしょう薔薇水晶め………！！！*1 追記 ユーザーのhome の other 権限は x だけでよいとの事です。 つまり、この場合 /home/ir9 は drwx-----x 23 ir9 ir9 4096 11月 6 07:28 ir9 だけあればＯＫとの事です。実際これで動きました。 ……よくわからんなぁ…。r がないと読めないんじゃまいか…？ つか、ディレクトリに対して x って一体何…！？ *1:割と１日＋α悩んだ
ApacheとNginxの性能比較でevent_mpmの本気を見た
はい、これは僕がいつも良く見るApacheとNginxの性能差に見えます。大体、ApacheはNginxの75%程度の性能に落ち着きます。数十バイトの静的コンテンツに対するリクエスト処理はNginxの得意分野だと思っていたので、大体こんなものです。 そこで、真面目にevent_mpmのチューニングを行ってみました。で、幾度となくベンチを試した結果導き出した、静的コンテンツに対する同時接続数100程度に対して最高のパフォーマンスを示すevent_mpmの設定は以下のようになりました。 [program lang=’apache’ escaped=’true’] StartServers 4 MinSpareThreads 4 MaxSpareThreads 4 ThreadsPerChild 2 MaxRequestWorkers 2 MaxConnectionsPerChild 0 [/p
JMeter - Apache JMeter™
The Apache JMeter™ application is open source software, a 100% pure Java application designed to load test functional behavior and measure performance. It was originally designed for testing Web Applications but has since expanded to other test functions. What can I do with it? Apache JMeter may be used to test performance both on static and dynamic resources, Web dynamic applications. It can be u
『ApacheのプロセスがどのPHPプログラムの処理をしているか調べる方法』
Apacheのプロセスを見てみて、異様にCPUやメモリを食ってる処理をしているような場合、それが何のプログラムを処理しているのか調べたいという場合があります。 調べてみると幾つかの方法があるようなので、まとめてみました。 PHPには、getmypid というプロセスIDを取得する関数が存在します。 それをプログラムに書いてロギングすれば、どのApacheのプロセスで処理をしているのかがわかります。 <?php $log = $_SERVER['PHP_SELF'] . " [ " . getmypid() . " ]\n"; $fp = fopen("/var/log/pid.log", "a"); fwrite($fp, $log); fclose($fp); 結果は、下記のようにプログラム名とプロセスIDが出力されます。 /hoge.php [ 25401 ] PHPでわざわざロギング
やっとわかった、リバースプロキシの設定の意味 - @kyanny's blog
いままでリバースプロキシの設定がよくわかっていなくて、すでに動いているサーバの設定を見よう見まねで使い回してきた。ちゃんと理解しようと思って、マニュアルを読み直したらやっとわかった。設定の方法 (How) がわかったこと以上に、なぜそう書く必要があるかという理由 (Why) を理解できたのが嬉しい。久しぶりに「わかった！」と叫びたくなった。感動を忘れないうちに、思い出せるように、書いておく。 mod_proxy - Apache HTTP サーバ バージョン 2.2 が Apache のプロキシ関連のマニュアル。 mod_proxy を使うことになる。 大事なディレクティブは、 ProxyPass と ProxyPassReverse のふたつ。 ProxyPass これがリバースプロキシをする上でのほとんどすべてのことをやってくれる。実は見慣れた (コピペし慣れた) 設定ではこのディレク
パフォーマンス改善やセキュリティに役立つ.htaccessの設定 | コリス
ウェブサイトのパフォーマンスの改善やSEO、セキュリティに役立つ.htaccessの設定を紹介します。 17 Useful Htaccess Tricks and Tips 備考：Apache チュートリアル: .htaccess ファイル、Apache コア機能 [ad#ad-2] .htaccessの設定：パフォーマンスやSEO関連 .htaccessの設定：セキュリティ関連 .htaccessの設定：パフォーマンスやSEO関連 .htaccessでタイムゾーンを設定 .htaccessでタイムゾーンを設定します。 例：東京 SetEnv TZ JST-9 もしくは、 SetEnv TZ Asia/Tokyo .htaccessで301リダイレクトを設定 .htaccessで301リダイレクト（永続的なリダイレクト）を設定します。 例：旧ファイル（old.html）、新ファイル（new
Apacheのアクセス制御をちゃんと理解する。 - こせきの技術日記
Apacheの設定で Order deny,allowとか Satisfy anyとか、なんだか意味わからん人のために。僕はずっとわかってなかった。 基本 Apacheのアクセス制御には、 ホストによる制御 (Order,Allow,Deny) ユーザ認証による制御 (Auth*, Require) の2通りがある。 Satisfyは、2通りあるアクセス制御の両方を満たす必要があるかどうかを決定する。デフォルトはSatisfy all。Satisfy anyなら、どちらか片方満たせばよい。 Order http://httpd.apache.org/docs/2.2/mod/mod_authz_host.html#order Order deny,allowは、全てのホストからのアクセスを許可する。 Order allow,denyは、全てのホストからのアクセスを拒否する。 Order d
Apacheパフォーマンス・チューニングのポイント
現状の測定（ベンチマーク）と結果の着眼点 ここからはApacheに着目して、パフォーマンス・チューニングのための準備を行う。チューニングするに当たって、まず現状を十分に分析し、具体的な目標を定めることから始めたい。目標をどれだけ具体化するかはともかくとしても、現状を数値的に知りもせずに、漠然と「遅い遅い」と騒いでいても仕方がない。 現状を数値的にとらえるにはツールが必要となる。いわゆるベンチマーク・ツールだ。Apacheには、標準で「ab」（Apache Bench）というツールが付属している。abの構文は、
サイトを公開する際に最低限抑えておきたい Apache の設定 | バシャログ。
こんにちは nakamura です。最近トルシエさんテレビ出すぎじゃありません？ウィイレヤロウヨ。オフサイドダヨ！ さてさて今回は意外と知られてないけど、サイトをインターネットに公開する際には知っておいた方が良い Apache の設定をいくつかご紹介します（一部 PHP の設定もありますが）。この設定をしていないからといって即危険にさらされるという訳でもありませんが、リスクの芽は摘んでおくに越した事はありませんよね。 無駄な HTTP ヘッダを返さない ディストリビューションにより異なるかもしれませんが、CentOS デフォルトの設定の場合 Apache が返してくる HTTP ヘッダは以下のようなものです。 HTTP/1.1 200 OK Date: Mon, 05 Jul 2010 01:01:14 GMT Server: Apache/2.2.3 (CentOS) X-Powered
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Graphite Setup for CentOS
Av-jyo.com
APC（Alternatice PHP Cache） | へっぽこにっき
bayashi.net
新卒インフラエンジニア２年目
IDEA * IDEA