Apache Spark Streaming＝大規模準リアルタイムストリーム処理？ - 夢とガラクタの集積場
こんにちは。 Sparkについて調べてみよう企画第２段（？）です。 １回目はまずSparkとは何かの概要資料を確認してみました。 その先はRDDの構造を説明している論文と、後Spark Streamingというストリーム処理基盤の資料がありました。 とりあえず、そんなわけで（？）お手軽に概要がわかりそうなSpark Streamingの方を調べてみました。 まず見てみた資料は「Overview of Spark Streaming」（http://spark.incubator.apache.org/talks/strata_spark_streaming.pdf）です。 というわけで、読んだ結果をまとめてみます。 Spark Streamingとは何か？ 大規模ストリーム処理フレームワーク ・100オーダーのノードにスケールする ・秒単位のレイテンシで処理を実行可能 ・Sparkのバッチ
クッキーのSecureフラグはリバースプロキシに立てさせたい - Qiita
HTTPクッキーで秘密情報、例えばログインセッションIDなどを扱う場合はSecureフラグを立てるのが定石です（例え秘密情報を扱わないとしても立てるのが定石と考えるべきかもしれません。セキュリティテストでは機械的に問題点として検出されてしまいますから）。 Secureフラグとは「HTTPS通信時にしか送り返さないでください」というブラウザへの指示。 などと、Set-Cookieヘッダにsecureと追記することで実現します。こうしておけば、平文通信に秘密情報が流れてパケットキャプチャで盗聴されてしまうという心配がなくなります。 開発時にはsecureフラグが邪魔だったり というわけでまともなユーザアカウント管理のあるWebシステムならsecureフラグは当然付けなければいけないのですが、問題は開発中です。 開発マシンのローカルにサーバを立てて動かしているときなど、HTTPSアクセスってこと
Commons Imaging – Commons
Imaging Overview Mailing Lists Issue Tracking Source Repository Javadoc Javadoc Archive Download Documentation Why Use Imaging Getting Started Sample Usage Format Support History Sanselan Incubation Status Reports References Sample Images Roadmap Project Documentation Project Information About Summary Team Source Code Management Issue Management Mailing Lists Dependency Information Dependency Mana
Home · mechamogera/MyTips Wiki · GitHub
action script action script3でhello world action script3でクロスドメインの画像読み込みを試してみる apache Apacheでand条件でアクセス制限を試してみた Apacheで他のサイトを自分のサイトのように表示してみる Apacheでクライアント認証してみる Apacheのクライアント認証をIPアドレスによっては不要にしてみる git-flow git flowをgitプロトコルが許可されていないproxy越しにhomebrewで導入する jenkins jenkinsプラグイン Jenkins Tips opencv opencvとc＋＋で画素ごとのアクセスをやってみる squid Amazon Linuxのsquidで帯域制御したフォワードプロキシをたててみる squidで相手先に送信されるプロキシサーバーの情報を隠してみる
[Java]Apache MINA sshdでオレオレsshサーバを作ろう - 2014-03-30 - 新・たけぞう瀕死の日記
GitBucket 1.12ではssh経由でのリポジトリアクセスをサポートしていますが、これに使用しているのがApache MINAのsshdです。 https://mina.apache.org/sshd-project/index.html Apache MINAはNIOを使用したTCP/IP、UDP/IPベースのネットワークサーバアプリケーションのためのフレームワークで、sshdはMINAを使用して実装されたsshサーバということになります。MINAのsshdは比較的簡単に再利用できるようになっており、Javaアプリケーションでsshを使用した暗号化通信を行いたい場合に使用することができます。 Javaを使用したOSSのsshdの実装を提供しているのは僕の知る限りMINAだけであり（クライアントはいくつか実装がありますが）、JenkinsやGerritなどもこれを使ってsshサーバの
![[Java]Apache MINA sshdでオレオレsshサーバを作ろう - 2014-03-30 - 新・たけぞう瀕死の日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/a205d4a9146ab0dbe72124456bb2cc09672e9600/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Ft%2Ftakezoe%2F20140330%2F20140330191439.png)
JavaとApache MINAでお手軽にSSHサーバ作成 - Qiita
はじめに Apache MINAを使うとJavaで簡単にSSHサーバを作ることができます。 以下はEmbedding SSHD in 5 minutesを元にしたSSHサーバのソースです。 ソース package org.example.ssh; import org.apache.sshd.SshServer; import org.apache.sshd.common.NamedFactory; import org.apache.sshd.common.io.mina.MinaServiceFactory; import org.apache.sshd.common.util.OsUtils; import org.apache.sshd.server.Command; import org.apache.sshd.server.PasswordAuthenticator; impo
3つのWebサーバの比較分析（apache ,lighttpd,nginx） - オープンの力 - オープンソースの力
一．ソフトウェアの紹介(apache lighttpd nginx) 1. lighttpd Lighttpdは非常に低いメモリオーバーヘッドであり、CPUの稼働率が低く、性能がよい、モジュ ールが豊富です。 lighttpdはより多くの優れたオープンソースの軽量Webサーバーのなかで、とても素晴らしいです。 FastCGI、CGI、Auth、出力圧縮（output compress）、URL書き換え、Aliasなどの重要な機能のサポート。 Lighttpdはfastcgi方式でPHPを運行しているため、非常に少しのPHPプロセスで大量な並行処理を実現できます。 fastcgiの利点： ·安定性から：FastCGIは独立なプロセスプールでCGIを実行する。 ·安全性から：fastcgiはserverと完全に独立する。 ·性能から： fastcgiはserverから動的ロジックプロセスを
Apacheでreverse proxyするときに、受けのパスに応じて異なるタイムアウト値を設定する方法 - （ひ）メモ
Apacheでreverse proxyするときに、バックエンドは同じなんだけど受けるパスに応じて別なタイムアウト値を設定しようとしてハマったのでそのメモです。 以下、Apache 2.2.22 でのお話です。2.4でどうなってるか、どなたかご存知でしたら教えてください＞＜ まず思いつくのはこんな設定だと思います。 ProxyTimeout 7 ProxyPass /3sec/ http://127.0.0.1:9999/ timeout=3 ProxyPass /5sec/ http://127.0.0.1:9999/ timeout=5バックエンド (127.0.0.1:9999) は、こんなのを動かしておけば十分です。 $ while true; do echo listen...; nc -l 9999; doneこれでクライアントでアクセスしてみると… $ time curl h
Webサーバの性能を測る | IIJの技術 | インターネットイニシアティブ（IIJ）
UNIX系のOSで利用できるWebサーバの性能測定ツールといえば、Apache Benchやhttperfを思い浮かべる人が多いのではないでしょうか。これらの計測ツールは、残念ながら最近の高速なWebサーバを計測するには非力です。この記事では、高速なWebサーバにも負けないweighttpの使い方を紹介します。 weighttpとは何か weighttpは、Webサーバlighttpdの開発者が実装したWebサーバの性能測定ツールです。以下のような特徴を持ちます。 Webサーバのスループット（リクエスト毎秒）を測定できる ネイティブスレッドを複数起動し測定性能を向上できる libevを利用することで、モダンなポール・システムコールを利用する Apache Benchによく似たコマンドラインオプションを持つ 2.は Apache Benchやhttperfにはない機能です。ここが決定的に異な
Apache Sparkってどんなものか見てみる（その１ - 夢とガラクタの集積場
こんにちは。 Kafkaを試している最中で微妙ですが、最近使えるのかなぁ、と情報を集めているのが「Apache Spark」です。 MapReduceと同じく分散並行処理を行う基盤なのですが、MapReduceよりも数十倍速いとかの情報があります。 ・・・んな阿呆な、とも思ったのですが、内部で保持しているRDDという仕組みが面白いこともあり、 とりあえず資料や論文を読んでみることにしました。 まず見てみた資料は「Overview of Spark」（http://spark.incubator.apache.org/talks/overview.pdf）です。 というわけで、読んだ結果をまとめてみます。 Sparkとは？ 高速でインタラクティブな言語統合クラスタコンピューティング基盤 Sparkプロジェクトのゴールは？ 以下の2つの解析ユースケースにより適合するようMapReduceを拡張
ApacheのRewriteRuleで検索条件に^/がマッチしない場合がある理由 - このブログはURLが変更になりました
ApacheのRewriteRuleで「/hoge/配下にアクセスがあったら http://example.jp/fuga/ に301リダイレクトを行う」ってな処理を書く場合、先頭に/が必要な場合と必要ない場合がある。 RewriteEngine on # これでいける場合もある RewriteRule ^/hoge/(.*) http://example.jp/fuga/$1 [R=301,L] # こう書かないとダメな場合もある RewriteRule ^hoge/(.*) http://example.jp/fuga/$1 [R=301,L] この先頭に/が必要不要の違いはなんだろうなーと思っていたが、先日理由がわかった。 Apacheのドキュメントにしっかり書いてあった。 RewriteRule Directive What is matched? In VirtualHost c
Apache 2.4系でのモダンなアクセス制御の書き方
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 これまでのApache2.2系以前でのアクセス制御の書き方は賛否両論でした。僕はあまり好きじゃありませんでした。 過去のアクセス制御に関しては、以下の記事がとてもわかりやすくまとめられていると思います。 こせきの技術日記 – Apacheのアクセス制御をちゃんと理解する。 ここで、以下のように言及されています。 こんなバッドノウハウ、本当はどうでもいいと思う。Apache 3.0では、かっこいいDSL(VCL)で書けるようにする構想があるらしいのでがんばってほしい。 ということで、2.4系ではDSLとはいかないまでも、Require*というディレクティブを使ったモダンな書き方ができるようになったので、それを2.2系以前のアクセス制御の記述と比
LTSV FAQ - LTSV って何? どういうところが良いの? - naoyaのはてなダイアリー
LTSV って何? Labeled Tab-Separated Values という、テキストのフォーマットの仕様です。CSV や TSV や JSON そのほかと同じ、テキストデータのフォーマット名。主にログ、特に httpd のアクセスログなどに適用すると便利です。 仕様は http://ltsv.org にまとまっています。随時更新中です。 LTSV は単なるログのフォーマットであって、それ以上でもそれ以下でもありません。 LTSV ってタブ区切りで値に名前を付けただけのもの? はい、そうです。 これが 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/4.08 [en] (
ApacheとNginxの性能比較でevent_mpmの本気を見た
はい、これは僕がいつも良く見るApacheとNginxの性能差に見えます。大体、ApacheはNginxの75%程度の性能に落ち着きます。数十バイトの静的コンテンツに対するリクエスト処理はNginxの得意分野だと思っていたので、大体こんなものです。 そこで、真面目にevent_mpmのチューニングを行ってみました。で、幾度となくベンチを試した結果導き出した、静的コンテンツに対する同時接続数100程度に対して最高のパフォーマンスを示すevent_mpmの設定は以下のようになりました。 [program lang=’apache’ escaped=’true’] StartServers 4 MinSpareThreads 4 MaxSpareThreads 4 ThreadsPerChild 2 MaxRequestWorkers 2 MaxConnectionsPerChild 0 [/p
Apache TomEE
Apache TomEE, pronounced "Tommy", is an all-Apache Java EE 6 Web Profile certified stack where Apache Tomcat is top dog. Apache TomEE is assembled from a vanilla Apache Tomcat zip file. We start with Apache Tomcat, add our jars and zip up the rest. The result is Tomcat with added EE features - TomEE. Download Apache TomEE Now » and get started today! The Web Profile version of TomEE contains CDI
Overview — Phusion Passenger™ (a.k.a. mod_rails / mod_rack)
Supercharge Your Web App Passenger has a myriad of features that are invaluable to today’s web apps and microservice APIs. You get these benefits (and more) by simply installing Passenger with Nginx or Apache. Learn how. Optimization Passenger was built with high performance and efficiency in mind. With Passenger’s zero-copy architecture, turbocaching and support for multiple concurrency models, y
CentOS6にApache2.2.22とMySQL5.5.xxをインストールする | logw-ログウ個人的な記録用-
現在新しいVPSサーバーを契約しました。logwも今度はこのVPSに移す予定です。そのサーバーにApacheの最新版をインストールしたのでそのメモです。 スペック OS：CentOS6(64bit) メモリ：2GB HDD：200GB となります。このサーバーにApacheの最新版などをインストールします。 EPELの追加 rpm -ihv http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-7.noarch.rpm 最新版は常にリンク先で確認してください。http://dl.fedoraproject.org/pub/epel/6/x86_64/ リポジトリの編集 viエディタで開いてリポジトリの編集します vi /etc/yum.repos.d/epel.repo enabled=0に変更します <div class
サーバーの設定をカスタマイズ、よく利用する「.htaccess」の設定のまとめ
.htaccess For All 下記は各ポイントを意訳したものです。 「.htaccess」ファイルを編集する際は、必ずバックアップをとることをお勧めします。 .htaccessファイルの作成とアップロード .htaccessの使い方・有効範囲 .htaccessのよく使う設定のまとめ .htaccessファイルの作成とアップロード 「.htaccess」ファイルを作成することは非常に簡単です。 テキストベースのアプリケーションを開き、ワードラップ機能をオフにしてコードを記述し、ファイルを保存します。 Windowsのメモ帳などを使用すると保存する際、ファイル名に「.txt」が加わってしまいます。 .htaccess.txt これは特に問題ありません。 ファイルをアップロードした後、サーバー上でリネームしてください。 .htaccess ファイルをアップロードする際は、ASCIIモード
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Isis: ドメイン駆動設計のためのJavaフレームワーク
TechCrunch | Startup and Technology News
