Webサーバログ転送・ストリーム処理系私案 - たごもりすメモ
HTTPアクセスログをHiveが読める書式への変換やその他必要なデータ変換などストリーム処理で行いつつ転送して最終的にHDFSに時間ごとに書き込むぜー、というシステムを作ってる途中なんだけど、だいたい部品が揃いつつあるところでいったんまとめて書き出してみて見落としがないかどうか考えてみるテスト。 実在のシステムとは異なる可能性があるので(特に後日これを読む人は)あまり真に受けないほうがよいです。あと解析処理自体はHadoop上でHiveでやるのが大前提で、そこにデータをもっていくまでがここに書く話です。 (12/1 考えた末、構成を変えることにしたのでエントリ後半に追記した。) 前提システム 既にscribeを使用したログ収集・配送・保管系がある。各Webサーバは scribeline を使用してログをストリーム転送する。 scribelineのprimaryサーバとして配送用サーバ、se
進化するJavaライブラリ、Guava
GoogleのJavaユーティリティライブラリであるGuavaは、今年9月28日にリリース10.0.0を迎えました。新たなAPIも追加され、更なる進化を遂げています。（執筆時点での最新リリースは10.0.1） 今回は、まだベータ版ながら新しく追加された興味深いAPIを４つ紹介します。 他のAPIについても、JavaDocなどで@Betaアノテーションがついているものはベータ版ですので、今後のリリースで変更される可能性があります。 Stopwatch プログラムの実行時間を計測したいとき、よく使われるコードがあります。 long t1 = System.currentTimeMillis(); someExpensiveCompute(); long t2 = System.currentTimeMillis(); System.out.printf("time: %sms%n", t2 -
便利なVimのOperatorをマスターする｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
operator-commentとoperator-sortは私が作ったプラグインです。 後に動作を詳しく説明します。 私が定義しているoperator operator-comment これは、ソースコードをコメント・コメントアウトするoperatorです。 .vimrcに定義していましたが、長くなったのでプラグイン化しました。 コメント文字列は'commentstring'を見ているのでカスタマイズしたい場合は適宜設定して下さい。 マッピングはarpeggioを使って、oと任意のキーの同時押しにマッピングしています。 operatorのマッピングは2回繰り返して押すと行に対する動作になるので、シングルストロークのマッピングの方が便利です。 しかし、キーはなかなか空いてないので、同時押しにマッピングできるarpeggioを使っています。 Arpeggio map oc <Plug>(op
レノボのリモコンキーボードN5902を使って設計者のドラマを想う
レノボのキーボードN5902をレポートします。レノボの出しているリモコン型キーボードです。結論から言うと、プレゼンと家族の団欒にはすさまじく使えるいいデバイスです。メリットはUSBによる接続の簡単さ、ゲームコントローラのような持ちやすさとホールド感とキータッチです。最大のデメリットは亜空間レベルの変態キー配列です。 無線キーボードのくせにUSB接続です。小さい小さいUSBのトランシーバーを指すだけです。刺せばいきなり動きます。USBのHID(=キーボードやマウスの意味)接続なのでWindowsでもMacでもLinuxでもトライバのインストールをすることなくいきなり動きます。Bluetoothのようなペアリングなども一切なしです。最初、どうしていまどきUSBでHIDデバイスなのか全く理解できませんでしたが、HIDデバイスなので、指せば動くという手軽さを考えるとアリなんだなぁと思いました。 現
自宅のネット回線をWiMAXにして出費を抑える技 (1/2)
UQ WiMAX（以下WiMAX）が着実にサービスを強化しており、今やモバイルユーザー以外にもオススメできるようになってきた。昨年7月に「一皮むけたWiMAXを使って通信コストを抑える技」で紹介した時は9000局だった基地局も、2011年5月には1万5000局を突破している。魅力的なプランや製品も登場。今回は、自宅とモバイルのインターネット回線をWiMAXにまとめる技を紹介しよう。 コストパフォーマンスがいいWiMAX WiMAXの基地局は増加し続けており、まだそのペースが落ちていない。駅前から離れたり、ビル街で圏外になっていた2年前とは格段に良好な環境になっている。少しくらい建物の中に入ってもいきなり圏外になるようなことはなく、普通に利用できる。WiMAXの通信速度は下り最大40Mbps、上り最大10Mbpsと、3G通信と比べて高速。自宅では大容量データを扱うことが少ないという人なら、固
Vimの使い方―Tips
検索を行う際に、検索する文字のスペルは分かっているが、先頭が大文字であったかを覚えていない場合に小文字だけで大文字もヒットさせたり、大文字で構成 されている単語ということが分かっているときに、大文字で検索文字を入力して小文字をヒットさせないようにすることができる設定です。 この設定により、全て小文字で検索文字を入力した場合は、大文字、小文字に関わらず検索にヒットするようになります。逆に、検索文字に大文字 を含めると大文字と小文字を区別して検索されるようになるため、検索をするときに、Shiftキーを押したりCapsLockをする必要がなくなります。 この設定の前に「:set ignorecase」により、大文字と小文字の区別を行わないようにする必要があります。このオプションは正確には、検索パターンに大文字が含まれると きに'ignorecase'のオプションをOFFにする設定です。
vi
viに慣れてくると重宝するコマンド群である。 それでは、例などを示してみる。次のような文があるとしよう。 Cast in the name of god, ye not guilty. nameのaの位置にカーソルがある。 ここで、次のようにコマンド入力する。 0 $ w W fe Ft; te Te すると、次のように移動する。 Cast in the name of god, ye not guilty. Cast in the name of god, ye not guilty. Cast in the name of god, ye not guilty. Cast in the name of god, ye not guilty. Cast in the name of god, ye not guilty. Cast in the name of god, ye not g
vimでのカーソル移動
キー操作で高速で快適に移動可能 テキスト編集ではカーソル移動作業が多いですね。 vimエディタでは、多くのカーソル移動をキーボードに割り当ててています。 このため、ホームポジションから手を離さずに高速に操作できます。 また、カーソル移動だけでなく、領域を指定する操作の多くは、カーソル移動と共通のキーが割り当てられています。 上下左右への移動 vimエディタでは、上下左右への1文字移動はコマンドモードでh、j、k、lの4文字に割り当てられています。 右手のホームポジション付近のキーを割り当てているため、入力しやすくなっています。 (矢印キーも利用可能ですが、上記4文字を利用したほうが高速です。) h カーソルを左へ移動します。 j カーソルを下へ移動します。 k カーソルを上へ移動します。 l カーソルを右へ移動します。 行の先頭、末尾への移動 行の先頭、末尾への移動は、コマンドモードで0、
viエディタで，挿入モードの時に，カーソル移動させたい． - viエディタにおいて，カーソルの移動は，「H」「J」「K」「L」の４つのキー... - Yahoo!知恵袋
viエディタで，挿入モードの時に，カーソル移動させたい． viエディタにおいて，カーソルの移動は， 「H」「J」「K」「L」 の４つのキー操作によって行います． そして，挿入モードの時には， 「H」「J」「K」「L」 を押すと，そのまま文字として入力されてしまいます． 質問： viエディタで，挿入モード時に，カーソルを移動させる方法を教えて下さい． 上下左右の矢印キーでカーソル移動は出来ますが，せっかくviを使っているので，なるべく 矢印キーは使いたくないです． かといって，カーソル移動をするたびに，挿入モードからノーマルモードに戻る のは面倒です． 皆さん，「そもそも一文字づつ動かすことは少ない，したがって，HJKLを頻繁には使うことは無い」との立場ですが，私には，プログラムを書く時に，先ず括弧を入力してから，その括弧の中身の処理を書く，という癖が付いているのです． だから，まず（）と入
Java デバッグツール NetBeans Profiler
目次 NetBeans Profilerについて 機能 動作環境 インストール サンプルプロジェクト プロファイリング リモートプロファイリング >> NetBeans ProfilerによるTomcatのリモートプロファイリング NetBeans Profilerについて NetBeans ProfilerはNetBeansにおけるプロファイリング機能を提供するツールです。共にSUNがスポンサーとして開発が続けられているプロダクトで、商用/非商用を問わず無償で利用できます。 動作環境に制限はあるものの、無償でありながら非常に便利な機能を持っており、また開発現場への導入が容易であるという特徴も持っています。 機能 以下の機能を持っています(http://profiler.netbeans.org/features.htmlより)。 低コストプロファイリング(Low overhead pro
Webアプリケーション開発入門
This tutorial needs a review. You can edit it in GitHub following these contribution guidelines. このドキュメントでは、NetBeans IDEを使用してWebアプリケーションを開発する基本的な手順を学習できます。単純なWebアプリケーションを作成し、サーバーにデプロイし、その表現をブラウザに表示する方法を示します。このアプリケーションはJavaServer Pages(tm) (JSP)ページを使用して、名前の入力を求めます。次にJavaBeansコンポーネントを使用してHTTPセッションの間その名前を維持し、2つ目のJSPページに出力するために名前を取得します。
1. サーブレットの設定と実行
1.1. サーブレットの特徴 CGI（Common Gateway Interface）はWebサーバと外部プログラムを連携させる仕組みとして広く普及しています。CGIのプログラムの代表的言語はPerlで、掲示板など多くのWebプログラムがPerlで作成されています。しかしCGIには１つ欠点があります。クライアントから要求があるたびに、外部プロセスを１つ起動する点です。このため多くの要求がある場合には、極端にレスポンスが悪くなるという欠点を持っていました。 この解決策として登場したのが、WWWサーバに外部プログラムを実行するためのエンジンを組み込む方法です。ASPやPHPはこの方式を取っており、要求があるとWWWサーバーのプロセス内でスクリプトが実行され、応答が返されます。 サーブレットもASPやPHPと同じく専用のエンジンでプログラムが処理されますが、WWWサーバの中に組み込まれていませ
EclipseでTomcatアプリの開発。HelloWorldサーブレットを動かす。
EclipseでTomcatアプリ(サーブレット) HelloWorldのサーブレットを動かす いよいよEclipseを使って、Tomcatアプリの開発を行います。 そのサンプルとしては、いつもどおり「HelloWorld」です。 「HelloWorld」を利用して、まずパッケージとクラス の概念を理解する。 さらに、設定ファイル(web.xml)もサンプルを通して理解し、動かしてみましょう。 動的Webプロジェクトを作る Tomcatで動くプロジェクトは、Eclipseで動的Webプロジェクトと定義されています。 「ファイル」→「新規」→「動的Webプロジェクト」を選びます。 プロジェクト名に「tomcat_test」を入れて、「完了」をクリック。 ※空白や全角はNGです。 Eclipse上に「tomcat_test」ができましたね。 一応、エクスプローラで ワークスペースを確認します。
連載：Tomcatを使う「JSPプログラミング」 第2回
前回はJSPとはどのようなものであるかを説明しました。2回目の今回は、実際にJSPを動作させるための環境を整え、Tomcatに付属するサンプルプログラムの実行と、自分で書いたJSPプログラムを実行するまでの方法を説明します。読むだけではつまらないですから、実際にJSPを動かしてみましょう。 また、本稿の目的はJSPプログラミングですので、Apacheの設定については簡単に紹介しています。より詳細を知りたい方はLinux Squareの「ApacheによるWebサーバ構築」を参考にしてください。 第1回でも説明したように、JSPはマイクロソフトのASP（Active Server Pages）と異なり、さまざまなプラットフォームで動作するというメリットがあります。これがJSPの優れている点なのですが、プラットフォームごとに環境構築の方法が異なってしまうため、JSPの敷居を高くしている要因にも
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最近リリースされた高品質なフリーのデザインフォント -2011年11月
Netflix TechBlog
xampp+tomcat+netbeansでjsp環境の設定のメモ。 | cam-len