mod_setenvif を使って Apache のログを軽量化
Amazon Search とか不特定多数のユーザ向けにサービスを公開していると、外部からの画像のアクセスがログの 60〜70% を占めていましてログ解析とかする際に、ログサイズが大きくて時間がかかるばかりでなく、ムダにサーバの disk も占有してしまいます。最近では、１週間でログサイズが 2Gbyte 超えをしてしまうので、ログ削除だけでも大変です。 そこで、Apache のログ出力を mod_setenvif でカスタマイズすることでのログ軽量化を設定する事にしました。mod_setenvif は、Base モジュールに属するためデフォルトで include されるので普通は使用可能状態だと思いますが、意図的に --disable-module している場合は再コンパイルする必要があります。 Apache モジュール mod_setenvif とは？ mod_setenvif モジュ
Image::Magick を使って大量画像のサムネイル画像を一括自動生成
お仕事で素材集 CD-ROM 内の画像ファイル全２万点を全てリサイズして欲しいという依頼が来た。自社のコンテンツに使うためのリサイズ作業です。初めは OPTPiX webDesigner のバッチ処理で何も考えず 50 x 40 px にリサイズ。縦横比が違う画像が一杯なので何とも無惨な画像が数時間後にできあがった・・・orz 仕方がないので、PhotoShop のバッチ機能でトリミング〜リサイズ処理をやってみた。どうやら素材集の jpeg の圧縮パラメータが違うようでリサイズ後の保存時にダイアログが開いて圧縮パラメータをどうするかいちいち聞いてくる。OK ボタンを押すだけなのだが、全然バッチになってない・・・orz 仕方がないのでリターンキーを押下状態にしてセロハンテープを貼り付けて帰宅時に放置。今日の朝に完成しているはずだったけど、しっかりと PC がフリーズしてました・・・orz し
Cache::Memcached 1.21が突如クラッシュした
お仕事で使っているサーバが突如落ちた。データセンターまで 30 分ほどかかるのでリモートハンドサービスってのでリブートして頂いてますが、それでも 20 分くらいかかります。正直不便。まぁその話はおいておいて、どうにも腑に落ちないのですがログを見る限りエラーを吐いているのは Cache::Memcached らしい。 ってか半年ほど前にこの業務アプリに Cache::Memcached を入れて実装した機能があるんですがその間安定して動いていた。 が、突如としてこんなエラーを吐きやがった。 Use of uninitialized value in vec at /usr/local/lib/perl5/site_perl/5.8.6/Cache/Memcached.pm line 722. Use of uninitialized value in vec at /usr/local/li
あなたの作ったメール配信システムはエラーメール処理をしていますか？
今回はメルマガ等やメーリングリストのように大量のメールを配信するためのメール配信システムを自前で開発している方向けの情報（備忘録？）です。 大量のメールを配信する場合、配信できなかったエラーメールを適切に処理することが重要です。たとえば、 なんて感じです。適切なエラーメール処理なくば、知らず知らずのうちに SPAMer と同じようなメール配信をしていることになってしまうのです。かく言う僕の作ったメール配信システムも、それほどエラーメール処理を厳密に行っているわけではなく、何とかしないとなぁ〜と思っている今日この頃で、ちまちま資料を集め始めて仕様検討している次第です。
形態素解析 エンジン 一覧
ChaSen 日本語形態素解析システム CaboCha Support Vector Machines に基づく日本語係り受け解析器 JSplitter 日本語の単語抽出ツール MeCab ChaSenを基に開発された高速な形態素解析器 Sen Java 形態素解析エンジン すもも NTT 物性科学基礎研究所で開発された日本語形態素解析システム 大量の日本語データを高速に形態素解析することを目的 JUMAN 日本語の解析の研究を目指す多くの研究者に共通に使える形態素解析ツール Breakfast 富士通研究所が開発した日本語形態素解析システム KNP 日本語文の構文解析を行なうシステム SUFARY suffix arrayというデータ構造を用いて高速な文字列検索を行なう MACD Java RM用いた形態素解析システム Rosette Google、Amazon、Lycos 等名だたるサ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
