TokyoCabinet のデータサイズは 64GB 付近で性能劣化
当ブログでサービスを提供している AmazonSearch ですが、子ども部屋の確保が最大の理由で、自宅サーバから sakura VPS 2G へ一ヶ月ほど前に移行を行いました。移行手順は以前もご紹介した、ブログをさくら VPS へ移行手順に準じて行いました。 AmazonSearch は内部計算が複雑なため、さくら VPS では QPS（queries per second）が 5-6 程度しかでません。したがって、高速化を図るためレスポンス結果を TokyoTyrant（TokyoCabinet）にキャッシュする仕様で実装を行っています。先日まで安定運用できていたのですが、RDB（casket-a.tch） のデータサイズが 64GB 付近に近づいた時点で性能が急激に劣化して高負荷でレスポンスが返せない事象が発生しました。ちょうど 2012/6/2 15:30 付近からです。 [tts
私的利用のため環境省花粉観測システムのブログパーツ化
本サイト上に掲載されている資料・データ等の著作権は、環境省及び厚生労働省が保有します。 複製、転用、改変、販売、譲渡、翻案等二次利用及び営利目的とした利用を禁じ、本格運用後、詳細について決定することにします。 こちらも随分昔に記述した天気予報のメタデータと政治的なお話と同じ香りがします。環境省及び厚生労働省が観測していると言うことは、我々が納めている税金が使われていることになります。であれば国が提供する他のデータ同様に個人的に利用する分には利用しても良いのでは・・・。 と思って環境省水・大気環境局大気環境課に問い合わせてみましたがなしのつぶてです。まぁ前述の３つのツール類も結構前に世の中にでているけど存続し続けていることを考えると、察して知るべしと言ったところなのでしょうか・・・。 -- 追記 2011/4/12 -- 問い合わせメールに対して返信がありました。出展を明記することで掲載の許
お金儲けは楽じゃない - 書評 - 本気で稼ぐためのアフィリエイト
本書は著者がブログでも後書きでも言い切っているように、アフィリエイトの闇の部分をつまびらかにし、アフィリエイト業界の健全化への第一歩になれば・・・そんな著者の思いが込められています。 また、多くの人に読んで貰いたいという思いから、本書の印税は全て本書の広告（販売費）として使い切り、闇の部分を語る前半部分はネットでも無料公開するそうです。仮に本書を買わなかったとしても、無料で公開される部分だけでも、是非読んで貰いたい内容だと思います。 さて、僕が本書を要約するならこうなる。 アフィリエイトは理にかなった広告手法ではあるが、魑魅魍魎が巣食うのも事実。業界での検閲機能が追いついていないのが問題。 アフィリエイトは基本儲からない。今から稼ぎたいならコンビニでバイトでもした方が確実。業界の99％の売り上げはアフィリエイターの1％が売り上げている現状を認識すべき。世の中甘くない。 情報商材など甘い話は
漢字にふりがなを付与するルビ振りツールを公開
こども向けのサイトを作るときに考えなければならない要件の１つに、対象レベルをどこにあわせて漢字をどの程度使うか？ってのがあります。 あまりに平仮名ばかりだと逆に読みづらくなるため、ある程度漢字を使ってルビを振って対応することがあります。もっともブラウザによって見た目が結構異なるんですが、こども向けと考えると、ほぼ１００％に近い確率で ie アクセスとなります。とすると、すなおにルビタグを用いるのがスマートです。 ・・・なんて要件で、ここ最近苦労した覚えがあるので、次回から楽ができるようにツールを作りました。入力文字はなんでも良いのですが、html ソースを入力すると、ルビを振った html が出力される。そんなツールです。 開発当初は Mecab で形態素解析をしてルビを振っていたのですが、よく考えたら Yahoo! Web API でルビを付与するサービスがあったのを思い出しました。「Y
ダレニテ.comと似顔絵メール２の仕組みをちょっとだけネタばらし
もともとは「Perl で作る画像類似検索システムの考察」についての質問から始まった話がふくらんで、新サービスの顔認識エンジンの話になり、さらにそのままサービスの裏側の認識エンジン部分のシステム開発を手伝ってぇ〜って話になり・・・ そんな経緯で、似顔絵・アバターや占い、ショッピングサーチ、通信販売などをメインに事業展開されている AbiStudio.com さんからお声かけをいただき、 ダレニテ.comと似顔絵メール２のシステム開発にお手伝いをさせていただきました。宣伝ついでに、いろいろと仕組みのネタばらしもどうぞぉ〜ということでしたので、概要についてちょっと書いてみようかと思った次第です。 ■似顔絵☆メール２ ： http://kaome.net/ ケータイ等で撮影した画像をメール添付すると似顔絵の URL が送られてくる無料サービスです。 ■ダレニテ.com ： http://daren
ベンチャーだからこそ可能な手法 - 献本 - iPhoneとツイッターで会社は儲かる
AMN のメーリングリスト経由で、株式会社 EC studio 代表取締役 山本敏行氏 執筆の 「iPhoneとツイッターで会社は儲かる」 を献本いただきました。Amazon から直送されてきたので、はじめ何か注文してたっけ？となんだかよくわかりませんでした。ｗ すでに読み終えて数日経っているのですが、亀レスですがご紹介させていただきます。 読み終えての感想。この手法はベンチャーでしかあり得ないと思いました。幸か不幸か自分自身でもわかりかねる日々を送っておりますが、僕は今、いわゆる大企業とよばれる部類の会社で働いています。そのような環境下では本書の手法は稟議が下りず即刻却下になるんだろうな・・・と思いました。 ただ大変興味深く読ませていただきました。僕自身 twitter のアカウントは twitter が上陸した直後くらいに取得したのですが、楽しみ方が全くわからずログインもせず放置状態で
Oracle の B*Tree インデックスの内部構造についてお勉強中（その２）
まずは前エントリで書いた Oracle のインデックス構造図解を再掲から。 本題です。Oracle のインデックスの内容をダンプする TreeDump の使い方と解析方法について説明をします。これも定型文なので、覚えておいて損はないかと思います。特にインデックスに関して深追いするなら必須のテクニックです。参考にしたページは下記の２つです。 Bツリーインデックスに最高のパフォーマンスを（1/4） − ＠IT パフォーマンス劣化はインデックスのせいなのか!? をみっちり検証 − ＠IT 特に株式会社インサイトテクノロジーの記事が秀逸です。この会社の Oracle スキルは尋常じゃぁありませんね。お仕事で見ている DB システムでは、同社が開発している Performance Insight というツールを導入して Oracle を運用管理しているのですが、パフォーマンスチューニング、障害監視な
あなたにも献本お届けします・・・R+ のご紹介
一言で言うといわゆるモニター系のサービスなのですが、 ・金銭授受は無し ・当初商材はデジタル雑誌をメインとし、物流を廃し、なるべく多くのレビュアーに提供 ・レビュー記事や登録ブログはクローラ走らせて文章解析 などがポイントになっています。 第1回配本は、来週水曜発売の『ニューズウィーク日本版』（2009年7月8日発売号）です。 500部用意しました！ AMNさんでも展開しているように、通常モニターというと電子機器など高級品系を少数のブロガーに、 というケースが多いと思うのですが、デジタルコンテンツで多くのブロガーにレビュアーとしての きっかけをあげられないか、とちょっと違った方向を目指しています。 と言うわけで、今登録すれば初回の500部のレビューをすることができそうです。僕も数回献本をいただいてレビューをブログ上でやってますが、ちゃんと書こうと思うと、なかなかコレが難しいんです。 まぁ昔
Windows 標準コマンドで完全にディスク消去する方法
昨今の個人情報保護の関連もありますし、なにより自分が使っていたハードディスクを中古で売ったりするのであれば、なおさらのこと、中に入っていたデータは確実に消去したいものです。 さて、今日は時間もあるので、パソコン関連の使っていないパーツ類を整理することにしました。ここ1年間で使わなかったパーツ類は問答無用で捨てるというルール。コレは必要かなぁ〜と考え出すと全部捨てられないので・・・(;^_^A ・・・使っていないハードディスクが２つも出て参りました。 160GB と 80GB とこのご時世としては容量が極端に少ないので売り払うことに。 となれば、ハードディスクのデータは完全に消去しておきたいものです。いろいろ探してみたのですが、CD イメージ形式でリブートして・・・なんてのは面倒くさい。何より CD を焼く行為が面倒くさい。再起動する手間が面倒くさい。 調べていたら cipher.exe っ
memcached で SERVER_ERROR out of memory storing object というエラー
ちょっと前にエントリにも書いた業務アプリですが、セッション管理に repcached を使っています。repcached とは memcached にデータのレプリケーション機能を追加実装したもので KLab 株式会社が開発したソフトウェアです。レプリケーションの機能により可用性は飛躍的に向上しているかわりに、まぁぶっちゃけ速度はかなり犠牲になっています。※ベンチマークをとったわけではないけど負荷テストで体感できるくらい違う。 さて、今回のアプリケーションサーバの構成としては、Oracle RAC + memcached でオラクルでも快適なセッション管理を！ で書いたような以下の構成になっています。 memcached のメモリには 1GB を割り当てていたのですが、ちょっとメモリが少なかったようです。運用し始めて数日後にセッションが保持されない不具合にみまわれました。随所に warn
ＩＰＡ式ウェブアプリケーション脆弱性チェックリスト
先日書いた業務用アプリに関連するんですけど、うちの会社ではサービスをリリースする前に脆弱性監査を通す必要があります。会社の仕組みとしてそのような監査チームがあることが凄く助かっています。 さて、会社の脆弱性監査の内容は守秘義務等で書くことが一切できないのですが、ＩＰＡ（独立行政法人 情報処理推進機構）にて脆弱性対策についてのまとめ資料が公開されています。 情報処理推進機構：情報セキュリティ：脆弱性対策：安全なウェブサイトの作り方 ココで公開されている 「安全なウェブサイトの作り方 改訂第3版」 は全７６ページからなる脆弱性対策マニュアルになっていて、どのような脆弱性に対してどうのように対処すべきかが記載されています。この第３版は行ってみれば、脆弱対策2009年度版みたいなもん。新しい攻撃手法がどんどんでてくるのでその都度対策が必要なのですが、このマニュアル本に記載されている内容で、現在の対
Perl スクリプトで遅い場所を特定する方法 - Devel::Profiler / Devel::NYTProf
今仕事で書いてる Sledge アプリがあるのですが、先日負荷テストを行った結果びっくりすることに現行アプリの１０倍遅いことが判明してしまいました・・・orz Sledge フレームワーク自身が重くないことは今までの経験でわかってるのですが、どうにもソースを見直しているだけでは原因が特定できない・・・そんな活躍するのがプロファイラです。プロファイラの御陰で遅いヶ所を特定することができ、無事に想定するパフォーマンスを得ることができました。この内容に関してはまた別エントリにて。 さて、プロファイラを使うとプログラム実行時の各種情報を収集し、性能解析を行うことが可能です。プロファイラについてもう少し詳しくしるには 性能解析 - Wikipedia あたりを読むと良いでしょう。 プロファイラ（英: Profiler）は性能解析ツールであり、プログラム実行時の各種情報を収集する。特に、関数呼び出しの
Oracle 運用術 ： 運用監視でよく使う小ネタ SQL
前回ご紹介した Oracle 運用術でご紹介した ora_perf_report.sql でチューニング情報はだいたい取得可能なのですが、それ以外でよく使っている小ネタ SQL も紹介したいと思います。紹介する SQL の多くはネット上で探せば同じような用途の SQL はすぐに出てくると思いますが、いちいち探すのも面倒だし、どれが使える SQL かも検証が面倒だと思います。ってことで小ネタ SQL まとめです。 よく使う小技 SQL をファイルにして @ファイル名 で実行するスタイルが定着すると、障害時やチューニング時に迅速に現状を把握することが可能となります。一方で急激に手打ちできなくなってしまってこねた SQL ファイルが存在しない環境では何もできなくなる恐れもあります。コレやばい。 ですがそんなのんきなことは言ってられない場合が多いので、僕が触る Oracle 環境にはインストールと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
