検索クエリログからのスペル訂正辞書の自動生成 - mixi engineer blog
先月ハワイに行ってきてオルオルな （ハワイ語で '楽しい' という意味） 気分の takahi-i です。最近ログデータの有効活用が話題になっていますが、検索エンジンが出力する検索クエリログを使用してどんなことができるのかについて紹介させていただきます。 検索クエリログ 検索クエリログ (以下検索ログ) は検索エンジンを使用するユーザから発行された検索の履歴を保存したファイルです。検索ログのフォーマットは使用する検索エンジンや Web サーバによって異なります。さらにまた検索ログが含む情報にも差異があることが考えられますが、本稿では検索ログは解析を行う上で重要な三つの要素を含むと仮定します。三つの要素とはユーザ ID （もしくは IP アドレス）、クエリ文、そしてクエリが検索エンジンに処理された時間です。以下検索ログの一例を載せます。 ユーザID クエリ文 クエリ発行時 438904 Su
例外処理とロギングのベストプラクティス
はじめに システム開発において例外処理は重要なポイントですが、あまりに軽視されているのが現状ではないでしょうか。本稿では、これまでの著者の開発経験の中から培った汎用的な手法を説明します。 この記事は「美しい設計」ではなく「現実的な設計」、現場に適用できる「できるだけ手間の少なく、汎用的な設計」を目指しています。 対象読者 J2EE開発者・アーキテクト。特に業務システムの開発現場の方が対象です。 必要な環境 概念の説明が中心ですので、開発環境は必要ありません。 エラーの分類 実装時に考慮すべきエラーは2つに大別できます。 想定内でトランザクションの実行開始前にチェックするエラー。主に入力エラー。 異常な状態としてトランザクションの続行が不可能なエラー（例外）。 前者については、例外を使うべきではありません。入力チェックエラーを表現するには、ステータスコードを使うべきです。理由は次のとおりです
scriptedlogin 1.0.0 - yosshy の日記
たまに、仮想コンソールや telnet の操作履歴を残せませんか？と聞かれる事がある。 ユーザが自分自身の為に操作ログを残すのであれば、bash の操作履歴やログイン直後の .bashrc における script コマンドの実行で済む。しかし、セキュリティ上の理由でログを残したい場合はこれではいけない。ログファイルの所有者がログインユーザになってしまい、改変、削除が自由に出来てしまう。 これを避ける方法をずっと考えていたのだが、 /bin/login の main() の前に、preload したライブラリのルーチンを実行し、その中で script コマンドを実行する という荒技を考え出した。 これであれば、ログファイルは root 以外の一般ユーザアカウントからはアクセスできないディレクトリに所有者＝root で保存できる。 細かくは README を参照して欲しい。ソースはこちら。 な
昨日話したこと、その後考えたことメモ - resolution
昨日は珍しくカフェでいろいろ話したので、ちょっとメモ。 メッシュネットワーク OLPC XOにも採用されているらしいネットワーク方式。 発想がFONとかP2Pに近いなあ、と何となく思った。 FON http://www.fon.com/jp ITmedia ライフスタイル：これぞモバイル版インターネット 〜メッシュネットワークの可能性 (1/2) http://plusd.itmedia.co.jp/lifestyle/articles/0403/15/news001.html この記事によるとモトローラ系のMesh Networksが特許を持っているらしい。 http://www.motorola.com/business/v/index.jsp?vgnextoid=91c623805ae46110VgnVCM1000008406b00aRCRD 一社で頑張っても標準化とか無理だろと思い
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www-kasm.nii.ac.jp/papers/takeda/09/kameda09jsaiz.pdf
