Perl、PHPでGooglebotを一定の確率ではじく
Perl、PHPでGooglebotを一定の確率ではじく 2007-05-01-2 [Programming] 「動的生成ページへのGooglebot(Googleのクローラ)のアクセス数 が多すぎてサーバに負荷がかかりすぎる問題」に悩まされています。 robots.txt の Crawl-delay は効かないし[2007-03-21-1]、 Googleウェブマスターツールでクロール率を低く設定しても ある回数よりも下がらないしで困っていました。 アクセス禁止にすれば完全解決なのですが、 それにより検索されなくなるのはファインダビリティが下がって嫌なので、 とりあえずランダムで 503 を返すことで対処しました。 ときどき503が出ることにより、しばらくするとGooglebotが 「サーバが混んでいるんだな」と思ってくれるみたいで、 結果としてクローラのアクセス数が激減、かつ、検索結果
技術メモ帳 - 単語抽出するちょっとしたテクニック
shell のちょっとしたテクニック - odz buffer odzさんのところで単語の出現頻度を調べるためのワンライナーが紹介されている。 単語抽出についてはいくつかやり方があるので紹介する。 特に egrep -o は非常に実用的。 もちろん、この話はリンク先において主題ではない。 俺のただの自己満足。 tr -cs で単語抽出 $ tr -cs 'a-zA-Z' '\n' < ./.zshrc 上記コマンドで、a-zA-Zのみで構成される文字列を抽出できる。 -c オプションで、'a-zA-Z' の補集合(以外)を '\n' に変換し、 -s オプションで、最後の引数で指定される要素の重複を除去している。すなわち '\n' の連続を除去している。 grep -o で単語抽出 grepには、( -o、--only-matching ) オプションというのがある。 これは、指定された正
【ハウツー】Perlベースの高機能WikiシステムTWiki 4.1を使ってみよう! (1) TWikiとは (MYCOMジャーナル)
TWikiプロジェクトは16日(現地時間)、高機能なWikiクローンであるTWikiの最新版「TWiki 4.1.0」を公開した。TWikiはPerlで記述されたWikiクローンで、非常に豊富な機能を持ち、汎用性が極めて高いことで知られている。 TWikiは主に次のような機能を備えている。 シンプルな機構のため多くのWebブラウザに対応 キーワードやURLの自動リンク 高機能なテキストフォーマット ページ内の全文検索が可能 ページの変更をE-mailで通知 ファイルのアップロード/ダウンロード グループやユーザによるアクセスコントロール 豊富な内部変数によってページをカスタマイズ テンプレートやスキンによるカスタマイズ ページやユーザなどの管理機能 最新情報のRSS配信 プラグインモジュールによる拡張が可能 TWikiを利用すれば、どんな規模のサイトでも容易に構築することが可能であり、しか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
