zuzara.com » ブログの記事本文を抽出するスクリプトをつくってみた
ブログ検索において、RSSは必ずしも記事全文を配信していないので、クローラーが記事のURLにアクセスし記事の本文を取得するケースが多いようです。 「gooブログ検索」「ブログレンジャー」開発者が語るブログ検索技術Yahoo!検索 スタッフブログ Yahoo!ブログ検索より細部改善のお知らせ上記の記事ではどちらも本文を抽出してくる、とあっさり書かれていますが100%に近い精度を実現するとなるとそう簡単ではないはず。 ちょっと調べてみたら以下のような取り組みが論文として読めました。英語圏の文献は、検索語が悪かったのかいまいち。「blog entry extract body text etc…」 NRI 技術創発 ブログ記事の自動分類により消費者意識の側面を捉える試み（PDF）なんでもRSS! HTML文書からのRSS Feed 自動生成 南野朋之 奥村学：人工知能学会研究会資料 SIG-SW
Wikipedia:データベースダウンロード - Wikipedia
ウィキペディアのコンテンツなどのデータは、再配布や再利用のために利用できる一元化されたデータベース・ダンプでの提供が行われています。クローラを用いてコンテンツを収集しないでください。このデータベース・ダンプの生成は不定期に行われています。 ウィキペディアのコンテンツは Creative Commons Attribution-ShareAlike 4.0 International License (CC BY-SA 4.0) および GNU Free Documentation License (GFDL) の下にライセンスされています（Wikipedia:著作権と利用規約を参照）。画像などのメディアファイルは異なるライセンスで提供されることもあり、ファイルページで明記されています。 より詳しい解説はmeta:Data dumps（英語）を参照してください。 全プロジェクトのダンプ：du
ニコニコ動画の屍を越えて行け：栗原潔のテクノロジー時評Ver2：オルタナティブ・ブログ
いや、まだ死んでないですけど。DDoS攻撃に加えて、YouTubeへの一部アクセスも遮断されてしまったようです。著作権の問題以前に、YouTubeインフラただ乗りという問題があったのは誰もが指摘していた通りです。YouTubeがアクセス禁止したのは、単にシステムの処理能力上の都合なのか、何らかの経営判断があったのかはわかりません。（今、業界アナリストとしてYouTubeに問い合わせてますので、返事があったらここで掲載します）。 中国の類似サービスであるmojiti.comは生きてますので、ニコニコ動画については単にアクセス殺到でやむを得ず対応したということかもしれません。まー、YouTubeのランキングがほとんどニコニコ動画からのアクセスが多い物で占められたりとかいう問題もありましたし。 仮にニコニコ動画が再開しても問題山積みではありますが、確実に言えるのはこういう非同期Watch＆Cha
おさかなラボ - 携帯電話からセッションIDの漏洩を防ぐ
携帯電話向けWebアプリの脆弱性事情はどうなっているのか@高木浩光＠自宅の日記 より リンク先のWebサイトには、Refererと共に端末IDもリクエストヘッダとして送信されているわけで、セッションID入りURLと端末IDがセットで流出するのだから、当然、同じHTTPリクエストを送るだけの方法でなりすましアクセスされてしまう。 URIにセッションIDを含める方法では、悪意のあるサイトにリンクを張るだけでRefererヘッダからセッションIDが取り放題となる。また、悪意のあるサイトにアクセスしたユーザーは端末IDもHTTPヘッダに含めそのサイトに送信してしまう。端末IDは簡単に詐称することが出来るので、端末IDをチェックしてもセッションハイジャックの防止線にはならない、というお話。 私は携帯端末は専門ではないので細かいことは良くわからないのだが、以下を前提にして、携帯電話からセッション
Flash Communication Server-SharedObject
SharedObjectを使うとクライアント同士が手軽に通信を行うことができる。 *基本的な使い方〜チャットを作ってみる SharedObjectを使うと簡単にチャットやお絵かきチャットが作成できます。 以下の手順でSharedObjectを使います。 （１）NetConnection でサーバーと接続 （２）SharedObject.getRemoteで、SharedObjectを取得する （３）SharedObjectの値が変更されたときのイベント(.onSync)を設定する （４）SharedObject.data.(任意の変数)へ書きこみすると、onSyncが発生する var chat_txt; // チャットの文字表示用 var send_txt; // 発言の送信用 var nc:NetConnection = new NetConnection(); var
Badge Any Feed with Yahoo! Pipes - kentbrewster.com
Terribly sorry about this, but the Badger died with Yahoo! Pipes. If you need to see something that used to be on this page, feel free to view source. Comments from before Disqus: Kent Brewster .:. 2010-04-22 20:17:28 Sure, Thomas. All my code is CC-attributed, so knock yourself out. Thomas .:. 2010-04-22 02:45:03 Is it ok for me to edit this a wee bit, i can keep any signature in the comments if
2007-02-24
はてなアイデアに「はてな以外」カテゴリーを追加しました 本日、はてなアイデアに「はてな以外」カテゴリーを追加いたしました。 はてな以外のサービスや、政治・経済・社会など世の中のあらゆる出来事についてのアイデア投稿にご活用ください。 http://i.hatena.ne.jp/idealist?did=22 ただし、はてなによる実装が難しいアイデアについては「実装済」となる見込みが少ないため、アイデアポイントの配当が行われない可能性が非常に高いものと思われます。あらかじめご了承いただいたうえでお使いください。なお、はてな以外の効力で実装された場合にも「実装済」とさせていただきます。 また、合わせて各アイデアに「このアイデアを含むブックマーク」ボタン の表示を開始しました。 どうぞご利用ください。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DARAO
キーワードリンク - しょぼいカレンダーWiki
はてなダイアリー - はてなキーワードAPIとは
はてなアイデア
?D of K
?D of K
TechCrunch | Startup and Technology News
Verant Group - San Diego, CA