Yahoo! Groups
Hello folks, We are in the starting phase of a project, and we are currently wondering whether Heritrix or Nutch is the best choice of crawler for us. Our project: Basically, we're going to set up Hadoop and crawl the web for images. We will then run our own indexing software on the images stored in HDFS based on the Map/Reduce facility in Hadoop. We will not use other indexing than our own. Some
Web Spam Detection for Heritrix - Heritrix用Webスパム発見器 | 関口宏司のLuceneブログ
一定期間更新がないため広告を表示しています
Moro-siki: ngram
Nグラムによるテキスト研究 師 茂樹 Nグラムとは Nグラムとは、確率・統計的自然言語処理の分野で広く用いられている言語モデルで、きわめて単純なモデルであり多くの欠点が指摘されているにもかかわらず、非常に強力な分析方法である。単語や文字（アイテムと総称）の生起が、直前のアイテムのみに依存していると考え、その確率を求めるものである。 近年、人文学におけるテキスト研究において、Nグラムが注目されてきている。これまで、テキスト研究における統計的な分析（計量文献学）においては、形態素分析が不可欠の作業とされており、実際、品詞をマークアップしたテキストデータベースによる研究によっていくつかの注目すべき成果が上がっている。しかし、形態素分析に基づくデータ処理には、次のような問題点が指摘されている（近藤みゆき [2001]参照）。 1語の単位を認定する基準が一通りではない。 複合語や強い共起性のある
Web DB Forum 2008 に行ってきた (2日目) - いちいの日記
今日はWebよりDBの話が多かったかな? セッション5A: Webの可視化とナビゲーション 朝早い上に別の作業しながらだったので、最初のほうはあんまり覚えてないです…。 社会ネットワーク分析を用いた包括的Webナビゲーション手法の評価 島田さん、筑波大。 「特定性を表すキーワード」(より具体的な語)と「網羅性を表すキーワード」(全容がつかめる語)を区別して、関連語を提示する 社会ネットワーク分析でつかう次数中心性と媒介中心性に注目するらしい?? んと、正直ちょっとよくわかんなかったです。関連研究に(松尾ぐみの)松尾先生の研究があがっていて、久しぶりにpublication list見させてもらったら、いろいろ面白そうなことが書いてありますねぇ。PDFも用意してあって大変ありがたい限りです。(発表と関係ないコメントですいません。) 検索結果の推移の可視化による検索支援 長畑さん、岡山大。 繰
2008-12-02
http://db-event.jpn.org/webdbf2008/ というのに行ってきました。仕事さぼって12月1日、2日とフル参加です。ここ数日ちゃんと日記書く気分なので、ちゃんとまとめを書いてみようと思いました。 そもそも何なの? たぶん、WebとかDBとかが好きな人たちが集まるフォーラムです。でもメインは研究発表の場。そして産学連携を建前に、研究とは関係ない宣伝や採用活動をする場だったようです。Y!JやMSRA、NTTの人たちはいいとして、すごいaway感を感じていた企業のひとたちもたくさんいたんじゃないかなぁ。 場所は、目白の学習院創立百周年記念館で、学習院の白田先生が場所を提供してくださったそうです。 学習院といえば そういえばこのあいだ、ずっとほしいものリストに入ってた松本先生の本を衝動買いしてて、著者紹介みたらいまは学習院にいらっしゃるとのこと。駒場を定年退官されたときに
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
