R で無限長ベクトル - Great oaks from little acorns grow.
http://www.ibm.com/developerworks/jp/linux/library/l-r3/index.html の無限シーケンスをまねてやってみる。 # 初期値と数列を生成する関数を渡して、無限数列生成の関数を作る make_infinity <- function(init, func){ inf_vec <- init function(idx, len) { extend_by <- max(idx + len - 1 - length(inf_vec), 0) inf_vec <<- c(inf_vec, func(idx=length(inf_vec)+1, len=extend_by)) inf_vec[seq.int(idx, length.out=len)] } } # 数列を生成する関数は、ある位置 idx から長さ len の数列を生成 fib <
dartsのサイトにのっているサンプルが動かない件 - 進・日進月歩
Darts: Double-ARray Trie System http://chasen.org/~taku/software/darts/ dartsというのは、Trie木をdouble arrayで実装したライブラリです。ヘッダファイル一つだけの配布なので大変使いやすい。 今回HAT-trieを実装してみるにあたって、Trie木の部分の実装としてこれを使ってみることにしました。 しかし、サンプルが動かない・・・・！どうやらよく見るとテンプレート周りとconstを付け加えた際に、もともとのサンプルが動かなくなった模様。 なので、これを修正しました。別に大したことはしていません。 PLAIN TEXT CODE: #include <iostream> #include <darts.h> int main (int argc, char **argv) { using namesp
分類問題のための教師データの作成 - yasuhisa's blog
6月の間は出現頻度と連接頻度に基づく専門用語抽出にある論文の考え方にそって、C++とかRubyで実装していた。しかし、どうも精度や再現率が低い。id:theclaさんに結果を見せてみたところ「おしいのは結構あるんだけどねえ」という感じで、(精度とかを測る時に)単語の完全一致で見るからから低いのかな…という感じ。どの辺がネックになっているかというと、まあ本当に色々あって、一概には言えないんだけど、化学式がネックになっているところが結構ある。化学式を専門用語に含めるかどうかってところの問題もあるんだけど、umlsには化学式のものもかなり大量に含まれていて、とりあえず化学式も専門用語に含む方向で。化学式だと、普通の分野では複合名詞に入ってこないような , ` () といったものが入ってくるのが厄介なところである。ある程度は「これこれこういう場合は除去して…」とかルールベースでやってみたんだけど、
[O] IOB2フォーマットによるトークンへのタグ付与
チャンク中の先頭トークンに付与 すべてのトークンが何らかのチャンクに含まれるようなタスクの場合には、 Oタグを付与されるものが無いことになる。 Heが名詞句(noun phrase)としての意味を持つ、 1トークンからなるチャンクの場合には「B-NP」という IOB2タグが付与される。 工藤拓さんのCRF++のページに、 IOB2フォーマットによってタグ付けしたデータの例がある。 example of such a file: (data for CoNLL shared task) He PRP B-NP reckons VBZ B-VP the DT B-NP current JJ I-NP account NN I-NP deficit NN I-NP will MD B-VP narrow VB I-VP to TO B-PP only RB B-NP # # I-NP 1.8 C
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
kishi-r.com
jm2009.html [自然言語処理研究室 (徳永研・藤井研)Computational Linguistics/Natural Language Processing Group]
