自然言語処理・機械学習ツールのMacPortsを登録 - 自然言語処理 on Mac
自分用にと思って作っていた自然言語処理・機械学習用のMacPortsですが、せっかくなので本家に登録してみました。 TinySVM: Support Vector Machines YamCha: Yet Another Multipurpose CHunk Annotator Google Code Archive - Long-term storage for Google Code Project Hosting. BACT: a Boosting Algorithm for Tree Classification http://crfpp.sourceforge.net/ pecco - C++ library for efficient classification with conjunctive features Palmkit - a statistical languag
言語処理学会第17回年次大会(NLP2011)
後援 この会議は豊橋技術科学大学，財団法人大幸財団に後援いただいています． 概要 言語処理学会第17回年次大会は，豊橋技術科学大学で開催します． 例年通り，自然言語に関する理論から応用まで幅広い研究発表を募集します． とくに，言語学，教育学，心理学など，日頃「言語処理」とは縁が薄いと感じておられる人文系の研究者の方々からの積極的な発表を期待しています． 従来通り，研究発表の形態は口頭発表（質疑応答も含めて20分間程度を予定）とポスター発表のいずれかです． 口頭発表とポスター発表は時間帯を分け，両者が重ならないよう考慮する予定です．両種の発表とも，予稿集には最大4頁の論文を掲載する予定です． また，今大会でも分野を超えた議論を奨励するために，分野横断的テーマセッ ションを口頭発表の中に設けます．テーマセッションでは，セッションの最後 に総合討論の時間を取り，参加者の間でより活発な討論ができる
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
第2回自然言語処理勉強会＠東京に参加してきた
http://atnd.org/events/8140 「あずにゃんに関連する検索キーワード」→「あずにゃん ペロペロ」を実現するクエリ推薦技術について [twitter:@y_benjo]さん 発表資料：http://d.hatena.ne.jp/repose/20100925/1285399983 ユーザが入力したクエリに「近い」クエリを推奨する技術に関する二つの論文の紹介。 ここでいう「近い」とは、「意味的に近い」ということ。 今回の紹介論文で用いるデータは以下のとおり ユーザが入力したクエリ 検索結果からどのページに遷移したかという情報 論文1: Query suggestion using hitting time 論文PDFリンク：http://research.microsoft.com/en-us/um/people/denzho/papers/sugg.pdf 手法 ユー
Wikipediaデータ利用参考サイトリンク集 | mwSoft
データインポート関連 Wikipediaの本文やページタイトルを含んだ情報をダウンロードできます。形式はSQLのダンプファイルやXMLです。 ダウンロードした情報を格納するテーブルの構成を説明してます。 Wikipediaに書かれているダウンロードデータの取り扱いにに関する説明ページ。 importDump.phpを使用したデータのインポート手順を解説しています。 jawiki-latest-pages-meta-current.xml.bz2をxml2sqlを使用してインポートする際の手順が書いてあります。 jawiki-latest-pages-meta-current.xml.bz2をxml2sqlを使用してインポートする際の手順が書いてあります。 データ利用関連 Hadoop使ってMapReduceでWikipediaのデータを取り扱っている人のページ。 tf-idfでpages-
セマンティックウェブとオントロジー研究会
【終了しました】第46回SWO研究会 発表募集 ■日時：2018年11月25日(日) 14:00-18:00 ■会場：淡路夢舞台国際会議場（地図） ■参加費：無料 ■発表申込しめきり：2018年10月22日(月) ■原稿提出しめきり：2018年11月19日(月) ■発表・参加募集：http://www.sigswo.org/papers/46cfp ■プログラム：http://www.sigswo.org/papers/46program
BVOP™ Business Value-Oriented Principles©
Why do organizations need to adopt the BVOP now? BVOP™ transforms the way organizations manage both their projects and people. BVOP™ is a superset for organizational, project, product, and people management. The BVOP can be applied to any Agile or Waterfall methodologies directly or modified depending on your needs. The goals of the BVOP are to increase productivity, reduce wastes, and improve peo
ダジャレ判定機作ったよ - aike’s blog
ダジャレが好きなのだ。 本来関連のない言葉同士を自由に結びつけ、語感のリズムで羽ばたいてシニフィエの宇宙を再構築する、そんなおやじギャグはとてもいとおしい。 だからぼくはダジャレのスキルを向上すべく日々研鑽しているのだ。 そういつもダジャレのことばかり考えている。PDCAサイクルを回して技術をみがいていく。 いやそれにはダジャレ度が定量的に計測可能でなくてはならない。 そうだ、ダジャレ度を測定するための機械を作ろう。←いまここ そんなわけでダジャレの上手さを評価するウェブサービスを作りました。 もじった言葉ともとの言葉を比較して似ていると評価が高くなります。 ダジャレというより、いわゆるボキャブラですね。 ダジャレ判定機 (http://aikelab.net/dajare/) 文字列比較の仕組みはこんな感じです。 ・MeCabで形態素解析して漢字を発音通りのよみがなに変換する ・大文字小
GREE Labs -オープンソーステクノロジー勉強会 第2回 ―開催のご報告―
404 お探しのページは見つかりません GREE Engineering トップへ戻る
Pythonでのキーワード抽出実装
初出: 2007/6/27 更新: 2007/7/1 文章からキーワードを抽出するスクリプトをPythonモジュールとして実装しました。 分かち書きした上に、適切に複合語をつくり、さらに重要そうなものかどうかのスコアをつけます。 アルゴリズムは、以下のサイトを参考にしました。 http://gensen.dl.itc.u-tokyo.ac.jp/ ここで紹介されている論文 * 中川裕志、森辰則、湯本紘彰: "出現頻度と連接頻度に基づく専門用語抽出",自然言語処理、Vol.10 No.1, pp. 27 - 45, 2003年1月 http://www.r.dl.itc.u-tokyo.ac.jp/~nakagawa/academic-res/jnlp10-1.pdf に掲載されているFLR法のみを実装しています。 実行結果サンプル たとえば、こんなページの本文をテキストフ
形態素解析と検索APIとTF-IDFでキーワード抽出
形態素解析と検索APIとTF-IDFでキーワード抽出 2005-10-12-1 [Programming][Algorithm] 形態素解析器と Yahoo! Web 検索 API と TF-IDF を使ってキーワード抽 出するという先日の検索会議でのデモ、KEYAPI[2005-09-30-3]。 教科書に載っているような基本中の基本ですが、あらためてエッセンスを 簡単な例で解説したいと思います。 目的：キーワード抽出対象テキストから、そのテキストを代表する キーワードを抽出します。TF-IDF という指標を用います。（この値が大 きいほどその単語が代表キーワードっぽいということでよろしく。） TF-IDF を計算するためには、 (1) キーワード抽出対象テキスト中の代表キーワード候補出現数 (TF)、 (2) 全てのドキュメント数 (N)、 (3) 代表キーワード候補が含まれるドキュメ
Não Aqui! » 10行強で書けるロジスティック回帰モデル学習
ロジスティック回帰（logistic regression）の学習が，確率的勾配降下法（SGD: stochastic gradient descent）を使って，非常に簡単に書けることを示すPythonコード．コメントや空行を除けば十数行です． リストの内包表記，条件演算子（Cで言う三項演算子），自動的に初期化してくれる辞書型（collections.defaultdict）は，Python以外ではあまり見ないかも知れません． リストの内包表記は，Haskell, OCaml, C#にもあるようなので，結構メジャーかも知れません． [W[x] for x in X] と書くと，「Xに含まれるすべてのxに対し，それぞれW[x]を計算した結果をリストにしたもの」という意味になります．sum関数はリストの値の和を返すので，変数aにはXとWの内積が計算されます． Pythonでは，三項演算子を条
Não Aqui! » Medlineから自動構築した略語辞書Acromine
私が昔所属していたNaCTeMで公開している，略語辞書サービスAcromineをひっそりと更新しました．以前のバージョンからの変更点は，以下の通りです． 2009年版Medlineのアブストラクトで略語抽出をやり直した 略語の完全形のクラスタリング方法を改良した 略語の完全形の異表記を表示できるインタフェースにするため，辞書検索結果の表示を表形式からツリービューに変更した 辞書引きサービスのAPIを，SOAPからREST/JSONに変更した 単に辞書の中身を新しくするだけではつまらないので，ツリービューをウェブブラウザ上で実装するときに，YUI Libraryを初めて使ってみました．ノード・ラベルの遅延ロードを行うツリービューが簡単に実装できて，便利ですね． 辞書引きサービスのAPIを使うには，登録手続きが必要になるようです（残念ながら私のコントロール範囲外）．アカデミックな人たちは問題無
Não Aqui! » μ
先週まで論文執筆モードだったので，ご報告が遅れましたが，娘の名前は心優（みゆ）にしました．この名前を聞いて「当て字っぽくて読めねー」と感じるか，「ありがちな名前」と感じるかで，最近の子供の名前に対する精通度が分かります．人気の名前はあまり付けたくなかったのですが，2009年の名前のランキングに普通に出てきます．文字通り「心優しい」ですが，「優」を漢語林で引くと，「上品で美しい」「みやびやか」「おだやか」「しとやか」「情深い」「のびやか」「ゆるやか」など，女の子にはうってつけの多義が並べられています． 名前を決めるのは本当に大変でした．考えれば考えるほど，自分の探索空間が足りているのか不安になりました．結局は，コンピュータが生成した6,084個（読みで数えた数）の名前の候補から，私と嫁で一つ一つチェックしながら結論を出しました． 名前の候補を生成する流れは，次の通りです． 名前辞典などを見な
Aho Corasick 法 - naoyaのはてなダイアリー
適当な単語群を含む辞書があったとします。「京都の高倉二条に美味しいつけ麺のお店がある」*1という文章が入力として与えられたとき、この文章中に含まれる辞書中のキーワードを抽出したい、ということがあります。例えば辞書に「京都」「高倉二条」「つけ麺」「店」という単語が含まれていた場合には、これらの単語(と出現位置)が入力に対しての出力になります。 この類の処理は、任意の開始位置から部分一致する辞書中のキーワードをすべて取り出す処理、ということで「共通接頭辞検索 (Common Prefix Search)」などと呼ばれるそうです。形態素解析、Wikipedia やはてなキーワードのキーワードリンク処理などが代表的な応用例です。 Aho Corasick 法 任意のテキストから辞書に含まれるキーワードをすべて抽出するという処理の実現方法は色々とあります。Aho Corasick 法はその方法のひと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...
Amazon.co.jp: 言語処理のための機械学習入門 (自然言語処理シリーズ 1): 高村大也: 本
Amazon.co.jp: 自然言語処理の基礎: 学,奥村: 本
Baidu Japan（バイドゥ株式会社）
http://www.utm.se.uec.ac.jp/~utsumi/paper/jsai05-oguma.pdf