トピックモデルシリーズ 1 概要
せっかく区切りがいいところまで勉強したのにoutputしないと忘れそうなので、メモを兼ねてしばらくトピックモデルについて記事を書きます。JAGSで実行したところ、そこそこ速いし収束もしました。しかしほとんど意味をなさないような幅広い推定結果になってしまいましたのでStanを使うことにしました。はじめにStanで実装するメリット・デメリットについて簡単に触れたいと思います。 メリット ・実装がラク。LDAでも30行ぐらい。 ・ややこしい推論部分は一切実装しなくてOK。全部StanのHMCサンプリングにお任せ。 ・モデルの拡張が簡単。 デメリット ・計算が遅い。文書x単語種類が1000x1500・総単語数12000のケースでは トピック数が20, iter=1000で9時間, iter=10000で35時間でした。Stanのmulti-threading対応待ち。 ・データが少ないと収束しない
教師なしLDAでTwitterのスパム判別をしてみる(予備実験編) - 病みつきエンジニアブログ
※普通は「教師なしLDA」という言い方はしないです モチベーション 元々は、TwitterからURLつきのツイートを取りたかった。某ニュースアプリがTwitter上で(？)話題になっているニュース記事を(法的な是非があるとはいえ)配信しており、そんな感じのマイニングがしたかった。 ただ、普通に「http,https」でTwitter上で検索すると、量が膨大だった。加えて、ほとんどがスパム。なーにが「このサイトすごすぎｗｗｗｗｗ」じゃ。 ということで、検索の段階でスパミーなキーワードを取り除き、純度の高いURL投稿マイニングをしたいわけだが、キーワードは既知なものには限らない。例えば「無料」とか「アフィリエイト」とかがスパムなのはそうなんだけど、「パズドラ」とか「魔法石」とか、未知のキーワードとか出てきた時に対応できない。 そこで、教師なし学習のアプローチを使って、スパムなキーワードを抽出す
言語処理学会第20回年次大会(NLP2014) プログラム
会場情報 会場： 北海道大学大学院工学研究院・大学院工学院・工学部 所在地：〒060-8628 北海道札幌市北区北13条西8丁目 アクセスは以下のHPをご覧下さい． http://www.eng.hokudai.ac.jp/access/ 旅程について 年次大会開催時期は，悪天候による航空機の欠航の可能性がありますので，大会参加日の当日現地入り予定の方は，可能であれば前日に札幌に来られることをお勧め致します． 無線インターネットアクセスについて 年次大会期間中は，eduroam (http://www.eduroam.jp/) による無線LANが利用可能です． eduroamに参加機関の皆様は，事前に，所属機関でeduroamのIDを取得することで，今回の会期期間中だけでなく，参加機関に出張の際などに，無線LANの利用が可能になります． eduroam参加機関の一覧 (http://www
ScalaNLP
ScalaNLP Scientific Computing, Machine Learning, and Natural Language Processing ScalaNLP is a suite of machine learning and numerical computing libraries. ScalaNLP is the umbrella project for several libraries, including Breeze and Epic. Breeze is a set of libraries for machine learning and numerical computing. Epic is a high-performance statistical parser and structured prediction library.
Statistical Semantic入門 ~分布仮説からword2vecまで~
1. The document discusses various statistical and neural network-based models for representing words and modeling semantics, including LSI, PLSI, LDA, word2vec, and neural network language models. 2. These models represent words based on their distributional properties and contexts using techniques like matrix factorization, probabilistic modeling, and neural networks to learn vector representatio
Twitter、学術研究にツイートデータを無料で提供する「Twitter Grants」を発表
米Twitterは2月5日（現地時間）、公開されているTwitterデータ（いわゆる「Firehose」）を学術研究者に無償で提供する試験的なプロジェクト「Twitter Grants」を発表した。 参加を希望する非営利の学術研究機関はエントリーページから申し込める。締め切りは3月15日。選考後、一部の参加希望者がFirehoseに無償でアクセスできるようになる。 公開ツイートは1日当たり5億件以上投稿されており、累計すると膨大な量になる。Twitterは米Microsoftなどの企業には有償でこのデータへのアクセスを提供している。Twitterが同日発表した2013年10～12月期の決算によると、データライセンスなどの売り上げは2300万ドルだった。 Twitterは社内のエンジニアリングチームで開発したツイートデータを使った幾つかの視覚化動画を発表している。また、これまで一部の学術機関
Twitter、信頼できる速報ツイートを通知する報道向けサービス「Dataminr」を発表
米Twitterは1月29日（現地時間）、ジャーナリスト向けのアラートシステム「Dataminr for News」を発表した（Dataminrはデータマイナーと読む）。膨大なツイートの中から速報ネタを探すメディア関係者に、信頼できるツイートをリアルタイムで知らせるというもの。 金融向けアラートサービスを手掛ける米Dataminrが、Twitterと米CNNと協力して構築した。CNNは現在、αパートナーとして同サービスを利用している。 1日当たり5億件投稿されるツイートを独自のアルゴリズムでリアルタイムに分析し、ユーザーがあらかじめ設定したカテゴリーに合わせて関連する注目ツイートを通知する。 2009年創業のDataminrは、2011年からTwitterと協力し、同様のサービスを金融企業と公共機関向けに提供してきた。Dataminr for Newsは、CNNのジャーナリストからのフィー
自動要約の研究動向 - 蝉々亭
あけましておめでとうございます．もう1月も終わりですが，ようやく年を越してしまった課題を終わらせつつあります． 昨年の9月，11月にそれぞれ情報処理学会第213回自然言語処理研究会と人工知能学会第91回人工知能基本問題研究会にて機会をいただき，自動要約に関する最近の研究動向についてお話してきました．ありがたいことに，資料を公開して欲しい，との声をいくつか頂戴しましたので，内容を整理してここに掲載しておきたいと思います． Automatic summarization from Hitoshi NISHIKAWA 今年の言語処理学会第20回年次大会では，東京工業大学の高村先生が自動要約に関するチュートリアルをしてくださいます．言語処理学会第20回年次大会は絶賛事前参加受付中です．
How to Write a Language Detector in 50 Lines of Python | Ebook Glue Blog
Ever wonder how Google Chrome knows the language of a web page and offers to translate it when the page is written in a foreign language? Or how Facebook offers to translate your friends’ posts in a foreign language? Detecting languages is surprisingly easy, and it can be used to improve user interfaces without having the user do any work. I stumbled across this ActiveState recipe for a language d
草「ｗ」はどんなコメントに生えるか？ - 唯物是真 @Scaled_Wurm
書きかけの記事とか書いたけど公開してない記事が溜まっているので2014年になったのを機に公開して供養していく 以下の記事はニコニコデータセットを利用しています 情報学研究データリポジトリ ニコニコデータセット ネットスラングの草「ｗ」は以下のように笑いとか強調を表す意味で使われます 吹いたｗ ちょまｗｗｗ クソワロタｗｗｗｗｗｗｗｗｗｗｗｗｗｗｗ最近国語辞典に載ったことでも話題になりました すごい！国語辞典に、この意味を載せたのは初めてですよ！ ダブリュー[W](名)①②③省略④〔←warai=笑い〕〔俗〕〔インターネットで〕(あざ)笑うことをあらわす文字。「まさかwww」(以下略) (三省堂国語辞典第七版) pic.twitter.com/bFbb1HI3XE— 三国ことは@三国ちゃん／紅白閲覧 (@sankokuziten) 2013, 12月 15 三省堂国語辞典 第七版 作者: 見
はてブのホッテントリのタイトルを要約してWebの今を見つめる - Qiita
GoogleReaderが終焉し、SmartNews,Gunosyなど寝ててもおすすめコンテンツが降ってくるサービスが注目を集めている今、ここでひとつ自分もなんか気の利いたものを作ってみたい。 というわけで、はてブの人気エントリーから記事を引っ張ってきて、 ズバリ一行に要約するプログラムを書いてみた。 はいこれ。 要約くん http://xiidec.appspot.com/markov.html これを使うと・・・ けだるい猫ライオンがこの国でエリートコースに乗れると日本の真相。 こんな感じで なぜ高学歴の差別発言が求められるのかって生産性を欲しがった話をどうするか。 今話題のニュースがごちゃ混ぜになって一行に要約される。 浜崎あゆみの件、原子炉に十分届かず 炉心溶融の差別発言が続出。 Webの今が１行で分かる！ 仕組み サーバサイド(Python)で、はてなブックマーク人気エントリーの
Natural Language Processing in the kitchen
Natural Language Processing is a field that covers computer understanding and manipulation of human language, and it’s ripe with possibilities for newsgathering. You usually hear about it in the context of analyzing large pools of legislation or other document sets, attempting to discover patterns or root out corruption. I decided to take it into the kitch
Yotaro Watanabe - ChaPAS: Yet Another Japanese Predicate Argument Structure Analyzer
chapas-0.742.tar.gz (全ファイル, size: 1.13GB)ChaPASはフリーソフトウェアです。修正BSDライセンスに従って利用または再配布することができます。ただし、付属のモデルファイル（models以下）、解析に利用している京都大学格フレームver1.0 （resources/kucf以下）、ALAGIN文脈類似語データベース付属の確率的クラスタリングの結果データ（resources/sw以下）、大規模コーパスから得られた確率的クラスタリングの結果データ（resources/ncv以下）はこのライセンスには含まれません。 モデルファイルは、ipa品詞体系のデータで学習したものです。 確率的クラスタリングの結果データは、オリジナルから30%以上改変したものです。 chapas-models.tar.bz2 (学習済みモデルファイルのみ, size: 125MB)c
固有表現抽出
入力された文章(500文字まで)から固有表現(NE)を抽出します．(解析時間の目安:10秒) 安倍総理大臣は、３０日昼過ぎ、総理大臣官邸で記者団に対し「新しい憲法について広く深い議論をしていかなければならないという考えに変わりはない」と述べ、参院選での与党過半数割れを受けても憲法改正を目指す姿勢に変わりがないことを強調した。 (手法・精度の詳細は[Sasano,Kurohashi'08，笹野,黒橋'08]をご覧下さい．簡易実装版はKNP〔使い方〕から使用できます) HOME
人工知能のクイズ王、APIが一般公開。あらゆるデベロッパーから利用可能に
人工知能のクイズ王、APIが一般公開。あらゆるデベロッパーから利用可能に2013.11.18 21:00 福田ミホ ショッピングサイトでお買い物を手伝ってもらったり、など。 IBMが開発した人工知能のワトソンは、米国のクイズ番組で人間のクイズ王に勝利しただけじゃなく、お医者さんのサポートしたりパティシエになったり、いろんな仕事をこなしてきました。そして今彼は、頼まれた仕事は誰からでも、どんな分野でも引き受けてしまおうとしています。IBMがワトソンをクラウドに載せて一般公開しようとしているんです。 IBMが、2014年にワトソンを一般のデベロッパーに公開することを発表しました。そこでは新しいオープンなAPIが使われ、デベロッパーがワトソンの自然言語処理能力を直接使うコードを書けるようになる予定です。デベロッパーからワトソン君に自然言語で質問の文字列を送ると、リアルタイムで回答を得られる仕組み
The Top 10 NLP Conferences | jungle light speed
Here are the top 10+2 conferences for Natural Language Processing: ACL: Association for Computational Linguistics EMNLP: Empirical Methods in Natural Language Processing NAACL: North American Chapter of the Association for Computational Linguistics EACL: European Chapter of the Association for Computational Linguistics COLING: International Conference on Computational Linguistics CoNLL: Conference
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
いまさら聞けない “モデル” の話 @DSIRNLP#5
英語の長文をワンクリックで要約してくれるサイト「SummarizeThis」 | ライフハッカー・ジャパン
米Yahoo!、自然言語処理のベンチャー企業「Skyphrase」を買収 
Google Code Archive - Long-term storage for Google Code Project Hosting.