ナイーブベイズを用いたテキスト分類 - 人工知能に関する断想録
今までPRMLを読んで実装を続けてきましたが、10章からは難しくて歯が立たなくなってきたのでここらで少し具体的な応用に目を向けてみようと思います。機械学習の応用先としては画像の方が結果を見ていて面白いんですが、当面は自然言語処理を取り上げます。そんなわけで一番始めの応用は機械学習と自然言語処理の接点として非常に重要なテキスト分類（Text Classification, Text Categorization）の技法たちを試していきたいと思います。テキスト分類は文書分類（Document Classification）という呼び方もあります。テキストと文書は同じ意味です。最初なので自分の知識の整理と入門者への紹介のためにちょっと丁寧にまとめてみました。 テキスト分類とは テキスト分類とは、与えられた文書（Webページとか）をあらかじめ与えられたいくつかのカテゴリ（クラス）に自動分類するタス
アルゴリズムの紹介
ここでは、プログラムなどでよく使用されるアルゴリズムについて紹介したいと思います。 元々は、自分の頭の中を整理することを目的にこのコーナーを開設してみたのですが、最近は継続させることを目的に新しいネタを探すようになってきました。まだまだ面白いテーマがいろいろと残っているので、気力の続く限りは更新していきたいと思います。 今までに紹介したテーマに関しても、新しい内容や変更したい箇所などがたくさんあるため、新規テーマと同時進行で修正作業も行なっています。 アルゴリズムのコーナーで紹介してきたサンプル・プログラムをいくつか公開しています。「ライン・ルーチン」「円弧描画」「ペイント・ルーチン」「グラフィック・パターンの処理」「多角形の塗りつぶし」を一つにまとめた GraphicLibrary と、「確率・統計」より「一般化線形モデル」までを一つにまとめた Statistics を現在は用意していま
RSSの時代は終わった！？自分の好みを分析して配信してくれる「Gunosy」が超便利！ | TRAVELING
Web上の情報収集はどのようにしていますか？ 自分の気になったワードの検索 RSSに登録 はてなブックマークを見たり、Twitterのリンク見たり… 色々あると思いますがあなたがSNSを使っているのであれば、このサービスをオススメします！ 「Gunosy（グノシー）」 Twitter、Facebook、はてなブックマーク。登録したSNSアカウントを独自のアルゴリズムで分析し、自分の興味のあるニュースを提示してくれるキュレーションサービスです！ そんなGunosyをご紹介！！ 使えば使うほど賢くなる！ Gunosyは独自のアルゴリズムで分析しています。 すなわち、使えば使うほど自分のSNSアカウントについて勉強してもっともっと自分に合った情報をお届けしてくれるんです！ それは、いわゆるめちゃRTされていたりはてぶがついている「バズってる」記事だけではありません。基準は「自分」です。 自分が全
ノーベル経済学賞、シャプレー教授が発見した驚きのアルゴリズム：日経ビジネスオンライン
先週月曜日に発表された今年のノーベル経済学賞は「（マッチング問題における）安定配分の理論とマーケットデザインの実践に関する功績」を讃えて、米ハーバード大学のアルビン・ロス教授とカルフォルニア大学ロサンゼルス校のロイド・シャプレー名誉教授に授与された。 ただし、2人同時受賞とは言っても、両氏がそれぞれ打ち立てた業績は、かなり違う特徴を持つ。ロス教授の愛弟子で筆者の親友でもある小島武仁・米スタンフォード大学助教授が、2012年10月18日付本サイトでロス教授の業績について心のこもった解説を書いていた。小島氏と同じく「マーケットデザイン」を専門とする筆者は、もう1人の受賞者・シャプレー教授の理論に迫り、解説したいと思う。 マッチング現象を初めて数学の問題として定式化し、誰もが一番ふさわしい相手とマッチできる「安定配分の理論」を生み出したのがシャプレー教授（および故デヴィッド・ゲール）だ。それに対
統計的機械学習入門
統計的機械学習入門(under construction) 機械学習の歴史ppt pdf 歴史以前 人工知能の時代 実用化の時代 導入ppt pdf 情報の変換過程のモデル化 ベイズ統計の意義 識別モデルと生成モデル 次元の呪い 損失関数, bias, variance, noise データの性質 数学のおさらいppt pdf 線形代数学で役立つ公式 確率分布 情報理論の諸概念 (KL-divergenceなど) 線形回帰と識別ppt pdf 線形回帰 正規方程式 正規化項の導入 線形識別 パーセプトロン カーネル法ppt pdf 線形識別の一般化 カーネルの構築法 最大マージン分類器 ソフトマージンの分類器 SVMによる回帰モデル SVM実装上の工夫 クラスタリングppt pdf 距離の定義 階層型クラスタリング K-means モデル推定ppt pdf 潜在変数のあるモデル EMアル
PythonでPLSAを実装してみる
probabilistic latent semantic analysis (PLSA)は、 ・文書dがP(d)で選ばれる ・潜在変数zがP(z|d)で選ばれる ・語wがP(w|z)で生成される というプロセスを経て、結果として(d,w)のペアが観測されるという文書と語の生成モデル。 式で表すと (1) となる。P(d,w)の尤もらしい確率分布を見つけたい。対数尤度関数は (2) となる。n(d,w)は語wが文書dに出現する回数。この式は訓練データn(d,w)（;どの語がどの文書に何回出現したか）が尤もらしい確率分布P(d,w)に従うとき最大になる。ベイズの定理を用いると (3) となることを利用して、この尤度関数を最大化するためにEMアルゴリズムを用いて実装してみる。（過学習を回避するために文献ではTempered EM (TEM)を用いている。）尤度関数が収束するまで以下のE-ste
P2Pの専門知識ゼロから独自DHTを実装評価するまでの学習方法と参考資料まとめ - 情報科学屋さんを目指す人のメモ（FC2ブログ版）
何かのやり方や、問題の解決方法をどんどんメモするブログ。そんな大学院生の活動「キャッシュ」に誰かがヒットしてくれることを祈って。 P2P、特にDHTの前提知識が無い状態から、オリジナルDHTアルゴリズムを実装・評価できるようになるまでの学習方法と参考資料をまとめました。 基本的なアルゴリズムの仕組みから、実装評価に用いるツールキットの使い方までを短期間で学習することが出来ます。 「P2Pに関する卒論を書こうと思っている人」や「P2Pアプリケーションの開発前に、アルゴリズムをテストしたい人」、「なんとなくP2Pアルゴリズムに興味が出た人」などにぴったりだと思います。また、研究室での後輩教育用資料にするのも良いと思います。実際に使いましたし。 ここで紹介する資料一覧は以下の通りです。 資料１：「ChordアルゴリズムによるDHT入門」 資料１ーオプション１：「DHTアルゴリズムSymphony
自然言語処理を活用したwebサービスをつくるときに参考になる5冊の書籍 - EchizenBlog-Zwei
自然言語処理を活用したwebサービス開発に関わって5年以上経った。いい機会なのでこれまでを振り返って役に立ったと思う5冊をメモしておく。 1.珠玉のプログラミング―本質を見抜いたアルゴリズムとデータ構造 まずはこれ。有名な本なので知っている人も多いと思う。簡単に説明するとちょっと前に「フェルミ推定」という名前で流行ったような、データから必要な数値を概算する方法や、問題が起きたときに問題点がどこにあるのか？最小の労力で解決するにはどこをいじればよいのか？などが書いてある。「webサービスで自然言語処理だ！」というと無限に夢が広がりがちなので、どういうデータが使えるのか、それをどういう形にもっていけばイケてるサービスになるのか、それはどのくらいの期間で実現できるか、ということを考える必要がある。そういうわけで本書は真っ先に読むべき一冊なのでは(余談だけれど、以前M << Nなデータに対してO(
頻出典型アルゴリズムの演習問題としてよさげなやつ - kyuridenamidaのチラ裏
効率的な別解とか存在する問題もあるけど演習によさそうなやつをピックアップ。そのアルゴリズムじゃないと解けないわけではないって問題も多いので注意。(ただ演習するのには都合が良いかなと)※個人的難易度をつけてみました。とても主観的な難易度付けなので気にせず解いてみてください。深さ優先探索・Balls[☆]・Sum of Integers[☆]・The Number of Island[☆]・Block[★]幅優先探索・Mysterious Worm[★]・Cheese[★]・Seven Puzzle[★☆]・Stray Twins[★★]・Deven-Eleven[★★]・Summer of Phyonkichi[★★☆]ワーシャルフロイド法(For 全点対最短路問題)・Traveling Alone: One-way Ticket of Youth[★]・A reward for a Car
Title
担当している講義 学部4年 夏学期 ユーザインターフェイス 学部2年 夏学期 アルゴリズムとデータ構造 大学院 冬学期 メディア情報学/ヒューマンインタフェース特論 過去の講義 20 冬 アルゴリズムとデータ構造 (教養学部4学期) 20 夏 ユーザインターフェイス (学部4年) 19 冬 メディア情報学/ヒューマンインタフェース特論 (大学院) 19 冬 アルゴリズムとデータ構造 (教養学部4学期) 19 夏 ユーザインターフェイス (学部4年) 18 冬 アルゴリズムとデータ構造 (教養学部4学期) 18 夏 ユーザインターフェイス (学部4年) 17 冬 メディア情報学 (大学院) 17 冬 アルゴリズムとデータ構造 (教養学部4学期) 17 夏 初年次ゼミ インタラクションデザイン (学部１年) 17 夏 ユーザインターフェイス (学部4年) 16 冬 アルゴリズムとデータ構造 (
Googleアルゴリズム200項目全てを特別公開 – マーケティングブログ
Googleアルゴリズムの200の要素を発見しましょう！（Let’s Try to Find All 200 Parameters in Google Algorithm） は2009年に書かれた記事ですが、パンダアップデートが適用された今現在（2011年4月）でも重要項目が多く書かれているもので。 多くはGoogleの特許（合衆国特許出願0050071741）に基づいていますが、筆者のアンが自身の解析結果や予測を盛り込んでいる事で、より実践に近い内容になっています。 SEO初心者の方は、これからのウェブ制作の軸に、SEOエキスパートの方はもう一度自身のサイトを見直す目次として確認してみてはいかがでしょうか。 ドメインに関する13要因 ドメイン年齢 ドメイン取得からの長さ ドメイン登録情報（Who is情報）の表示/非表示 ドメイン種類（サイトレベルドメイン（.com や co.uk） ト
ASSIOMA(アショーマ) » Twitterクライアント「Mutl」の紹介
ブレークスルーキャンプ 2011に参加中の石川洋資、桜井裕基、髙瀬章充と申します。 現在、筑波大学・千葉大学の大学生チームで新しいTwitterクライアントを開発中です。 メンターの大元隆志さんの紹介でこの場をお借りさせていただくことになりました。 今回は、現在開発を行っているTwitterクライアントのMutlの紹介をさせて頂きます。 “溢れんばかりのタイムライン”を変えたいと思った Twitterでは、多くのユーザーをフォローしていくとタイムラインが充実してきます。 しかし、フォローしているユーザー数が増えるにつれて、ノイズも多くなっていきます。 そこで、”見たいツイート”をノイズに埋もれさせないようにしようというのがMutlの出発点です。 Mutlは”見たいツイート”を自動判別して優先的に表示することで、 “見たいツイート”がノイズに埋もれる状況を減らします。 私たちは”見たいツイー
「最強最速アルゴリズマー養成講座」関連の最新 ニュース・レビュー・解説 記事 まとめ - ITmedia Keywords
最強最速アルゴリズマー養成講座： そのアルゴリズム、貪欲につき――貪欲法のススメ アルゴリズムの世界において、欲張りであることはときに有利に働くことがあります。今回は、貪欲法と呼ばれるアルゴリズムを紹介しながら、ハードな問題に挑戦してみましょう。このアルゴリズムが使えるかどうかの見極めができるようになれば、あなたの論理的思考力はかなりのレベルなのです。（2010/9/4） 最強最速アルゴリズマー養成講座： 病みつきになる「動的計画法」、その深淵に迫る 数回にわたって動的計画法・メモ化再帰について解説してきましたが、今回は実践編として、ナップサック問題への挑戦を足がかりに、その長所と短所の紹介、理解度チェックシートなどを用意しました。特に、動的計画法について深く掘り下げ、皆さんを動的計画法マスターの道にご案内します。（2010/5/15） 最強最速アルゴリズマー養成講座： アルゴリズマーの登
untitled
228 人工知能学会論文誌 26 巻 1 号 SP-X（2011 年） § ¦ 特集論文 ¤ ¥「エージェント」 ユーザの観点に基づくイベント系列化を用いた Web ニュース記事閲覧支援システムの実装 Implementing a News Browsing Support System based on Interactive Event Tracking 平田 紀史 Norifumi Hirata 名古屋工業大学大学院 工学研究科 情報工学専攻 Department of Computer Science and Engineering Graduate School of Engineering Nagoya Institute of Technology nori@toralab.org, http://www-toralab.ics.nitech.ac.jp/˜n
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
コンテンツを要約する画期的なiOSアプリ、16歳が開発
ケヴィン・スラヴィン 「アルゴリズムが形作る世界」
Proceedings of the Second International AAAI Conference on Weblogs and Social Media
225 ¤ ✞ ✝論 文 ✆ Technical Papers 新聞記事コーパスでの単語出現特徴を利用した 観光イベント情報の検索支援 An Event Information Retrieval Method Using Features of Keyword Appearance in Newspaper Corpora 小作 浩��
203 ✞ ¤ ✝論 文 ✆ Technical Papers ユーザ個人の閲覧履歴からのキーワード抽出によ るブラウジング支援 Browsing Support by Highlighting Keywords based on User’s Browsing History 松尾 豊 産業技術総合研究所��
untitled