Peter Norvig
#1 Gettysburg Powerpoint Presentation and its making (slides) #2 AI: A Modern Approach (book) and AI on the Web (links) #3 World's Longest Palindrome (for 20:02 02/20 2002) #4 Teach Yourself Programming in 10 Years (essay) #5 Paradigms of AI Programming (book) with code #6 Java IAQ and Python IAQ (FAQs) #7 Design Patterns in Dynamic Languages (slides) #8 Lisp compared to Python, Java, and itself i
[NLP][機械学習] 言語モデル覚え書き - tsubosakaの日記
この文章について 最近言語モデル方面にも少し興味があるので自分の知識を整理する意味で書いてみた。NLPは専門ではないので、おかしなことを書いてある可能性がありますがその場合はご指摘ください。 本文章ではn-gramモデル、単語の出現確率がn-1個前の単語のみに依存するモデルを考える。 問題 who is * という文が与えられたときに*にくる文字の確率を求めることを考える。この場合だと*には例えばheが当てはまるかもしれないが, isが入ることはまずなさそうに思える。このことは文法的にも説明ができると思うが、文法のルールを作るのは大変だし、文法的に正しい単語の中でどれが出やすいかということはできない。 一方で機械学習を使った言語モデルの文脈では文法的知識を余り持たず、与えられたコーパスから自動的に出やすい単語/表現を学習する方針をとる。 最尤推定 一番簡単なモデルとしては最尤推定を使うもの
![[NLP][機械学習] 言語モデル覚え書き - tsubosakaの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/fd5873fc29a8487ca585cedd187a3197a9282658/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124030005%2F1557332435)
「言語処理のための機械学習入門」を参考に各種モデルに対するEMアルゴリズムを実装したよ - nokunoの日記
Amazonにもレビューを書いたのですが、高村さんの「言語処理のための機械学習入門」を読みました。実はこの本を読むのは2回目で、1回目はドラフト版のレビューをさせていただく機会があったのですが、そのときは「言語処理研究者のための機械学習入門」というタイトルで、ちょっと敷居が高いのではないかとコメントしたら「研究者」の部分が削られたという経緯があったりしました。 それはともかくとして、以前読んだときは時間もなくて実装までする暇はなかったのですが、今度はもうちょっとじっくり読みたいなということで、このブログに書いてみようと思います。EMアルゴリズムは教師なし学習を確率モデルと最尤推定でやろうとするときに必ず出てくる手法で、隠れ変数や欠損値を含む色々なモデルに適用できる汎用的なフレームワークになっています。一般的には混合ガウス分布の場合をまず説明して、それがk-means法の一般化した形になって
JIN'S PAGE
R、R言語、R環境・・・・・・ Rのダウンロードとインストール リンク集 題名 Chap_01 データ解析・マイニングとR言語 Chap_0２ Rでのデータの入出力 Chap_03 Rでのデータの編集と演算 Chap_04 Rと基本統計量 Chap_05 Rでの関数オブジェクト Chap_06 Rでのデータの視覚化(1) Chap_07 Rでのデータの視覚化(2) Chap_08 Rでのデータの視覚化(3) Chap_09 GGobiとデータの視覚化(Rgobi) Chap_10 Rと確率分布 Chap_11 Rと推定 Chap_12 Rと検定 Chap_13 Rと分散分析 Chap_14 Rと回帰分析 Chap_15 Rと重回帰分析 Chap_16 Rと一般化線形モデル Chap_17 Rと非線形モデル Chap_18 Rと判別分析 Chap_19 Rと樹木モデル Chap_20 WEK
Support Vector Machines (SVM) in Ruby - igvita.com
By Ilya Grigorik on January 07, 2008 Your Family Guy fan-site is riding a wave of viral referrals, the community has grown tenfold in last month alone! First, you've deployed an SVD recommendation system, then you've optimized the site content and layout with the help of decision trees, but of course, that wasn't enough, and you've also added a Bayes classifier to help you filter and rank the cont
厄年の未踏プログラマー - 楽天ブログ（Blog）
2009.02.01 ブログを移転することにしました (52) カテゴリ：カテゴリ未分類 長い間、このブログを読んでくださってありがとうございました。 明日からこのブログでの更新はやめて、新しいブログで始めようと思います。 （とはいっても、2/1になっておりますけれど） http://blog.shockby.com/ 身分的にも、2/1よりまた０から再スタートをすることになりました。 これまでの生き方を修正して、新しいスタートを切るためブログも変えようと思います。 これまでのブログは、「起業で四苦八苦するところを包み隠さずに心情も含めて書き記す」というテーマでやっていましたが、趣を変えてみようと思います。 楽天ブログはお世話になったものの、このところの広告や無料サービスの有料化など目に余るところが増え始めていたので中断するつもりでいました。 他の無料ブログサイトをいくつか検討してみたので
AI開発ノート
このブログでは、人間のような人工知能を発明することを目指して、日々勉強したことを記事にしています。 そして、オリジナルの人工知能の開発も進めていきます。 コメントやTB大歓迎です。ご意見ご感想をお聞かせください。 Author: mad 6/21:mad日記を移転しました。 2/20:[AI開発ノート] オートマトンの設計 part 2 アップ 2/15:[知性の探求] 第８回 体内時計 アップ 2/2:[愛すべきAI/Robot達] 第６回 『AIBO』 アップ 2/1:[知性の探求] 第７回 推論の誤り part 1 アップ 1/31:[AI開発ノート] オートマトンの設計 part 1 アップ 1/29:Mad日記開設。AI開発ノートがすでに日記じゃなくなってしまったので、別サイトにしました。サイト構成が複雑になってしまってすいません。 1/28:[AI開発ノート] ニューラルネット
計算的な深さと脳
ニューロンが入力を受けてからスパイクを出すまでは早くとも数ミリ秒かかる。人間が反応するまでの時間は零点何秒かだから、入力と出力の間には最大に見積もっても数十段のニューロンが介在するだけである。（実際はもっと段数が低いだろう。） 一方コンピュータの方は現在のネズミ以下の判別能力しかないような画像認識をするにあたってさえ数千万サイクルの計算を行わなくてはならない。 だから、脳が物凄い並列計算をやっているに違い無い。ここまでは普通の話ね。 で、問題は「じゃ、物凄い並列な機械をつくったら脳の能力を再現できるのかよ」ということ。もちろん誰も答えをしらない。どんなアルゴリズムを使えば良いか分からないし。 人によっては絶望して「新しい物理法則を」とか「量子論的並列性」とか、「魂」とかに行っちゃう。 で、僕も答えは持って無いけど、この問題を考えるにあたって以下の「計算的大きさ」と「計算的深さ」の概念を
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SSH AI programming
Lispy Days
https://lisa.sourceforge.net/
ニューラルネットワーク入門