パターン識別 (4) 正規密度に対する判別関数 - 人工知能に関する断創録
今日は p.36。 2つの正規分布から生成されたサンプルを分離するための決定境界を求めてみる。ケース1共分散行列 の場合。ただし、決定境界は手計算で と求めてしまった。 白い点の集合と黒い点の集合が見事に分断されてる。ケース1の場合は直線で分離できるので線形判別関数（linear discriminant function）と呼ばれている。この直線を求めるためには正規分布の平均ベクトルと共分散行列が既知である必要がある。普通はこんな好都合なことはなくて、分布は不明、得られているのはサンプルのみってことが多い。この場合には機械学習で決定境界を学習する方法が取られる。後のお楽しみ。 Rのソースコード # 正規密度に対する識別関数 ケース1 linear_discriminant <- function() { # mvrnormを使うため library(MASS) # カテゴリ1の分布を定義
乱数と確率事象 - 人工知能に関する断創録
意味のある偶然（2006/6/3）の続き。 乱数と確率事象のサイトでサイコロ振りの同じような状況が検討されている。 しかしながら、どんな数の並びでもそれを「乱数」と呼べるわけではない。例えば、 a. 1111111111111111111111111111111111111111... b. 0123456789012345678901234567890123456789... の双方ともに、無作為(random)であるどころか、作為そのものとも言える。 ところで、10角形の鉛筆の各面に0〜9の数字を描き、それを転がして静止した時の上面の数字を読み取る実験を行えば、上の a, b どちらの結果も（極めて稀にではあるが）起き得る。つまり、無作為であることは、「作為的結果も排除されない」ことを意味している（あるいは「作為的結果の排除」もまた１つの「作為」であるとも言える）。 にもかかわらず、具
混沌 - 人工知能に関する断創録
秩序が知性を魅了するように、混沌は想像力を魅了する ポール・クローデル 自然は混沌を創造の源泉として利用する ウォルター・フリーマン 言いえて妙なり。
予測可能な予測不能性 - 人工知能に関する断創録
素人のように考え、玄人として実行する―問題解決のメタ技術 (PHP文庫) 作者: 金出武雄出版社/メーカー: PHP研究所発売日: 2004/11メディア: 文庫購入: 8人 クリック: 128回この商品を含むブログ (61件) を見る 本箱に入ってた上の本をもう一度読み直してたら新しい発見をした。今後考えていきたい問題なので長いけど「引用」しておこう。 私はこの「予測可能な予測不能性」が、人が他人やコンピュータを「感情がある」とか、「個性的である」と思うかどうかの判断基準であると考えている。 例えば、「感情がある」という語句を考えてみよう。笑ったり泣いたり怒ったりの顔の表情をスクリーンに表示することのできるコンピュータプログラムがあったとしても、それだけでは、人は誰もそのコンピュータに感情があるとは思わないだろう。 つぎに、人が何か文章をタイプ入力すると、コンピュータはそれに反応をして表
ストレンジアトラクタ - 人工知能に関する断創録
決定論的カオス（2005/11/21）の続き。コメントにあるku__ra__geさんに教えてもらった図を描いてみた。 ロジスティック方程式 において横軸にaを縦軸にx(81)〜x(100)をプロットしたグラフ。初期値 x(0) は0.3とした。このグラフはロジスティック方程式の定常状態（アトラクタ）を表している。面白いのはaによってアトラクタの数ががらりと変わってしまうこと。 a=1あたりではアトラクタは1つ（0）だけ。つまりロジスティック方程式の値は で0に収束する。 a=2あたりでもアトラクタは1つ（0.5）ある。 で0.5に収束する。 a=3あたりではアトラクタは2つ（0.65,0.69）ある。 でこの2つの値で振動する。 a=3.5あたりではアトラクタは4つ（0.38,0.5,0.83,0.87）ある。 でこの4つの値で振動する。 a=4になると・・・もう数えるのも嫌なくらいになる
ロボットの王国 - 人工知能に関する断創録
ロボットの王国（リンク切れ）というロボットに関連した連載記事が公開されてます。 日本が世界に誇るロボットテクノロジーを哲学、最新技術、そしてロボットアニメまでを取り上げつつ、ロボットの魅力をとことん振り下げている力作です。 全15回シリーズで現在は松原先生と石黒先生のインタビューが公開されてます。 松原先生のインタビューは4ページ目の指摘が面白かったです。「人工知能の実現にはなにか単純なものを生み出して、それを環境にさらして学習させる。そうしてより複雑なものにいわば育てていくしかない」と断言されてます。 石黒先生は人間そっくりのロボット開発している方 不気味の谷のアクトロイド（2005/7/21） ですがなんと子供版も出来てるようです（写真あり！）。何でああいうのを目指しているのか疑問だったのですがそれへの回答も書かれていました。興味深いです。 あとの13回でどのような話題が取り上げられる
歴史マイニング - 人工知能に関する断創録
世界でもっとも偉大で貴重な時系列データって何だと思う？株価？んなわきゃねー（笑）音楽？まあありえるかも。 いろいろ考えられるけれど、私は歴史だと思うのだ。 人類発祥から現在まで続くさまざまなイベントの集積。データと呼ぶのは失礼かもしれないけれど、事実の集積だけでは意味がないという点ではデータと同じだ。そこから情報、知識、知恵、パターンを引き出してこそ歴史は役に立つ。 歴史は時系列データだけではなく、空間データでもある。世界という限定された空間で起こるさまざまなイベントは何らかの相関を持つと考えられる。 データマイニングを使って人類の行動パターンを歴史から発見できたら面白そうだな。歴史は繰り返すをデータを使って証明できるかも。イベントの定義が難しいかな？ 関連リンク 若い読者のための世界史（2005/03/26） 人間ものがたり（2005/12/29）
新・ロボット工学三原則（ソニー） - 人工知能に関する断創録
鉄腕アトムは電気羊の夢を見るか 作者: 布施英利出版社/メーカー: 晶文社発売日: 2003/03/15メディア: 単行本 クリック: 7回この商品を含むブログ (5件) を見る って本を読んでたらソニー版の新・ロボット工学三原則が載ってた。なかなか興味深い。 第一条 ロボットは人間に危害を加えてはならない。自分に危害を加えようとする人間から逃げることは許されるが、反撃してはいけない。 第二条 ロボットは原則として人間に対して注意と愛情を向けるが、ときに反抗的な態度を取ることも許される。 第三条 ロボットは原則として人間の愚痴を辛抱強く聞くが、ときには憎まれ口を利くことも許される。 アシモフが考えたロボット工学三原則 by Issac Asimov（2002/05/13）と比べてみると面白い。アシモフのは絶対服従の奴隷的でソニーのは友達的な面が強く出ている。AIBOを創ったソニーらしい。
Lin's Dynamic World - 人工知能に関する断創録
昔いつか実装しようと思ってそのままにしていた強化学習の面白いタスクがあった。それが L. Lin という人の提案したDynamic Worldだ。 L. Lin: Self-Improving Reactive Agents Based On Reinforcement Learning, Planning and Teaching, Machine Learning, Vol.8, pp.293-321, 1992. もうかなり古い研究なのだが読んだ瞬間に面白そうだと思った。この論文では下のような新しい動的な世界を提案している。 このタスクにおけるエージェントの目的は敵を避けながら食料を集める方法を試行錯誤を通して学習することだ。食料を得たら報酬、敵に触ったら罰を受ける。またこの論文では教示の導入も検討されている。敵は移動する（環境が動的）ので迷路や倒立振子などに比べたら複雑な環境になっ
PCクラスタ上での強化学習 Qテーブルの結合 - 人工知能に関する断創録
共有メモリ型の方もまだ問題があるが、分散メモリ型の方を少し考えた。クラスタ上で並列に強化学習を行う場合に最も問題となるのは、別々に学習したQテーブルをうまく結合できるかという点だと思う。 というわけで実験してみた。結果が次のグラフ。 PC1とPC2で学習したQテーブルをそれぞれQ1とQ2とする。Q1とQ2で実行した学習曲線がPC1とPC2である。そして、その2つのテーブルを『Parallel Reinforcement Learning』の論文で提案されている結合規則（テーブル更新回数で重みづけするだけだが）で結合してできたQで実行した学習曲線が ketugou である。2つのQテーブルを結合することにより学習が早まっていることがわかる。直感的に考えると当たり前な気がするが。 Qテーブルを別々に計算できるのでそれをクラスタの上で並列に走らせれば学習時間は短くなるはず（だといい）。Qテーブル
三人寄れば文殊の知恵 - 人工知能に関する断創録
三人寄れば文殊の知恵 愚かな者も三人集まって相談すれば文殊菩薩のようなよい知恵が出るものだ。 広辞苑 これは人工知能の分野でも当てはまるのか。それぞれ別の知識や経験を学習したエージェントが互いに相互作用することで学習が加速するだろうか。 たとえば、強化学習で複雑な動作の学習をさせたいときに3つのエージェントを独立に動かして学習させ、その結果を統合して学習を加速することができるか？3つのエージェントが10エピソードずつ学習して結果を統合した場合と1つのエージェントが30エピソード学習した場合どちらがよいのだろうか。PCクラスタ上での強化学習 Qテーブルの結合（2003/08/21）で言及した論文には後者の方がよいと書いてあったがそれも微々たるものだった。もっとずどーんと学習を加速する方法はないものか。 最近知ったのだが、別々に学習した複数の識別器を統合してより精度のよい識別器を作るブースティ
2002-10-23
強化学習の一つの問題に次元の呪いがある。これは、状態数が指数関数的に増大する傾向のことを指す。ほとんどの問題では、状態数が大きすぎて、表形式（配列でQ[S][A]のように価値関数を表す方式）で管理することができなくなる。前にやった迷路はそんなに大きくないので、表形式でできた。 しかし、tic-tac-toeは、○と×があって、置けるところが9個あるから、単純計算で2の9乗くらいある。これでも一般的な問題に比べて全然大きくないが、500個近い配列（しかもその大部分は使わない）を用意しておくのは無駄である。 このようなときには、関数近似という手法を使うのが一般的らしいが、tic-tac-toeで参考にした Sutton, Barto のプログラムはハッシュ法を使っていて少し違うように思っていたのだがやっとわかった。『強化学習』（p.223）にハッシュ法で次元の呪いを解決する話が載っていた。簡単
機械の感情 - 人工知能に関する断創録
以前から考えてた感情の意味について面白い説明があったのでメモっておきたい。 わたしの意見では、感情とは定型化された行動パターンで、それが生存価を持つことが証明されたために、自然淘汰を通じて強化されたものだ。明らかに、怒って闘ったり、怖がって逃げたりする動物は、何も感じず何もせずに食われてしまう動物よりも無事でいる可能性は大きい。 未来の二つの顔、p.88 感情とは何か（2003/10/23）で感情の持つ機能について少しまとめてあった。上で引用したように怒りとか恐怖は生存に役立つのは直感的に理解できるが、その他の悲しみ、幸福、自尊心、妬み、嫉妬なども生存にとって何らかの役割を果たしているのだろうか。 きみがいうのは、無機的な知能もそれなりの衝動的な性格を生じるかもしれないが、それが人間の感情に少しでも似たところがあると考える理由はないということだな。われわれの感情は生存の必要から生じたもので
愛情と目標 - 人工知能に関する断創録
Minsky氏の講演会が近々あるのでそれに備えて、『Emotion Machine』を読んでいる。 Marvin Minsky氏来日！！！（2005/9/9） Part II の Attachments and Goals に面白いことが書いてあった。前に報酬の学習（2003/02/18）で 何を報酬とするか（つまりやりたいタスクの目標）を学習の間に獲得できるようにすればいいんじゃないだろうか。強化学習のメタ学習みたいな感じ。エージェントがいきなり自分から「これをしたい！」って言い出すのは無理だから、何に価値があるかを人間が教えられるように。さらに言えば、教えた中から推論によって新しい価値観を自動的に計算し、内発的動機付けができるようになってほしい。 と書いた。Minsky氏によると、この何を報酬とするか（何を目標とするか）を決定しているのが感情（Emotion）だという。 Those s
知識発達ロボティクス - 人工知能に関する断創録
FIT2005に行ってきた。「脳科学と情報科学はどう融合していくのか」というイベント企画を聴いていたのだけどとても興味深かった。やはり強化学習をやっていたので浅田さん（阪大）の「知識発達ロボティクスによる心と脳の理解に向けて」が一番面白かった。 従来のロボットの多くはいかにも知能がありそうに見えるが、その知能は設計者側に存在し、ロボットはそれをプログラムとして埋め込まれているだけだった*1。そんなわけで、設計者に依存せずにロボットが自ら知能を獲得するにはどうすればよいかというのが議題だった。 それには自律的発達機能が必要であり、そのためには、 学習の基盤構造を決める 環境を整える の2つの要素が重要となるそうだ。たとえば、強化学習を基盤構造に定めたら、報酬系の設定が環境を整えることにあたる。この2つを定めたら後は発達させて自ら学習するのを待てばいい。報酬系の設定が重要だと話していたかな。確
アラン・ケイ - 人工知能に関する断創録
アラン・ケイ (Ascii books) 作者: アラン・C.ケイ,Alan Curtis Kay,鶴岡雄二出版社/メーカー: アスキー発売日: 1992/04メディア: 単行本購入: 5人 クリック: 69回この商品を含むブログ (44件) を見る という本を読んでた。アラン・ケイの言葉は断片的に見聞きしてるが、どんな研究をしてたかはあんまり聞いたことなかったので知りたかった*1 顧客ニーズは聞かない（2005/6/2） 未来を予測する最善の方法（2005/7/20） と関連してメモ。 マーケティングの人間というのは、主として外挿法に通じているが、二〇世紀にあっては、外挿法というのは、いたって信頼性が低くなってしまった。航空機も、写真複写機も、ポケット計算機も、ホームコンピュータも、外挿法では予測できませんでした。マーケティングの人間は、なにかというと、「あなたはなにがほしいですか？」と
ダートマス会議再び - 人工知能に関する断創録
面白い論文があったので紹介したい。 M. Minsky, P. Singh and A. Sloman: The St. Thomas Common Sense Symposium Designing Architectures for Human-Level Intelligence (PDF), AI Magazine, 25(2), pp.113-124, 2004 この論文では、人工知能の将来と今後の指針について常識を中心に議論している。結構長い論文なので重要なところだけ順々と整理していく。 かつての人工知能は常識を備えた機械の構築という目標を持っていた。しかし、近年の研究はこのような野心的な目標を避け、ある特定の問題領域だけでうまく働くような技術に限られてしまった。人工知能の今後の方針としてこれらの技術を統合する方法を開発するべきだというのが要旨だ。 確かに人工知能の研究は細分化
自由意志のパラドックス - 人工知能に関する断創録
スピリチュアル・マシーン―コンピュータに魂が宿るとき 作者: レイカーツワイル,Ray Kurzweil,田中三彦,田中茂彦出版社/メーカー: 翔泳社発売日: 2001/05メディア: 単行本購入: 3人 クリック: 12回この商品を含むブログ (12件) を見る という本を読んでいたら、炎は存在するか？（2005/7/26）に出てきた自由意志を扱った話題があったのでメモ。 自由意志の概念はいっそう難しいパラドックスだ。自由意志とは、意図的行動と意思決定である。プラトンは、因果という固定的、決定的な規則にもとづく一種の「粒子物理学」を信じていた。しかし、もし人間の意思決定がそのような予測可能な基本粒子の相互作用によるものだとすれば、人間の意思決定も予測可能なものでなければならないが、そうだとすると、選択の自由と矛盾してしまう。自然法則にランダム性をもち込めば、意思決定と行動が前もって決定し
AIルネッサンス - 人工知能に関する断創録
AI奇想曲―「知」の次世代アーキテクチャ (Books in form) 作者: 竹内郁雄出版社/メーカー: NTT出版発売日: 1992/01メディア: 単行本購入: 3人 クリック: 6回この商品を含むブログ (3件) を見る 少し古い本だけど面白そうなので読んでみた。 本書はコンピュータに関するたんなる啓蒙書ではない。本書は研究者たちに縦書くという制限を課する*1ことによって、逆にイマジネーションをふくらませてもらうことをねらった。つまり、学会誌の論文や解説にはとても書けないような大胆なスペキュレーションを展開してもらうようにした。研究者のフラストレーションの発散の場とも考えたわけである。 p.5 と宣言されてることもあり内容はとても楽しい。でも特にぶっとんでるって話はないと思う。まあ学会誌に比べればイマジネーションはふくらむ話が多いが。 特に面白かったのが中野良平さんのAIルネッサ
広大な情報の海へ - 人工知能に関する断創録
Spidering hacks―ウェブ情報ラクラク取得テクニック101選 作者: Kevin Hemenway,Tara Calishain,村上雅章出版社/メーカー: オライリー・ジャパン発売日: 2004/05メディア: 単行本購入: 52人 クリック: 904回この商品を含むブログ (103件) を見る スパイダー（別名クローラー、ロボット）の作り方が書いてある本。ぜひ勉強しておきたい分野だったがようやくいい本にめぐり合えた。 スパイダーは情報検索の分野で非常に重要なプログラムだ。あのGoogleもあちこちのサイトの情報を集めるためにネット上に多数のスパイダーを放っている。ウェブ（蜘蛛の巣）の上をうごめくプログラムだからスパイダー（蜘蛛）って言うみたいね。洒落てる、最初に名づけた人は頭いい！ 情報検索の分野では、ネット上の情報をかき集めてきてハードディスクに保存するためにスパイダーを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
