はてなブックマーク

2018 年から 2019 年にかけて人間超えした自然言語処理モデル# GLUE leaderboad# GLUE とは General Language Understanding Evaluation の abbreviation です。 最近の自然言語処理の趨勢になっています。一つのモデルで複数の課題を解くこと を マルチタスク学習 multi-task learning と呼びます。それぞれのモデルは， 最初に一般的なデータセットを用いて 事前学習 pretraining を行います。 次に，事前学習を行ったモデルに対して，複数の下流課題 downstream tasks のそれぞれに対して 詳細チューニング fine tuning を施します。これにより各下流課題ごとの 課題成績を評価します。下図は 2019 年 8 月 21 日現在の順位が示されています。 この競争に参加するモ

遺伝的アルゴリズム GA 進化的アルゴリズム EA 進化的アルゴリズム 進化的アルゴリズム（evolutionary algorithm，EAと略記される)は進化的計算 の一分野であり，複雑な問題，解の探索空間が広大である問題， NP-hard な問題の最適解の近似解を求めるための アルゴリズムです。 個体群ベースのメタヒューリスティックな最適化アルゴリズムです。 生殖，突然変異，遺伝子組み換え，自然淘汰，適者生存，などという概念が用いられ， これが生物進化に着想を得た操作であることから，進化論的計算などと呼ばれています。 最適化問題の解の候補群が生物の個体群の役割を果たし， コスト関数によってどの解が生き残るかを決定し， 生き残った個体群の中で交配を繰返します。その過程で，突然変異を導入します。 これによってより良い個体が生き残るという進化に似た過程が起こります。 この操作を繰り返すこと

視覚情報処理 視覚系のさまざまな部位における単一ニューロン，および， ニューロン集団の応答特性を調べ，比較することは， 我々の視覚的認識における根本原理を洞察する上で有益であるに違いない。 なぜなら我々の認識は， これらのニューロンの活動特性に依存しているからである。 ここでは， 視覚系は外界の正確な内部コピーを生み出しているわけではないことを概観する。 すなわち，見えるものが受容しているものと同じとは限らない。 換言すれば，視覚系は外界の正確なコピーを作り出している訳ではない。 すなわち「見えるものが正確に受容しているものだとは限らない」。 視覚系の役割は，Marr の言葉を借りて言えば， 2 次元の網膜情報から 3 次元の構造を復元するということである。 2 次元の情報から 3 次元を復元するのであるから， この問題は答えが一意に定まらないと言う意味で 不良設定問題 ill-defin

生命とは何か 生命とは何か？と問われれば，究極的には， 自己複製することができる機械 ということになると言われています (結婚に失敗してしまった私は今のところ自己複製する見込みが無い壊れた機械ですなーT_T) 。 このこと， すなわち自分自身と同じものを創り出すことができる能力を持った人工生命体を作ろうという試みを紹介しましょう。 イギリスの進化遺伝学者，ジョン・メイナード＝スミスは生命のことをこう語っています。 「増殖すること，多様性を持つこと，形質の継承をそなえたものが生きているものであり， これらの性質のうち，一つでも欠けているものは生命とはいえない」 多様性と形質の継承についてはのちほど考えます。 彼はまた「遺伝的なプログラムを持つかどうかが，生命とそうでない物質との絶対的な違いだ。 生気のない世界の中で，これに相当するものはない。人間の作ったコンピュータをのぞいては」 とも書いて

ボルツマンマシン Boltzmann machine 浅川伸一 Hinton, Sejnowski らによって提案された確率的に動作するニューラルネット ワークです。 ホップフィールドネットでは、ローカルミニマムに陥ると抜け出すことができな かった訳ですが、各ユニットを確率的に動作させることによって、ローカルミニ マムの問題を回避させるように工夫されたものです。 各ユニット間の結合係数は対称 , 自己結合はなし を仮定するのはホップフィールドと同じです。各ユニットの出力は 0 または 1 を取りますが、どちらになるかが決定論的に決まるのではなく 1 を出力する 確率が次のように定義されます。

階層型のネットワーク 結合係数の更新式 --ヘッブ則とデルタ則-- ニューラルネットワークモデルでは、シナプスの結合係数を変更することをニューラルネットワークの学習と呼びます。学 習時における結合係数の変化を記述したルールを学習則(learning rule)と呼びま す。ここでは 2 つのニューラルネットワークの学習規則を紹介します。これら 2 つ学習規則はいずれ も歴史的な価値があり、かつ、現在でもそまま形式で用いられたり、特定の目的に合致するように拡張、 変形した形式で用いられている基本的な学習則です。 ヘッブ則 Hebb の原文では以下のような記述です。 When an axon of cell A is near enough to excite cell B and repeatedly or consistently takes part in firing it, some

gcc の使い方 自習のための URL 自宅で programing するために、以下の URL などから開発に必要な tool を手に入れてください。基本的に無料です。 http://sources.redhat.com/cygwin/download.html PC Unix(Linux, FreeBSD 等) を使っている場合には C (gcc or egcs) は default で install されているはずです。 C を学ぶ場合の教科書としては、やはり C の開発者が執筆したオリジナルで定評 のある K & Rがよいと思います。K & R とはカーニハン、リッチ著、石田晴久訳、 「プログラミング言語 C 第 2 版」共立出版のことです。 拡張子 .c : C で書かれたプログラムのソース .o : リロケータブルオブジェクト Unix では実行可能なオブジェクトファイルに拡