ディープラーニングによる 自然言語処理 (技術編)
名古屋大学特別講義 2016年6月29日(水) ディープラーニングによる 自然言語処理 (技術編) 日本アイ・ビー・エム株式会社 東京基礎研究所 坪井 祐太 yutat@jp.ibm.com 1 ニューラルネットワーク技術詳細 • 目的関数 • 誤差関数 • 目的関数の最小化 • 勾配法 • 目的関数の微分計算 • 誤差逆伝搬法 • 誤差の分解と対処手法 • 推定誤差に効く手法 • 最適化誤差に効く手法 • RNNの話題 2 目的関数: 誤差 • 教師あり学習の目的関数 • 𝑥 ∈ 𝑋: 入力, 𝑦 ∈ 𝑌: 出力 • 入力xからyを予測したい問題設定 • 真の目的関数: 𝐿∗ 𝜃 = ∫𝑝 𝑥, 𝑦 ℓ𝜃 𝑥, 𝑦 𝑑𝑥𝑑𝑦 • ℓ𝜃は事例ごとの損失関数（後述） • 訓練データでの誤差 • データ分布p(x,y)は普通わからないので訓練データN個: D=
ほんとに「オオアリクイ」スパムはベイズよけのため生まれたのか？ - モーグルとカバとパウダーの日記
５年くらい前に流行った「オオアリクイ」スパムについて、面白い考察が出ていた。 なぜ「主人がオオアリクイに殺されて1年が過ぎました」なのか？ - あんちべ！ http://d.hatena.ne.jp/AntiBayesian/20111125/1322210338 要約すると、スパムフィルタでよく使われている、（迷惑メールによく使われる単語を自動学習する）ベイズフィルタを抜けるために、「オオアリクイ」というスパムではまず使われないであろう単語が、偶然（コンピュータのランダムによる文章自動生成によって）使われた、というわけである。 確かに説得力がある説明なのだが、自分はそれはたぶん違うんじゃないかなあ、という感想だった。 この説通りだとすると、その時期に同じテンプレートを使って、似たようなパターン、つまり「オオアリクイ」の代わりに「パンダ」だとか「ペンギン」だとかが入った文がたくさん出まわっ
自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる - あんちべ！
概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woman"を足すと"queen"が出てきたり、 "東京"から"日本"を引いて"フランス"を足すと"パリ"が出てくるという面白い手法です。 自然言語処理とは人間が日常的に用いる自然言語をコンピュータに処理させ、 翻訳や要約、文字入力支援や質問応答システムを作るなどに活用されている分野です。 自然言語処理と言うと耳慣れない言葉かもしれませんが、 実は検索や推薦などで私たちが日常的に利用しているなじみ深い技術でもあります。 自然言語処理の適用範囲や要素技術は幅広いのですが、 その中でもword2vecの特色は、 冒頭でも挙げたように「意味の計算」が出来ることです。 これ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
