Hierarchical Softmaxの性質 - Qiita
これはHierarchical Probabilistic Neural Network Language Model に登場するHierarchical Softmax(以降hSm)について簡単に書くものです． 分類問題(特にsoftmax関数)に関する基本的な知識を必要とします．あとハフマン木がどのように構成されるかについて知っている方と理解がスムーズに進むかと思います． 手法の背景 Neural Networkを用いて文字列の生成をする場合，一般にラベル(単語)の予測にはSoftmax関数が用いられる．Softmax関数は$m_l = \langle \mathbf{w}_l, \mathbf{x} \rangle$とした時， で定義される関数である．自然言語で語彙を考える場合，辞書は数万単位のサイズになる．そのため，$Z=\sum_k^K exp(m_k)$の計算が非常にハイコスト
アマゾン、ディープラーニングライブラリ「DSSTNE」をオープンソース化
Amazonが、自社のディープラーニングソフトウェアをオープンソース化した。GitHubに公開されたこの「Deep Scalable Sparse Tensor Network Engine（DSSTNE）」ライブラリは、「Apache 2.0」ライセンスの下で利用可能になっている。 Amazonは同ライブラリのFAQページで、DSSTNE（発音は「Destiny」と同じ）は、Amazonの多数の顧客のショッピングを支援するものだとした。「われわれは、顧客が膨大な製品カタログの中から、ふさわしい製品を見つけ出すのを手助けする」と同社は説明している。「ふさわしいおすすめ製品を提示するのに、ニューラルネットワークは不可欠だ」（Amazon） Amazonは、DSSTNEをオープンソースのソフトウェアとして公開したと述べた。「ディープラーニングの可能性を、言語の理解やオブジェクトの認識などの領域
イーロン・マスク氏ら、AI研究組織「OpenAI」を創設--人類への貢献を目指す
Elon Musk氏、Sam Altman氏、Peter Thiel氏というIT業界の著名人らから10億ドルもの寄付を得て、人工知能（AI）の推進を目的とする研究組織OpenAIが米国時間12月11日に創設された。AIは、この技術を搭載する機械が人間にどう影響するかという懸念から、有望ながら論争の的にもなっている分野だ。 OpenAIは発表の中で、「人間レベルのAIがどれだけ社会に貢献できるかを推測することは難しく、また、それが正しく構築または利用されなかった場合に社会にどれだけの損害を与え得るかを想像することも同等に難しい」と述べ、「人間レベルのAIが、いつ実現可能なレベルに達するかを予測するのは困難だ。そのレベルに達したときに、良い成果を自己利益よりも優先できる強力な研究機関が存在することが重要となる」とした。 Musk氏、Altman氏、Thiel氏がAIに関心を寄せていることは重要
Word2Vec のニューラルネットワーク学習過程を理解する · けんごのお屋敷
Word2Vec というと、文字通り単語をベクトルとして表現することで単語の意味をとらえることができる手法として有名なものですが、最近だと Word2Vec を協調フィルタリングに応用する研究 (Item2Vec と呼ばれる) などもあるようで、この Word2Vec というツールは自然言語処理の分野の壁を超えて活躍しています。 実は Item2Vec を実装してみたくて Word2Vec の仕組みを理解しようとしていたのですが、Word2Vec の内部の詳細に踏み込んで解説した日本語記事を見かけることがなかったので、今更感はありますが自分の知識の整理のためにもブログに残しておきます。なお、この記事は Word2Vec のソースコードといくつかのペーパーを読んで自力で理解した内容になります。間違いが含まれている可能性もありますのでご了承ください。もし間違いを見つけた場合は指摘してもらえると
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
山口英さん死去、５２歳 初代情報セキュリティー補佐官：朝日新聞デジタル
