自然言語処理の最先端Transformerを集合生成に応用する【逆転オセロニア】 | BLOG - DeNA Engineering
はじめまして。9月初旬より約半月にわたり、AIエンジニアコースのインターンに参加させていただいた清水と申します。大学院は情報系の専攻で、最近は幾何学的な深層学習に関する研究に取り組んでいます。その過程で言語的なタスクを出口に用いることも多く、副次的に深層学習を利用した自然言語処理にも多少明るかったりします。 題目にあるTransformerとは、そうした分野にてここ数年にわかに注目を集めている仕組みの名です。自然言語処理の最先端研究ではまず流用されないことなどない、いわば伝家の宝刀レベルのモデルといってよいでしょう。 本記事ではこれを『逆転オセロニア』というゲームのデッキ編成に特化させ、現行手法よりも表現力に富んだ編成システムを実現した経緯についてお話しできればと思います。『日進月歩で強力になっていく機械学習手法の恩恵に与りたいけれど、所望の問題設定にドンピシャな手法なんてそうそうなくて思
word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - これで無理なら諦めて！世界一やさしいデータ分析教室
久しぶりの記事更新です。 今回はかねてより書いてみたかったword2vecについて。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そこで今回は、過去の自分を救えるように、word2vecをできるだけ簡潔に、そして直観的に理解できるように解説していきます。 なお、word2vecについては以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホのAMPだと、行列や数式がうまく表示されない可能性がありますので、こちらのリンクかPCから購読頂けますと幸いです。 word2vecを使うと何ができる
ディープラーニングの仕組みと応用
脳の神経回路の構造を模倣 ディープラーニングは、大量のデータを学習するために、人間の脳の神経回路の構造を模倣（モデル化）した情報処理の仕組みであるニューラルネットワークを用いる。図3のニューラルネットワークは、「入力層」「隠れ層」「出力層」という3層で構成している。また、学習データは入力データとなる手書き文字の画素データと、正解データがセットになっている。 このニューラルネットワークのモデルを学習させるには、まず手書き文字画素データをピクセル単位に分割した上で、各ピクセル値を入力層に入力する。図3のモデルでは縦横28ドットで分割していることから、784個が入力層に並ぶ。 入力データを受け取った入力層は、受け取った値に「重み付け」をした上で、後段にある隠れ層のニューロン（神経細胞。CPUのような役割を担う）に伝達する。 同様に隠れ層の各ニューロンは、入力層から受け取った値をすべて加算し、その
最適化超入門
DQN（Deep Q Network）以前からRainbow、またApe-Xまでのゲームタスクを扱った深層強化学習アルゴリズムの概観。 ※ 分かりにくい箇所や、不正確な記載があればコメントいただけると嬉しいです。 最適輸送問題（Wasserstein 距離）を解く方法についてのさまざまなアプローチ・アルゴリズムを紹介します。 線形計画を使った定式化の基礎からはじめて、以下の五つのアルゴリズムを紹介します。 1. ネットワークシンプレックス法 2. ハンガリアン法 3. Sinkhorn アルゴリズム 4. ニューラルネットワークによる推定 5. スライス法 このスライドは第三回 0x-seminar https://sites.google.com/view/uda-0x-seminar/home/0x03 で使用したものです。自己完結するよう心がけたのでセミナーに参加していない人にも役立
機械学習の有益な書籍情報を共有します - EchizenBlog-Zwei
機械学習の有益な書籍情報を共有します。 初心者向け 最初に読む本としては「オンライン機械学習」「フリーソフトではじめる機械学習入門」「言語処理のための機械学習入門」がオススメです。 「オンライン機械学習」は3章までが入門的な内容になっています。4章以降は発展的な内容なのである程度力がついてからが良いです。オンライン機械学習という分野は実装が簡単で実用性が高いので最初に取り組むのに適しています。 広い範囲で機械学習を概観したい場合は「フリーソフトではじめる機械学習入門」がよいです。こちらは全体像がつかみやすい反面、数式の展開がわかりにくい箇所がちらほらあるので適当なスルー力が必要とされます。 「言語処理のための機械学習入門」はやや実装よりの本です。数式をみるより具体例をみたほうがわかりやすい、という人はこの本が良いと思います。 数学 何をやるにしても基礎体力は大切。数学の理解が深まれば深まる
プログラマのための文書推薦入門 (社内勉強会の発表資料) - y_uti のブログ
勤務先の社内勉強会で、機械学習を用いた文書推薦*1に関する基本的なことがらについて説明しました。その資料を公開します。 プログラマのための文書推薦入門 from y-uti 数学やコンピュータサイエンスを専門的に学んでいないエンジニアでも理解しやすいように、できるだけ数式を使わずに説明したつもりです。厳密性にはこだわっていないので、専門家からはあちこちツッコミを受ける内容かもしれません。 プログラマ向けということで、実際にコンピュータ上で動作を確認できるように、Wikipedia のデータを対象にして類似文書検索を行うスクリプトを作成しました。GitHub に置いてあります。 y-uti/document-recommendation · GitHub *1:推薦というより情報検索、類似文書検索という方が適切だったかもしれません。
自分が感動した人生、NLP、機械学習に関連したプレゼンテーションとブログ記事 - Topics Related to Computers and NLP
自分の一年と少しという短い研究期間で最も気に入っているプレゼンテーションやブログ記事を何点か挙げる。 全部技術的な発表や記事ではなく、自分の心に深い部分に何かを語りかけたモノを挙げていく。 １．パターン認識と機械学習入門 パターン認識と機械学習入門 タイトルからして「うわ、、数式一杯やだな」と思うかもしれないが、これは人が人生を送るうえでやっていることを、機械学習の世界に絡めたプレゼンテーションである。数式は一切ない。 自分が特に気に入っているのは「みにくいアヒルの子定理」の直観的解説の部分。これは「人は自分の価値基準（＝事前知識orコスト関数と自分は解釈）を用いないと、最適かどうかを判断できなくなる」と自分は解釈している。あなたが人生で何を大切にするのか？を考えないと、現実でも機械学習の世界でも何も判断できないよ、というメッセージが自分の心に刻み込まれた。 2013年6月15日追記： 上
機械学習チュートリアル@Jubatus Casual Talks
SSII2021 [OS2-01] 転移学習の基礎：異なるタスクの知識を利用するための機械学習の方法 6月10日 (木) 11:00 - 12:30 メイン会場（vimeo + sli.do） 登壇者：松井 孝太 氏（名古屋大学） 概要：転移学習とは、解きたいタスクに対して、それと異なるが似ている他のタスクからの知識（データ、特徴、モデルなど）を利用するための方法を与える機械学習のフレームワークです。深層モデルの学習方法として広く普及している事前学習モデルの利用は、この広義の転移学習の一つの実現形態とみなせます。本発表では、まず何をいつ転移するのか (what/when to transfer) といった転移学習の基本概念と定式化を説明し、具体的な転移学習の主要なアプローチとしてドメイン適応、メタ学習について解説します。
挑戦者求む！【機械学習】金貨の真贋を見分けよう by @naoya_t naoya_t│CodeIQ
【問題】 週末に海賊船で催されたPRML読書会に参加したN君は、船内に山のように積まれた金銀財宝に目を奪われました。 近くにあった宝箱の１つを開けてみると、きらきらと輝くコインが何枚も入っていました。 手に取ってみるとどれもずっしりと重みがあります。金貨に違いありません。 好きなだけ持って帰ってよいと言われ、勉強会帰りに何枚か鞄に詰め込んで帰ることにしました。 家に帰ってから少し冷静になったN君は「気前よく配っていたけれど、この金貨は本物なのだろうか」と疑い始めました。 鞄には20枚の金貨が入っていましたが、友人のアルキメデスに計測してもらったところ、20枚とも体積も重さも異なりました。 ネットで検索してみたところ、金貨の体積と重さと真贋のデータを得られました。 このデータを参考に、貰ってきた金貨の真贋を見分けてください。 【解答評価のポイント】 分類の正誤で評価します。
きまぐれ日記: Yahoo!の形態素解析をMeCabで無理やり再現してみる
MeCabで形態素解析器を作りたい場合は以下の二つの言語リソースが必要です。 1. 辞書 (単語と品詞のペアの集合) 2. 入力文と、それに対応する正解出力ペア(正解データ) 現在公開している mecab-ipadic は、ipadicとRWCPコーパスという正解データを使っています。 ここから分かるとおり、少なくともMeCabを使う場合は、コスト値を丹念にチューニング するといった職人芸は要りません。形態素解析への入力文とそれに対応する(理想)出力 があればコスト値を機械学習的なアプローチで構築することができます。 さらに、正解データを人手で作る必要は必ずしもありません。 すなわち、Yahoo!の形態素解析器の出力結果を「擬似正解」とみなして MeCabの学習プログラムを走らせれば、Yahoo!の出力を高い精度で再現できる MeCab用辞書を作成することが原理的に可能です。 ふだんはあま
一年で身に付ける！Rと統計学・機械学習の4ステップ - データサイエンティスト上がりのDX参謀・起業家
久しぶりの投稿です。この一年間、Rの勉強会などに参加したり主催したりしてきて、後輩や勉強会の方々の話をいろいろ聞くとこができました。そんな中、一年間でRと統計学・機械学習を身に付けれるようなフローを作れるかも？と思ったので、ここで記録しておきます。統計学や機械学習は理論を勉強するだけでなく、Rで実際に解析してみることで、より理解が深まります。 ステップ1. 分布・検定 理論 統計学入門 (基礎統計学?) 作者: 東京大学教養学部統計学教室出版社/メーカー: 東京大学出版会発売日: 1991/07/09メディア: 単行本購入: 158人 クリック: 3,604回この商品を含むブログ (79件) を見る R本 Rによるやさしい統計学 作者: 山田剛史,杉澤武俊,村井潤一郎出版社/メーカー: オーム社発売日: 2008/01/25メディア: 単行本購入: 64人 クリック: 782回この商品を含
機械学習超入門 〜そろそろナイーブベイズについてひとこと言っておくか〜 - EchizenBlog-Zwei
最近では機械学習の認知度も上がってきていて専門家でなくてもナイーブベイズやSVMなどの名前を知っている人も増えてきたように思う。 そんなわけでちょっと機械学習をはじめてみようかな、と思っている人も多いのではないだろうか。とはいえ「数式よくわからない」「確率嫌い」といった理由で尻込みしているケースも多いのでは。 そこで予備知識ゼロでもわかるような機械学習の入門記事を書いてみたよ。 機械学習を「作りたい」のか「使いたいのか」 まず最初に確認したいのがこれ。使いたいだけならまずはSVMを使ってみれば良い。世の中にはlibsvmやsvmlightという良いツールがあるのでそれを使おう。以下の記事は機械学習を「作りたい」「仕組みを知りたい」人向けの内容になっている。 「最も簡単な機械学習はナイーブベイズ」という幻想 機械学習といえばナイーブベイズという話がよくある。ナイーブ(単純)という名前からいか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
記事のスクレイピングを機械学習で自動化 - Qiita