「期待検証性能（expected validation performance）」をもとにしたパラメータ探索の検証 - May the Neural Networks be with you
こんにちは@shunk031です。 温泉は素晴らしいですが、ホテルのインターネットが遅いと生きた心地がしないので人生難しいと感じています。 この記事は彌冨研 Advent Calendar 2019 19日目の記事です。 今回はAllenAiから公開されているハイパーパラメータ探索allentuneに実装されているアルゴリズムであるShow Your Work: Improved Reporting of Experimental Resultsを紹介します。 arxiv.org 背景および導入 期待検証性能 ハイパーパラメータ探索を行う際の推奨事項 再現性を担保するためのチェックリスト EMNLP2018におけるチェックリストの集計結果 おわりに 背景および導入 自然言語処理の研究において、しばしば提案手法が先行研究よりも優れたテストスコアを出すことによって提案手法の良さを実証するという
GPT-3の衝撃 - ディープラーニングブログ
この1週間はGPT-3のユースケースの広さに驚かされる毎日でした． シリコンバレーでは話題騒然ですが日本ではほとんど話題になっていないので，勢いで書くことにしました． GPT-3はOpenAIが開発した言語生成モデルです．名前の由来であるGenerative Pretrained Transformerの通り，自然言語処理で広く使われるTransformerモデルを言語生成タスクで事前学習しています． 先月申請すれば誰でもGPT-3を利用できるOpenAI APIが発表され，様々な業種の開発者によって驚くべきデモンストレーションがいくつも公開されています． 特に話し言葉からJSXやReactのコードを生成するデモは著名なベンチャーキャピタルから注目を集め，誇大広告気味だと警鐘を鳴らす事態に発展しています． This is mind blowing. With GPT-3, I built
はじめての自然言語処理 spaCy/GiNZA を用いた自然言語処理 | オブジェクトの広場
前回は BERT についてその概要と使い方を紹介しました。今回は自然言語処理ライブラリである spaCy と spaCy をフロントエンドとする日本語NLPライブラリの GiNZA について紹介します。 1. 始めに 本記事では欧米で有名な自然言語処理ライブラリである spaCy とリクルートと国立国語研究所の共同研究成果である日本語NLPライブラリ GiNZA について紹介します。記事の前半では、spaCy と GiNZA の概要と日本語を処理する際の基本的な機能／操作について説明します。後半では、spaCy で提供される文章分類機能について、前回までに紹介した手法も含めて精度を比較してみます。 2. spaCy と GiNZA の概要 spaCy は Explosion AI 社の開発する Python/Cython で実装されたオープンソースの自然言語処理ライブラリで MIT ライセ
自然言語処理（NLP） - 星の本棚
自然言語処理 [NLP : natural language processing] 自然言語処理（NLP）に関してのマイノートです。 特に、ニューラルネットワーク、ディープラーニングによる自然言語処理（NLP）を重点的に取り扱っています。 今後も随時追加予定です。 尚、ニューラルネットワークに関しては、以下の記事に記載しています。 yagami12.hatenablog.com 又、より一般的な機械学習に関しては、以下の記事に記載しています。 yagami12.hatenablog.com 目次 [Contents] 自然言語処理（NLP） one-hot encode と one-hot ベクトル 埋め込みベクトル [embedding vector] と埋め込み行列 [embedding matrix] 言語モデル [LM : Language model] N グラム言語モデル ニ
Word2Vecをより高精度で32倍軽量にする手法をPairsのデータで試しました
はじめに初めまして、こんにちは。BIチームの小林です。 日頃Fortniteやスプラトゥーンに精力的に打ち込んでいます。 弊社のBIチームでは、様々な数字の分析や機械学習を用いての提案を業務としています。 同様に機械学習を扱うAIチームという部隊もエウレカには存在していて、AIチームは、BIチームより機械学習主体の技術ドリブンで動いています。我々BIチームとAIチームでは、分野的に被る部分も多いため、共同で勉強会(定期的にarXivなどに上がっている最新の論文の輪読会)を行っています。 本記事では、前回の輪読会で私がチョイスしたword2bitsというword2vecを量子化して行列要素のサイズを減らす技術について書かれた論文( Maximilian Lam. Word2Bits — Quantized Word Vectors https://arxiv.org/abs/1803.056
Deep Learning で使われてる attention ってやつを調べてみた - 終末 A.I.
先週 Skip-Thought Vectors について調べてみたわけですが、その中でよく何を言っているのかよく分かっていなかった、 attention mechanism について調べてみました。 調べるにあたって、最近のDeep Learning (NLP) 界隈におけるAttention事情 が大変参考になりました。ありがとうございます。 まず attention 、特にエンコーダー・デコーダーモデルにおける attention について簡単に説明すると、入力情報全体ではなく、その一部のみを特にフォーカスしたベクトルをデコーダーで使用する仕組みのことです。そのことにより、デコードの特定のタイミングにだけ必要になる入力情報を精度よく出力に反映させることができるようになります。 これだけでは何のことかちょっと分かりにくいので、Neural machine translation by j
自然言語処理の前処理・素性いろいろ - Debug me
ちゃお・・・† 舞い降り・・・† 先日、前処理大全という本を読んで自分なりに何か書きたいなと思ったので、今回は自然言語処理の前処理とそのついでに素性の作り方をPythonコードとともに列挙したいと思います。必ずしも全部やる必要はないので目的に合わせて適宜使ってください。 前処理大全[データ分析のためのSQL/R/Python実践テクニック] 作者:本橋 智光技術評論社Amazon 前処理 余分な改行やスペースなどを除去 with open(path) as fd: for line in fd: line = line.rstrip() アルファベットの小文字化 text = text.lower() 正規化 (半角/全角変換などなど) import neologdn neologdn.normalize('ﾊﾝｶｸｶﾅ') # => 'ハンカクカナ' neologdn.normalize
Convolutional Neural Networkを使う自然言語処理論文読破に挑戦！（前編） - Taste of Tech Topics
皆さんこんにちは、@tereka114です。 画像処理の分野の方はお馴染みかと思いますが、画像処理では、Convolutional Neural Network（CNN）をよく利用されています。 このニューラルネットワークのアーキテクチャは画像処理の分野で非常に大きな成果をあげており、近年ではより、様々な分野に使われています。 例えば、CNNは音声や自然言語処理の分野でも時々、登場し、応用されています。 私自身が今まで興味があったのもあり、CNNを使った自然言語処理の論文を調べてみました！ 少し長くなったので、前後編に分割してご紹介します。 今回はCNNを使った文書分類について記載します。 Convolutional Neural Network Convolutional Neural Network(CNN)は画像処理でよく使われるニューラルネットワークのモデルです。 （http://
Rettyにおける推薦文からの見出し抽出の論文を読んだ - yasuhisa's blog
OR学会の自然言語処理と数理モデルの特集で、はてなと同じくC向けのサービスを運営しているRettyさんの論文が出ていたので、週末に論文を読みました。方法論としてはシンプルだけど、サービスへの貢献もなかなかありそうだなーと思いながら眺めました。 CiNii 論文 - 優先度学習による推薦文からの見出し抽出 (特集 自然言語処理と数理モデル) http://www.orsj.or.jp/archive2/or62-11/or62_11_696.pdf 過去の機関誌目次｜公益社団法人 日本オペレーションズ・リサーチ学会 OR学会、昔の論文も自由に見れていいですね! 箇条書きスタイルでまとめておきます。 推薦文からレストランの特徴を表わす見出しを自動で抽出したい 全部で80万レストランあり、見出し文の定期的な更新もやりたいので、人手では難しい 優先度学習を使って見出しを抽出する方法を提案 一種の
固有表現認識を使って文書を黒塗りする - Qiita
固有表現認識で認識した固有表現を黒塗りすることで、匿名化っぽいことができると考えられます。というのも、機密文書で黒塗りされている部分は機密に関係している人名や組織名などが多いと考えられるからです。上文の固有表現部分を黒塗りすると以下のようになります。 今回は固有表現を認識するためにディープラーニングを用いたモデルを構築します。具体的にはLampleらが提案したモデルを構築します。このモデルでは、単語とその単語を構成する文字を入力することで、固有表現の認識を行います。言語固有の特徴を定義する必要性もなく、ディープな固有表現認識のベースラインとしてよく使われているモデルです。 Lampleらのモデルは主に文字用BiLSTM、単語用BiLSTM、およびCRFを用いて構築されています。まず単語を構成する文字をBiLSTMに入力して、文字から単語表現を獲得します。それを単語分散表現と連結して、単語用
word2vec（Skip-Gram Model）の仕組みを恐らく日本一簡潔にまとめてみたつもり - これで無理なら諦めて！世界一やさしいデータ分析教室
久しぶりの記事更新です。 今回はかねてより書いてみたかったword2vecについて。 word2vecはとても面白い考え方なのですが、個人的には仕組みがちょっと捉えづらく、理解するのに結構時間がかかりました。 そこで今回は、過去の自分を救えるように、word2vecをできるだけ簡潔に、そして直観的に理解できるように解説していきます。 なお、word2vecについては以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホのAMPだと、行列や数式がうまく表示されない可能性がありますので、こちらのリンクかPCから購読頂けますと幸いです。 word2vecを使うと何ができる
Kerasを使って問い合わせ・依頼先を教えてくれるbotを作った話 - Pepabo Tech Portal
おはようございますこんにちは、こんばんは、初めましての人は初めまして、GMOペパボの情報システムグループでエンジニアをしている西畑です。 今回は私が作成したbotについての話をしたいと思います。どのようなbotかというと、ペパボ内での制度や日々の困り事があった時にどの部署に問い合わせるのがよいのかを推薦してくれるbotです。 ここでの困り事とは、技術的に分からない事やお客様への対応方法がわからないというような業務のスキルに関するものではなく、例えば使っているPCが壊れた、経費精算の仕方がわからないといった業務上必要になる雑務的なものを処理する上での困りごとを指します。 社会人の方であれば、経費精算や備品のトラブルで何処かに対応を依頼するという経験をしているのではないでしょうか。学生でも似たようなケースはありそうですね。 そういった、いわゆる組織内の取り決めやフローについて疑問を抱いていたと
企業ナレッジ用チャットボットObie - 開発者とのQ&A
Tasyttは先頃、企業ナレッジ用のSlackチャットボットとしてObieをローンチした。“当社のコンピュータポリシは何ですか？”というように、“何を(what)”、“どのように(how)”、“どこで(where)”という質問が可能だ。Obieはドキュメントから答を見つけ出すが、あるいはあなたに答を尋ねて、次に他の誰かが同じ質問をした時にそれを答とする。 ObieはGoogle DocsやConfluence、Google sites、Evernote、Dropboxといった、既存のサービスとも統合することができる。つまり、既存のナレッジへのアクセスをObieに与えれば、Obieのトレーニングを最初から始める必要がなく、トレーニング時間が短くて済む。 創業者でCEOのChris Buttenham氏に、Obieについていくつか質問した。 InfoQ: 私たちのSlackでObieを少し試し
ChainerとRNNと機械翻訳 - Qiita
自然言語処理とニューラルネット ここ数年で、自然言語処理の分野でもニューラルネットが非常に頻繁に使われるようになってきました。 自然言語処理で主に解析対象となるのは単語の配列や構文木などで、これらの内包する情報を表現するためにrecurrent neural network1やrecursive neural network1などに基づくモデルが頻繁に使われます。これらの最大の特徴はニューラルネットがある種のデータ構造を持っているという点で、1レイヤあたりのノードはそれほど多くない代わりにネットワークの接続が複雑で、しかも入力されるデータごとにネットワークそのものの形状が変化するという特徴があります。このため、伝統的なfeedforward neural networkを前提としたツールキットでは構築が難しいという問題がありました。 Chainerは、そのような問題を概ね解決してしまう強力
Dynamic Word Embeddings - Disney Research
We present a probabilistic language model for time-stamped text data which tracks the semantic evolution of individual words over time. August 6, 2017International Conference on Machine Learning (ICML) 2017 We present a probabilistic language model for time-stamped text data which tracks the semantic evolution of individual words over time. The model represents words and contexts by latent traject
Dynamic Word Embeddings
Dynamic Word Embeddings Robert Bamler 1 Stephan Mandt 1 Abstract We present a probabilistic language model for time-stamped text data which tracks the se- mantic evolution of individual words over time. The model represents words and contexts by latent trajectories in an embedding space. At each moment in time, the embedding vectors are inferred from a probabilistic version of word2vec (Mikolov et
トピックモデルで単語の分散表現 - 理論編 - scouty AI LAB
こんにちは。代表の島田です。 最近はDeepLearningがホットなキーワードになっていますが、トピックモデルという自然言語処理における手法も、少し前に注目を集めました。聞いたことはあるけど何なのかわからない、という方のために、今回はトピックモデルに関して説明します。 Pythonなどの言語ではライブラリが利用できますが、トピックモデルなどの原理を知っておくことでパラメータチューニングが思いのままにできるようになります。 LDAやトピックモデルについては最新の技術！というわけではないので他にも解説記事があると思いますが、今回は「流行りの単語がとりあえず何なのか知る」ということを目的に、前半は機械学習エンジニアではない方にもわかりやすく解説しようと思います。 モチベーション 単語をベクトルで表したい！ 自然言語データを使ったレコメンドエンジンの構築やテキストの分類などで、単語をクラスタリン
Deep Learning for NLP Best Practices
Deep Learning for NLP Best Practices Neural networks are widely used in NLP, but many details such as task or domain-specific considerations are left to the practitioner. This post collects best practices that are relevant for most tasks in NLP. This post gives an overview of best practices relevant for most tasks in natural language processing. Update July 26, 2017: For additional context, the Ha
ドメインにより意味が変化する単語の抽出 - にほんごのれんしゅう
ドメインにより意味が変化する単語の抽出 立命館の学生さんが発表して、炎上した論文を、わたしもJSAI2017に参加していた関係で、公開が停止する前に入手することができました 論文中では、幾つかのPixivに公開されているBL小説に対して定性的な分類をして、終わりという、機械学習が入っていないような論文でしたので、わたしなりに機械学習を使ってできることを示したいという思いがあります。（そんなに大変な問題でないように見えて、かつ、問題設定も優れていたのに、なぜ…） 炎上に対して思うところ(主観です) PixivのBLのコンテンツを参照し、論文にハンドル名を含めて記述してしまっており、作家の方に精神的な不可をかけてしまうという事件がありました。 非常にRTされている代表的なツイートは、以下のようになっています。 （該当ツイートは盗用との指摘を受けたので消しました、検索すれば出るものなで、大乗だと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
言語学習関連の論文（ACL2017） - きょおいくにっき