自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ
講義まとめ：自然言語処理のための深層学習（CS224d） - Qiita
CS224d(自然言語処理のための深層学習)はスタンフォード大のRichard Socherが2015年から教えている講義で、動画やスライドなどの講義資料と演習問題がウェブ上で無料で公開されています。 CS224d: Deep Learning for Natural Language Processing 会社の勉強会で週1回半年程度かけて講義動画と演習を終えたため、勉強したことを簡単にまとめてみたいと思います。 なぜ今なのか？ 深層学習（Deep Learning）は2000年代後半のRBMやauto-encoderなどの教師なし学習から流行が始まりましたが、それらを教師あり学習の事前学習に使うアプローチは徐々に衰退し、2010年代前半には画像認識のための畳み込みネットワークがImageNetコンテストのおかげで爆発的に有名になりました。詳しくありませんが音声認識の分野でも既存の複雑な
Introducing DeepText: Facebook’s text understanding engine
Text is a prevalent form of communication on Facebook. Understanding the various ways text is used on Facebook can help us improve people's experiences with our products, whether we're surfacing more of the content that people want to see or filtering out undesirable content like spam. With this goal in mind, we built DeepText, a deep learning-based text understanding engine that can understand wi
Facebook、「DeepText」を発表--ディープラーニングに基づくテキスト理解エンジン
Facebookは米国時間6月1日、「DeepText」を発表した。ディープラーニングに基づくこのツールは、同ソーシャルネットワーク上に存在する膨大な量の非構造化データの意味を理解するために同社が利用しているものである。 Facebookによると、このテキスト理解エンジンは、人間に近い正確さで1秒あたり1000件の投稿に含まれるテキストのコンテキストを理解することができ、20カ国語以上の言語に対応するという。 「Facebook上におけるテキストのさまざまな使用方法を理解することは、ユーザーが求めるコンテンツをさらに表示する上でも、スパムのような望ましくないコンテンツを除去する上でも、われわれの製品におけるユーザーのエクスペリエンスの向上につながる」と同社はブログ投稿で述べた。 DeepTextは、「Facebook Messenger」などの一部のアプリケーションで既に利用されている。例
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TFUG#3 RettyにおけるDeep Learningの自然言語処理への応用事例 - Speaker Deck
