自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ
絵で理解するWord2vecの仕組み - Qiita
皆さん、Word2vec の仕組みはご存知ですか？ Word2vec は gensim や TensorFlow で簡単に試せるので使ったことのある方は多いと思います。しかし、仕組みまで理解している方はそう多くないのではないでしょうか。そもそも本家の論文でも内部の詳細については詳しく解説しておらず、解説論文が書かれているくらいです。 本記事では Word2vec のモデルの一つである Skip-Gram について絵を用いて説明し、概要を理解することを目指します。まずは Skip-Gram がどのようなモデルなのかについて説明します。 ※ 対象読者はニューラルネットワークの基礎を理解しているものとします。 どのようなモデルなのか？ Skip-Gram はニューラルネットワークのモデルの一つです。Skip-Gram は２層のニューラルネットワークであり隠れ層は一つだけです。隣接する層のユニット
まだ機械学習の論文を追うのに消耗してるの？それBotで解決したよ - Qiita
まだ機械学習の論文を追うのに消耗してるの？ はい、消耗しているんです(涙) 機械学習の分野って本当に進歩が早いですよね？ 「最新の手法」が週間で変わるぐらいその変化は激しいものです。 そんな世界にキャッチアップしていくためには、一人の力だけでやっている場合ではない！ということで、私や私の先輩 icoxfog417 を含めて何人か共同で機械学習系論文の読み会を開催しています。 今回は、そこで読んだ論文の内容をつぶやいてくれる Twitter Bot をつくってみました。この Bot は読んだ論文についての一言まとめをつぶやいてくれます。一言まとめにより論文の内容を日本語で素早く把握できるようになります。以下のような感じです。 リサーチしている論文は、以下の GitHub リポジトリ( arXivTimes )で管理しています。こちらを更新するたびに Twitter でつぶやく仕組みになってい
DeepLearningで上司を認識して画面を隠す - Qiita
背景 仕事をしているとき、業務に関係ない情報を閲覧していることって誰でもありますよね？ そんなときに背後にボスが忍び寄っていると気まずい思いをします。もちろん急いで画面を切り替えれば良いのですが、そういう動作は逆に怪しまれることになりますし、集中しているときは気がつかないこともあります。そこで怪しまれずに画面を切り替えるために、ボスが近づいてきたことを自動的に認識して画面を隠すシステムを作ってみました。 具体的にはKerasを用いてボスの顔を機械学習し、カメラを用いて近づいてきたことを認識して画面を切り替えています。 ミッション ミッションはボスが近づいてきたら自動的に画面を切り替えることです。 状況は以下のような感じです。 ボスの席から私の席まではだいたい6,7mくらいです。ボスが席をたってから、4,5秒で私の席に到達します。したがって、この間に画面を隠す必要があるわけです。時間的余裕は
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
