タグ

ブックマーク / qiita.com/Hironsan (2)

  • 自然言語処理における前処理の種類とその威力 - Qiita

    自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ

    自然言語処理における前処理の種類とその威力 - Qiita
    sugyan
    sugyan 2017/04/17
  • TensorFlow 0.12で追加されたEmbedding Visualizationを試す - Qiita

    はじめに 先日 TensorFlow 0.12 がリリースされました。 その機能の一つとして、埋め込み表現の可視化があります。これにより高次元のデータをインタラクティブに分析することが可能になります。 以下は MNIST を可視化したものです。以下の画像は静止画ですが、公式サイトでは3次元でぬるぬる動いているところを見ることができます。 記事ではWord2vecの可視化を通じて、Embedding Visualization の使い方を試してみました。まずはインストールから行っていきます。 インストール まずは TensorFlow 0.12 をインストールします。以下のページを参考にインストールしてください。 Download and Setup インストールが終わったら可視化のために学習を行います。 モデルを学習する まずはリポジトリをクローンした後、以下のコマンドを実行して移動しま

    TensorFlow 0.12で追加されたEmbedding Visualizationを試す - Qiita
    sugyan
    sugyan 2016/12/01
    これ早速ためしてみなくては
  • 1