タグ

ブックマーク / qiita.com/hogefugabar (2)

  • 深層学習でニュース記事を分類する - Qiita

    はじめに ニュース記事のBag-of-Words(BoW)から,カテゴリを予測するみたいなことをStacked Denoising Autoencodersでやってみました. データセット データセットはlivedoor ニュースコーパスを使います. コーパスは、NHN Japan株式会社が運営する「livedoor ニュース」のうち、下記のクリエイティブ・コモンズライセンスが適用されるニュース記事を収集し、可能な限りHTMLタグを取り除いて作成したものです。 らしいです. トピックニュース Sports Watch ITライフハック 家電チャンネル MOVIE ENTER 独女通信 エスマックス livedoor HOMME Peachy の計9つのカテゴリがあるので,9クラス分類問題になります. データ前処理 まず記事をBoWにする必要がありますが,これにはyasunoriさんのRa

    深層学習でニュース記事を分類する - Qiita
    masatoi
    masatoi 2017/01/23
    livedoorニュースコーパスでTF-IDFを特徴量にしてAROWで95%近く出ているのでディープラーニングなんていらなかったんや
  • 多層ニューラルネットでBatch Normalizationの検証 - Qiita

    \epsilon = 10^{-5}\\ \mu_{B} \leftarrow \frac{1}{m} \sum_{i=1}^{m} x_i\\ \sigma^2_{B} \leftarrow \frac{1}{m} \sum_{i=1}^{m} (x_i - \mu_{B})^2\\ \hat{x_i} \leftarrow \frac{x_i - \mu_{B}}{\sqrt{\sigma^2_{B} + \epsilon}}\\ y_i \leftarrow \gamma \hat{x_i} + \beta 上式について,$\gamma$と$\beta$がパラメータでそれぞれ正規化された値をScaling及びShiftするためのものだそうです.それぞれ,誤差逆伝播法で学習する必要があるのですが,ここでは詳しい式の導出を割愛します. Fully-Connected Layerの場合 通

    多層ニューラルネットでBatch Normalizationの検証 - Qiita
    masatoi
    masatoi 2016/11/04
    実装は簡単そう
  • 1