自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ
機械学習アルゴリズムの絵本
機械学習のアルゴリズムの中には�名前のついていない「素朴な方法」がある。 複数の方法を組み合わせて使っている場合に�素朴な方法を無視して混乱が生まれる。 そこで素朴な方法にライトを当てて、�各種アルゴリズムを図解することで�「あー、こういう組み合わせで動いてんだ」�とわかってもらう。 Read less
「予測可能性」と「エラーごとの損失」、2つの軸で機械に任せる仕事を見極める | ビジネススキル｜DIAMOND ハーバード・ビジネス・レビュー
ある意思決定課題を、機械に任せてよいのか、人間が行うべきかを判断するためのフレームワークを紹介。自動化の施策を考えるうえで、「予測可能性」と「エラーによる損失」という2つの視点がある。 スマートで適応性に優れた機械は、インターネットと同じくらい、私たちの生活に広く急速に浸透しつつある。そして量・種類ともに増え続けるデータから学習する賢いアルゴリズムに、人々の意思決定はますます委ねられていく。 ただ、これらの「ロボット」が私たちの暮らしに浸透していくなかで、「アルゴリズムに委ねても問題ない意思決定はどれで、人間が保持しておくべき意思決定はどれか」を判断するためのフレームワークはまったくない。結果の重大性を考えると、これは驚くべきことだ。 意思決定の課題を人間と機械のどちらに、いつ、どのように割り当てればよいのか。それをリスクに基づいて判断するためのフレームワークを提案しよう。これは私が協働者
特にプログラマーでもデータサイエンティストでも�ないけど、Tensorflowを1ヶ月触ったので超分かりやすく解説 - Qiita
特にプログラマーでもデータサイエンティストでも�ないけど、Tensorflowを1ヶ月触ったので超分かりやすく解説Python機械学習DeepLearningTensorFlow これ書くだけで土日２日間まるまる潰れてしまった。 学んだ内容に沿っているので、順に読み進めるに従ってコードの話になっていきます。 Tensorflow触ってみたい/みたけど、いろいろまだ理解できてない！という方向けに書きました。 ※2018年10月4日追記 大分古い記事なのでリンク切れや公式ドキュメントが大分変更されている可能性が高いです。 この記事のTensorflowは ver0.4~0.7くらいだった気がするので ver2.0~となりそうな現在は文章の大半が何を参考にしているのか分からないかもしれません。 1: Deep Learningってそもそも何してるの? 専門の人からはご指摘入りそうですが、要は回帰
「正答率100%」になってしまう機械学習モデルの例を挙げてみる - 渋谷駅前で働くデータサイエンティストのブログ
何か僕がシンガポールに出張している間に妙なニュースが流れていたようで。 京大ビッグデータ副作用論文。機械学習知らない私でも疑問なのは、@sz_drさんも指摘してるが y'=a1*SCORE+a2*ACT+a3*GeneID+b (1) という式で、GeneIDという定量的に性質を示す値でないものを線形結合に加えているところだと思う。詳しい人教えて— torusengoku (@torusengoku) 2016年1月25日 （※記事そのものへのリンクは控えました） 見る人が見れば「ああこれはleakageだな」と一瞥して終わるところなんですが、そもそもleakageってどういうことなのかピンと来ない人もいるかと思いますので、以前取り上げたデータ分析題材を例にとって実演してみようと思います。お題はこちら。 何故これを選んだかというと、このテニス四大大会データには上記で話題になっていた"Gen
TensorFlow ってなんだろ - Qiita
11/9 に Google が TensorFlow という機械学習ライブラリを公開しました. 機械学習ライブラリとか言われても何だかよくわからないですね. どういうものなのか調べて報告しろとある人に脅されたので, 機械学習初心者の人向けの説明を置いておきます. ガチ勢の方はお引き取りください. 何ができるの? scikit-learn のような既存の機械学習手法の実装ではありません. 主にニューラルネットを中心とした手法を実装するためのフレームワークです. もちろんニューラルネット以外の手法を実装するためにも使えます. 平たく言えば、機械学習の手法を実装するためのパーツを集めたライブラリという認識で良いと思います. 裏を返せば「2, 3行で手軽に画像の分類ができるぜ」という類のものではないということです. なぜ実装そのものではなく実装のためのフレームワーク? ニューラルネットは非常に設計
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
