手を動かしながら学べるディープラーニングの優良なチュートリアル - karaage. [からあげ]
ディープラーニングは習うより慣れろかも ファッションでディープラーニングをしているディープラーニング芸人からあげです。私は、特に専門家でも何でもないのですが、機械学習に興味もって、ディープラーニングに関することブログでアウトプットしているうちに「AIに関する本に名前がクレジットされたり」「AI解析のオンラインコンテスト#Aidemynoteで特別賞受賞したり」「ラズパイマガジンという商業誌にAI関係で記事を書いたり」「ディープラーニングおじさんの記事がバズったあげくITmediaで取り上げられたり」と多少なりとも価値を提供できるようになってきました。 何の知識もバックグラウンドも、大した能力も無い自分が、どうやって知識を身につけることができたかというと、色々本も読んだのですが、実際に手を動かしてプログラムを組んで、実問題に対して試行錯誤した結果をブログにアウトプットし続けたことが大きいのか
![手を動かしながら学べるディープラーニングの優良なチュートリアル - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/9046fd088b617abd85f292067c0ab3cbdd95f3d5/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fk%2Fkaraage%2F20181016%2F20181016230453.jpg)
機械学習を用いてユーザーのご意見分類業務を効率化した話 - クックパッド開発者ブログ
こんにちは。研究開発部の @vanhuyz です。機械学習・自然言語処理を中心に研究開発しています。 今回は機械学習を活用してユーザーからのご意見を 81 のカテゴリーに自動分類し、ユーザーサポートスタッフによる手動分類の工数を半分にできた話を紹介したいと思います。 背景 クックパッドは現在約 5,500 万人の国内月間ユーザーがあり、日々ユーザーからたくさんのご意見やご要望を頂いています。創業してからユーザーの声を大事に扱う文化があり、どのご意見も一度目を通すようにユーザーサポートスタッフが努力しています。ご意見はスタッフによってさらに分類され、必要に応じてディレクターやエンジニアに振り分けられています。 例えば、こんな感じのご意見が来ています。「このレシピは簡単なので、子供とやってみました。楽しかったです」や「機種変更して、ログイン出来ません」や「もっと具体的な内容でも検索できるように
Pythonの機械学習ライブラリtslearnを使った時系列データのクラスタリング
tslearnとは 時系列分析のための機械学習ツールを提供するPythonパッケージで、scikit-learnをベースとして作られているみたいです。 主な機能として、クラスタリング、教師ありの分類、複数の時系列を重ねた際の重心の計算ができたりします。 今回使用するに至った一番のモチベーションは、波形や振動などの時系列データに対してクラスタリングできるというところです。 tslearnインストール pipコマンドでインストールできます。 Kshapeというクラスタリング手法 今回tslearnで使用するモジュールとして、Kshapeというクラスタリング手法を時系列データに適用していきたいと思います。 Kshapeは2015年に下記の論文で提唱された方法で、以下の流れで実行されるアルゴリズムになります。 相互相関測定に基づいた距離尺度を使う（Shape-based distance: SBD
TensorFlowを使った機械学習を論文抽出に適用、ヒントは大学入試問題対策の裏ワザ
これを行ったのは、東京共済病院腎臓高血圧内科部長、東京医科歯科大学臨床教授などを務める神田英一郎氏。日本腎臓学会の組織した委員会による、慢性腎臓病（CKD）をテーマとした「エビデンスに基づくCKD診療ガイドライン2018」（未出版）の作成に関わった。その作成プロセスにおいて、論文スクリーニング作業の負担が重いことから、機械学習の活用を思い付き、「第3のスクリーニング担当者」を生み出した。 以下では、同氏の説明に基づき、これを紹介する。 「心の折れる作業」をどう軽減できるか 医療の世界では、「EBM（Evidence Based Medicine）」への取り組みが進められてきた。EBMとは、「医療行為は最新、最良の科学的根拠に基づいて行うべき」という考え方だ。診療ガイドラインは、EBM推進の観点から、臨床現場での意思決定における判断材料の1つとして利用することを目的とした文書で、各専門分野の
「ディープラーニング×きゅうり」の可能性に、たったひとりで取り組むエンジニア - GeekOutコラム
AI（人工知能）に関わる技術、なかでもディープラーニングが急速に発達し、社会のさまざまな領域で実際に利用されるようになりました。その背景のひとつには、AI分野での研究開発に多大な投資を行っている大手IT企業が、その成果の一部をオープンソースとして公開し、世界中のエンジニアが自由に使えるようになったことがあります。 こうしたオープンソースのAI関連ライブラリには、Googleの「TensorFlow」やFacebookの「Torch」といった海外のIT企業のものだけでなく、国内にもPreferred Networksの「Chainer」やソニーの「Neural Network Libraries」などがあります。最近では、関連した情報も数多く手に入るようになりました。 また、これらのライブラリの多くには親切なチュートリアルも用意されており、AIの開発経験がないエンジニアでもさほど手間を掛ける
Pythonで単語分散表現のクラスタリング - Ahogrammer
最近の自然言語処理では、単語の分散表現は当たり前のように使われています。 単語分散表現では、各単語が高次元ベクトル空間に配置され、加減乗除等の演算を行えるようになります。 これらのベクトルは、意味の近い単語に対しては同じようなベクトルになることがわかっています。 本記事では、単語分散表現のベクトルをクラスタリングし、意味が近い単語のクラスタを作ってみたいと思います。 これらのクラスタは、眺めて楽しむだけでなく、機械学習の素性として使うこともできます。 イメージ的には、以下のような感じで単語をクラスタにまとめます。 では、単語分散表現をクラスタリングして、単語のクラスタを作ってみましょう。 準備 まずは、作業用のディレクトリを作成しておきましょう。 また、必要に応じて Python の仮想環境も用意します。 以下のコマンドを実行することで、ディレクトリを用意します。 $ mkdir work
Encoder-Decoder でレシピの材料名を正規化する - クックパッド開発者ブログ
研究開発部の原島です。部のマネージメントのかたわら、自然言語処理関連の開発に従事しています。本エントリでは、最近社内で開発した自然言語処理システムを紹介します。 ■ 「しょうゆ」のバリエーションは 100 種類以上 クックパッドで以前から解決したかった課題の一つに材料の名前（以下、材料名）の正規化があります。 クックパッドのレシピは複数の材料から構成され、各材料は名前と分量から構成されています。例えば、上のレシピの一つ目の材料は「豚薄切り肉」が名前で、「200g」が分量です。 さて、この材料名はこのレシピでは「豚薄切り肉」という表現でした。しかし、他のレシピでは「豚うす切り肉」という表現かもしれません。「豚うすぎり肉」や「ぶた薄切り肉」、「豚薄ぎり肉」等の表現もありえますね。 これは異表記同義（いわゆる表記揺れ）の問題ですが、同様の問題は他にも沢山あります。例えば、以下のようなものです。
Pythonでの機械学習を支援するツール MALSS（基本） - Qiita
cls = MALSS('classification', shuffle=True, standardize=True, n_jobs=3, random_state=0, lang='jp', verbose=True) cls.fit(data, y, 'result_classification') コンストラクタMALSSへ渡す引数で必須のものは，分析タスクのみです． 今回はラベル（Yes/No）を予測する分類（識別）タスクなので"classification"です． 値を予測する回帰タスクでは"regression"になります． それ以外のオプションは初期値が設定されているので，入力は必須ではありません． shuffle は機械学習を行う際にデータをシャッフルするか（初期値：True）， standardize はデータを基準化（各列を平均0，分散1に）するか（初期値：True
Curiosity-driven Exploration by Self-supervised Prediction
In many real-world scenarios, rewards extrinsic to the agent are extremely sparse, or absent altogether. In such cases, curiosity can serve as an intrinsic reward signal to enable the agent to explore its environment and learn skills that might be useful later in its life. We formulate curiosity as the error in an agent's ability to predict the consequence of its own actions in a visual feature sp
ナイーブベイズを利用した自動カテゴリ判定器の開発 - it's an endless world.
この記事はGoodpatch Advent Calendar 2016、21日目の記事です。 先日退職ブログを書いたばかりですが「今年も書いて良いよ」と言われ図々しく書いてます。 昨日はえんぴのQAについての記事でした。 qiita.com 私の記事ではタイトルの通り、ナイーブベイズを利用した自動カテゴリ判定器を先日作った話をしたいと思います。 参考にした記事 以下、こちらの記事にかなりお世話になっております。先人すばらしい。 qiita.com ナイーブベイズって何？ 昨年のこのアドベントカレンダーでベイズ理論の話をしましたが、その中でも語っているやつです。 migi.hatenablog.com 実は、これはGmailなどのスパムフィルターにも使われている技術です。 「出会い」や「寂しい」といったメールに含まれている単語それぞれに、その単語が含まれていた時にそのメールがスパムメールであ
機械翻訳と意味 - アスペ日記
ここ最近、Google翻訳がリニューアルされ、性能が向上したという話が流れてきたので、さっそく試してみた。 ぼくが真っ先に試したのは、「母は、父が誕生日を忘れたので、怒っている。」だ。 なぜこの文が気にかかっていたかは後述する。 結果は次の通り。 "My mother is angry because my father forgot her birthday." すばらしい。 では、「母は、父が鞄を忘れたので、怒っている。」はどうだろうか。 "My mother is angry because my father forgot his bag." 完璧だ！ 「誕生日を忘れた」の場合は「母の誕生日」と解釈し、「鞄を忘れた」の場合は「父の鞄」と解釈する。 これこそ、利用者が翻訳に求めるものじゃないだろうか。 しかし、ここまでだった。 次にぼくは、「父」と「母」を入れ替え、「父は、母が誕生日
そのモデル、過学習してるの？未学習なの？と困ったら - once upon a time,
移転しました。 https://chezo.uno/post/2016-05-29-sonomoderu-guo-xue-xi-siteruno-wei-xue-xi-nano-tokun-tutara/
「機械学習 By スタンフォード大学」勉強会 2015.09.11
シリコンバレーの有名大学であるスタンフォード大学にて、Andrew Ngの教える機械学習の講義が人気を集めているそうです。 Andrew Ngは相当な有名人で、よくニュースで名前が出てきます。有名な例では、グーグルが「Google Brain」という名のニューラルネットワークを構築し、YouTubeの動画から「猫」を教師なし学習で認識したといったニュースが流れましたが、このプロジェクトはAndrew Ngが主導したものです。 このAndrew NgがCourseraというオンラインコースで機械学習の授業を公開しています。このたび私も受講しまして、ようやく修了しました。 [Machine Learning by Stanford University] https://www.coursera.org/learn/machine-learning/ 内容的には、Deep Learning登場
TensorFlowでアニメゆるゆりの制作会社を識別する - kivantium活動日記
ついにガロアが死んだ年齢を超えてしまったことに気がつき、自分がまだ何も成し遂げていないことを悲しく思う今日このごろです。 さて、今日はGoogleが出した機械学習ライブラリのTensorFlowの使い方について軽く説明しつつ、ゆるゆりの制作会社の識別を行おうと思います。 TensorFlowとは TensorFlowはGoogleが11/9に公開したApache 2.0ライセンスで使える機械学習ライブラリです。Googleは様々なところでプロダクトに機械学習を活用していますが、TensorFlowは実際にGoogle内部の研究で使われているそうです（TensorFlow: Google 最新の機械学習ライブラリをオープンソース公開 - Google Developer Japan Blog）。 Googleのネームバリューは恐ろしいもので、GitHubのStar数はすでにChainerやC
Autogradという野郎が乗り込んできたのでガクブルな件 - Qiita
Autogradという野郎が乗り込んできました。はい、そりゃもういきなり。複雑な確率モデルや損失関数だとしても、パラメータに関する勾配をこれでもかというぐらい簡単に計算できちゃうので、機械学習の世界に大きな影響を与えそうです。現時点では、PythonとTorchでの実装が公開されているようですが、これからJuliaなど他の言語でも実装されていきそうですね。 （補足：この記事を書いたすぐ後にGoogleがTensorFlowなるものを出してきまして、そちらでも自動微分がしっかり実装されてるみたいです〜。機械学習関連のフレームワークは移り変わりが激しいですねー ^^; ） ちなみに始まりはこんな感じでした。 ゆるいですね。 とりあえずチュートリアルやりながら、Python版チュートリアルの前半部分にテキトーな日本語訳をつけたので、ここでシェアしておきます。英語が読める方は、僕のヘンテコな日本語
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
セキュリティ診断・検査のGMOサイバーセキュリティ byイエラエ
データ分析コンテストの技術と最近の進展
機械学習によるデータ分析 実践編
CODE BLUE 2016 - 機械学習でWebアプリケーションの脆弱性を見つける方法
「スプラトゥーン」リアルタイム画像解析ツール 「IkaLog」の裏側
