機械学習プロジェクトが失敗する9つの理由 - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 勉強が進まないので、今回は与太記事でも書いてお茶を濁すことにします（笑）。ネタはこちらです。 Why your machine learning project will fail – THE DATA SCIENCE NINJA 9 Reasons why your machine learning project will fail 読んで字の如し、「あなたの機械学習プロジェクトが失敗する9つの理由」というグサグサ刺してくる論評記事です。あまりにもオリジナルの記事が素晴らしかったということか、KDnuggetsに誘われてrepostされた模様です*1。 最近は機械学習の学術・技術的研究開発も極めに極まったところで一息つく感じになってきている印象で、どちらかというとインダストリーサイドではML Opsという考え方が提唱されるようになってきています。そ
スパースモデリングと機械学習の化学反応--関係性を機械が自動的に発見
機械学習の本を眺めてみよう これまで、少ないデータから意味を見出すための方法論「スパースモデリング」（スパース性）の概要や実践方法について触れてきたが、連載第3回目では機械学習におけるスパース性の利用を考えてみる。機械学習というと言葉自体は耳にしたことがある読者も大勢いるだろう。基本的には、「目の前にあるデータに潜む関係性を機械に自動的に発見してもらうこと」が機械学習の意味だ。例えば前回のデータ点に直線や曲線を当てはめるというのも機械学習のできることの1つの例だ。 さて、その機械学習とは何か、本屋さんで関連書籍に目を通してみることにした、ある1人の会社員の物語から、機械学習とスパース性の関係を考えてみよう。 彼は簡単なプログラミングの経験があるが、現在は人事部に所属しており、面接官を務めている。入社を希望して目を輝かせては、考えてきた回答、とっさに出てきた本音を聞きながら、目の前の学生や中
ディープラーニングがもたらす横方向の格差拡大 - アンカテ
グーグルのAlphaGOという囲碁ソフトがトッププロに2連勝したことで、衝撃が走っている。 私は、囲碁については何も知らないし、ディープラーニングなどのAIの技術についても野次馬的に見ているだけだが、いくつか思うことがあるので書いてみる。 AIは人間を上回るのか？ 私は、AIについては単なる野次馬だが、年季が入った野次馬である。80年代から結構その手の本は読んできた。今となっては、書いてあったことはほとんど覚えていないが、ひとつだけ印象に残っているのは、昔の研究者がやたら強気だったことだ。 「2001年宇宙の旅」には、HAL9000というAIだけではなくて、iPadのようなものも出てくる。あれは本当にiPadによく似ていて、年代はずれてしまったが未来予測としてはよくできていると思う。それなのになぜAIだけやたら先走っていて、実際よりずっと賢いものになってしまったのかといえば、おそらく取材し
ディープラーニングを活用したマイクロサービスを構築し、画像から商品カテゴリの分類をしてみる - ZOZO TECH BLOG
こんにちは、VASILYのバックエンドエンジニアの塩崎です。 iQONの中ではクローラーと検索サーバーを担当しています。 iQONのクローラーには提携ECサイトさんからクロールした商品を商品カテゴリー(Tシャツ、ワンピース、etc.)に自動的に分類する機能があり、商品タイトルや商品説明文などのテキスト情報を元に分類を行っています。 しかし、一部のカテゴリー(セーター・ニット帽)の商品はテキスト情報だけからでは精度の良い分類を行うことができません。 そのため、これらのカテゴリーの商品については画像を用いたカテゴリー分類を導入しました。 これらの機能を実現するために、当社のデータサイエンスチームとも協力を行い、ディープラーニングを用いたカテゴリー判定器を開発しました。 また、この機能は既存のクローラーの機能からの独立性が高いので、クローラーに組み込むときにはマイクロサービス化をして組み込みまし
Deep Learningでスケジュール調整してみる、ための自然言語処理をしてみた | GREE Engineering
GREE Advent Calendar 2015の1日目担当のふじもとです、グリー株式会社でCTOをしてます、もう10年目です。 今年もChristmasに向けてみんなで毎日更新していきますので、ぜひぜひよろしくおねがいします。 わりとどうでもよい序 去年、一昨年は25日担当だったんですが、今年は (なんでかは知らないけど) 1日目書くことになったので、ちょっと趣向を変えて技術的な内容にしてみたいと思います。 なおタイトルに、Deep Learningだの自然言語処理 (以下NLP) だの書いてますが、ぼくは機械学習やNLP、はたまたDeep Learningの専門家でもなくって、たしなむ程度に勉強していたくらいです。ので、この記事はアルゴリズムについて詳しくなろうっていうよりは、いろいろ試してみたっていう方向になってます。 Summary わりと単純なCNN + 少ないコーパスでも、タ
クックパッドと研究開発/R&D2015
2015 年におけるクックパッドの研究開発についてまとめた資料です。
本当に恐い人工知能はもう普通に働いている
人工知能のリスクを軽減する研究を行う生活未来研究所の所長を務めている、マサチューセッツ工科大学（MIT）のマックス・テグマーク教授（写真：Julia Robinson/The New York Times） 昨年10月。電気自動車メーカーのテスラおよび宇宙企業スペースXの最高経営責任者（CEO）を務めるイーロン・マスクは、人工知能（AI）を「人類の存在に対する最大の脅威」と呼び、思考する機械を作ることは「悪魔を召喚すること」に等しいと述べた。 12月には宇宙物理学者のスティーブン・ホーキングが「完全な人工知能は人類を終末に導く可能性がある」と発言。また今年に入りマイクロソフトの創業者ビル・ゲイツは、人間を超える人工知能「スーパーインテリジェンス」への懸念を表明した。ゲイツはスーパーインテリジェンスの登場まで数十年しかかからないと考えているようだ。 トラブルの元になるのは人工“知能”ではない
Deep Learning ライブラリ&フレームワークをリストアップしてみた ～インストール・環境構築方法 と 使い方 解説ウェブサイトまとめ - Qiita
git clone https://github.com/deeplearning4j/nd4j.git cd nd4j mvn clean install -DskipTests -Dmaven.javadoc.skip=true （ クイック・スタート） OpenGroove 「deeplearning4j (DL4j)について書く」 deeplearning4jとは。以下ミニノート。 スタートアップのSkymind社による、Java deep-learningライブラリ。 Skymind社が商用サポートするが、オープンソースプロジェクトでもある。※ RedHat/Linux的な関係 out-of-the-boxでスタート可能、かつ一般的なCUPで動作する。 研究用ではなく、一般的なビジネス使用を視野に入れている。 neural networksに特化したDSL。 Scala, Clo
機械学習概論 講義テキスト
2015/04/14 初期バージョン 2015/04/16 ver1.4（参考資料追加、k平均法の解説追加など） 2015/04/20 ver1.5（最大対数尤度関数の評価、混合分布によるクラスタリングを追加） 2015/04/21 ver1.6（EM法のアルゴリズム説明を追加） 2015/04/24 ver1.7（その他の性能指標を追加） 2015/05/19 ver1.8（ギリシャ文字ベクトルフォントの修正、その他リファクタリング） 2015/05/25 ver1.9（EM法の初期データ画像を追加） 2015/06/07 ver2.1（セミナー用に修正） 2015/06/24 ver2.2（EM法の説明を追加） 2016/09/01 ver2.3（誤字修正） 2016/12/27 ver1.0 タイトルを変更 2016/07/07 ver1.4 UpdateRead less
さらば！データサイエンティスト
2013/03/28 PFIセミナー「（道具としての）データサイエンティストのつかい方」資料 Ustreamの録画はこちらです→http://www.ustream.tv/recorded/37645309Read less
Webデータ分析＆データサイエンスで役立つ統計学・機械学習系の分析手法10選 - 銀座で働くデータサイエンティストのブログ
追記 2016年3月に以下の記事によってこの内容はupdateされています。今後はそちらをお読み下さい。 主に自分向けのまとめという意味合いが強いんですが（笑）、僕が実際に2013年6月現在webデータ分析＆データサイエンスの実務でツール・ライブラリ・パッケージを利用しているものに限って、統計学・機械学習系の分析手法を10個挙げて紹介してみようと思います。 追記 回帰分析（特に線形重回帰分析） 独立性の検定（カイ二乗検定・フィッシャーの正確確率検定） 主成分分析(PCA) / 因子分析 クラスタリング 決定木 / 回帰木 サポートベクターマシン(SVM) ロジスティック回帰 ランダムフォレスト アソシエーション分析（バスケット分析・相関ルール抽出） 計量時系列分析 おわりに おまけ1：「素性ベクトル＋分類ラベル」なるデータ前処理 おまけ2：グラフ理論*10 {igraph}パッケージでグラ
協調フィルタリングについてまとめてみた。 - Analyze IT.
A Survey of Collaborative Filtering Techniques(Xiaoyuan Su and Taghi M. Khoshgoftaar, 2009,Advances in Artificial Intelligence) 仕事で協調フィルタリングについて調べる必要が出てきたのだが、あまりよい日本語の文献を見つけられなかったため（後にしましま先生の文献を見つけた）やむなく英語の論文を検索したところ、 上記のよいサーベイ論文を見つけた。というわけでこのサーベイ論文に書かれていることに自分なりに調べたことを加えて、自分用にまとめておく。 また、一部の人達の間ではとても有名なしましま先生の論文（ドラフト版）があるので、英語が苦手な人はそちらをご覧になるとよいと思われる。 協調フィルタリングは、一言で言えばユーザとアイテムのマトリックスを用いた顧客への商品のレコメン
試すのが難しい―機械学習の常識はMahoutで変わる
ビッグデータ時代―なぜ、いま機械学習なのか Apache Hadoop（以下、Hadoop）の登場で、今まで捨てていたデータ、貯めるだけで処理しきれなかったデータを活用できるようになりました。 活用手段として最近とみに注目されている技術が「機械学習」であり、Hadoopの強みを生かし簡単に機械学習を行うためのライブラリが、「Apache Mahout」（以下、Mahout）です。 本稿ではMahoutを動かしてみることで、機械学習の常識を身に付けます。 そもそも、機械学習とは？ 機械学習とは、一定のデータをコンピュータ・プログラムに「学習」させ（すなわち、そのデータに潜むパターンや規則性を表す「モデル」を自動的に構築させ）、他のデータにそのモデルを適用すれば、あたかも人間のように複雑で柔軟な判断が行えるようにするという試みです。 機械学習をビジネスに活用した例は、レコメンド（ユーザーや商品
機械学習 はじめよう 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
データマイニングで使われるトップ10アルゴリズム - データサイエンティスト上がりのDX参謀・起業家
2006年のデータマイニング学会、IEEE ICDMで選ばれた「データマイニングで使われるトップ10アルゴリズム」に沿って機械学習の手法を紹介します（この論文は@doryokujin君のポストで知りました、ありがとうございます！）。 必ずしも論文の内容には沿っておらず個人的な私見も入っていますので、詳細は原論文をご確認下さい。また、データマイニングの全体観をサーベイしたスライド資料がありますので、こちらも併せてご覧下さい。 データマイニングの基礎 View more presentations from Issei Kurahashi 1. C4.5 C4.5はCLSやID3といったアルゴリズムを改良してできたもので、決定木を使って分類器を作ります。決定木といえばCARTが良く使われますが、CARTとの違いは以下のとおりです。 CARTは2分岐しかできないがC4.5は3分岐以上もできる C
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ひたすら楽してディープラーニング