Pythonでニューラルネットワークを書いてみよう
連載目次 本連載（基礎編）の目的 スクラッチ（＝他者が書いたソースコードを見たりライブラリーを使ったりせずに、何もないゼロの状態からコードを記述すること）でディープラーニングやニューラルネットワーク（DNN：Deep Neural Network、以下では「ニューラルネット」と表記）を実装して学ぶ系の書籍や動画講座、記事はたくさんあると思います。それらで学んだ際に、「誤差逆伝播」（バックプロパゲーション）のところで挫折して、そこはスルーしている人は少なくないのではないでしょうか。個々の数式や計算自体を理解していても、何となく全体像がつかめずに、 と自信を持って言えない人も多いのではないかと思います。 本連載（基礎編）はそういった人に向けた記事になります。この記事はニューラルネットの仕組みを、数学理論からではなくPythonコードから学ぶことを狙っています。「難しい高校以降の数学は苦手だけど
機械学習入門 - 基本のPythonライブラリ、9つを触って学ぶ - エンジニアHub｜若手Webエンジニアのキャリアを考える！
機械学習入門 - 基本のPythonライブラリ、9つを触って学ぶ 機械学習を学ぶために、まず知っておきたいPythonライブラリを、機械学習エンジニアの「ばんくし」こと河合俊典さんに厳選し、そのエッセンスをつづってもらいました。機械学習入門に向けたスタートアップガイドです！ こんにちは。機械学習エンジニアの「ばんくし」こと河合俊典（かわい・しゅんすけ／ @vaaaaanquish ）です。 近年の機械学習関連の開発では、多くの場合Pythonが用いられます。 本記事は、「機械学習をこれから初めてみたいけど何から始めればいいか分からない」「基本のキから学びたい」という方に向けて執筆しました。プログラミング言語「Python」の中でも、特に機械学習における使用頻度の高いライブラリを厳選し、その解説を目的としています。 「この記事の内容に沿ってPythonを学習すれば、機械学習エンジニアとして入
【Deep Learning入門】0から勉強して3ヶ月でポリープ検出AIをつくったった - Qiita
３ヶ月で出来たもの まずは蠢く内臓の成果物から、これが今回作ったポリープ検出AIです！ 上の映像が元の内視鏡の動画で、 下が今回開発した検出AIの動作動画です。 青い枠で「ポリープだよ！」と主張してくれてますね！ ３ヶ月の学習の流れ 基礎的な機械学習手法のスクラッチ まずは数学的な理解から始めました。 手法ごとの数式を読んで、それを実装に落としていきます。 - 線形回帰 - 重回帰 - 主成分分析 - Kmeans - 決定木 - SVM 悶え苦しんだのですが、 この時期に数式に対するアレルギーがほぐれていきました！ 最初は2乗誤差の微分変形を理解するのに苦労した思い出があります。 このときに一番参考になった書籍は 「やさしく学ぶ 機械学習を理解するための数学のきほん」 です これで機械学習の更新の概念が腹落ちしました。オススメ！ kaggleへの挑戦 定番のタイタニックや 良質なコンペの
Big Sky :: リアルタイム物体認識を2本作ってみた。
正月、皆が寝静まった後の時間を使ってリアルタイム物体認識を2本作ってみた。 TensorFlow Lite 版 GitHub - mattn/webcam-detect-tflite https://github.com/mattn/webcam-detect-tflite TensorFlow Lite は Google が開発している TensorFlow のモバイル環境向開発環境およびランタイムで今回は C++ で書いた。モデルファイルは toco 等で変換して使用します。本来 TensorFlow Lite は Linux 向けにだけ提供されているけど僕の環境は Windows なので匠の技によりポーティングされている。パフォーマンスはそれほど良くない。 Windows で OpenCV でリアルタイムにカメラ画像取り込んで TensorFlow Lite で prediction
Kaggle奮闘記 〜塩コンペ編〜 - phalanxの日記
【この記事は、「ミクシィ19新卒 Advent Calender 2018」の23日目です。】 はじめに phalanxのスペック 開発環境 Hardware Software コンペ概要 本コンペティション開催の背景 タスク データ コンペの取り組み コンペ開始〜１ヶ月 ベースラインモデル作成 論文サーベイ・実装 OsciiArt Kernel １ヶ月〜２ヶ月 Spatial and Channel Squeeze and Channel Excination Feature Pyramid Attention for Semantic Segmentation Snapshot Ensemble Lovasz Hinge Loss モデル構築・学習 bestfitting降臨 ２ヶ月〜最終日 multi step pseudo labeling チームマージ、data leak おわり
2018年版もっとも参考になった機械学習系記事ベスト10 - Qiita
こんにちは NewsPicks Advent Calendar 2018の 5日目を担当させていただきます、NewsPicks の戸辺と申します。 2年ほど前に「機械学習をゼロから1ヵ月間勉強し続けた結果」という記事を書き、多くの方に読んでいただきました。そこから引き続き機械学習に携わっており、今年も多くの機械学習系の記事を拝読させていただきました。それら中から「実戦でためになった」「機械学習の勉強に役に立った」という観点から、僕なりのベスト10をあげてみました。 長い冬休み(余談ですが、社会人で一番長く休めるときですよね!?)は知識のアップデートをするのにいい機会だと思いますので、まとめ読みしてみてはいかがでしょうか。 では、スタート！ まずは 2018年にみんなが使った Colaboratory 関連から 1位: 【スマホOK/実行しながら学ぶ】東大松尾研のデータサイエンティスト育成/
AIは「単なる関数」、数学は「言語の一つ」、「文系出身」でも問題ない――Pythonで高校数学の範囲から学び始めよう：「AI」エンジニアになるための「基礎数学」再入門（1） - ＠IT
AIは「単なる関数」、数学は「言語の一つ」、「文系出身」でも問題ない――Pythonで高校数学の範囲から学び始めよう：「AI」エンジニアになるための「基礎数学」再入門（1） AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す連載。初回は、「AIエンジニア」になるために数学を学び直す意義や心構え、連載で学ぶ範囲について。 AI人材の不足 2015年にDeep Learningを利用したモデルが、画像認識率において人間を上回る結果を残したことを皮切りに、世の中はAIブームに突入しました。その勢いはすさまじく、業界を問わずビジネス形態が目まぐるしく変化しています。世界中のサービスが即座に利用できてしまう現代では、各業界の各企業にとってのライバルは、もはや同業他社だけではありません。これからの時代は、Googleをはじめとした最先端テック企業をライバルとして
きゅうり農家が深層学習に挑戦-自作の仕分け機を作るまでの道筋
5月30日、都内でIT・Webエンジニア向け転職サイトのGeekOutが画像認識をテーマにしたイベント「GeekOutナイト」を開催した。今回、取材の機会を得たので、きゅうり農家である小池誠氏の話を紹介する。 “慣れ”が必要なきゅうりの仕分け作業 小池氏は静岡県湖西市できゅうりを栽培しており、年間出荷量は60トンを超える。家業であるきゅうり農家を継ぐ前はエンジニアとして腕を鳴らしていた。 同氏は「近年、農業は機械化されているが、まだまだ手作業に頼ることが多い。特に、きゅうりやピーマン、トマトをはじめとした果菜類は機械化および大規模化が難しいため作業時間が長い」と指摘する。 きゅうり農家の小池誠氏 農林水産省によると、きゅうり栽培における作業別労働時間は収穫作業が全体の39.8%、次いで仕分けなどの出荷作業が22.1%を占める。同氏は、長さ・太さ・曲がり具合・色・ツヤを人間が目視で確認し、9
機械学習案件を納品するのは、そんなに簡単な話じゃないから気をつけて - Qiita
はじめに 昨日のTwitterで書いたこちらが非常に反響を呼びました。 半年間かけたデータ解析の仕事が全くうまくいかなかった 今回の失敗は契約書に納品物を明記していなかったこと 機械学習の依頼は学習済みモデルのファイルを納品しただけでは、先方は検収できず、結果支払いを受けられない この教訓をひとりでも多くの人に知ってもらいたい — キカガク代表 吉崎亮介 (@yoshizaki_kkgk) 2017年11月20日 そうなんですよね。 全く先方が悪いわけでもなく、私自身が「機械学習のお仕事＝解析」だと思いこんでいたことが失敗の始まり。 結局のところ、機械学習系のプロダクトを依頼されて、学習済みモデルを作成して即納品とはいかず、検証結果を示されないと検収できないよとなってしまうので、結局アプリケーション側まで組み込まないと納得感はないんですよね。 この検証とは、訓練データと検証データを分けた時
機械学習を使った事業を成功させるために必要な考え方や人材、フェーズとは？ - Qiita
はじめに みなさま、初めましての方もご無沙汰しておりますという方も、株式会社キカガク代表の吉崎（twitter:@yoshizaki_kkgk）です。 ちょうど１年ほど前に失敗して泣きながらこんな記事を書き、多くの方から反響をいただきました。 Qiita: 機械学習案件を納品するのは、そんなに簡単な話じゃないから気をつけて こちらの記事は2018/10/25現在、1118いいねをいただけるモンスター記事となりました。 いま思うと、契約に関する素人感丸出しの記事ですが、まだまだ黎明期のこの分野にとっては共感していただけるような内容だったのだと嬉しく思います。 この記事が関係あるかないかわかりませんが、これ以降、契約周りの話であったり、機械学習のモデルではなくプロジェクトとしての進め方の書籍や記事を2018年は多く見かけるようになりました。 まさに、技術から事業化への一歩を踏み出した１年であっ
大幅に進化するらしいTensorFlow2.0について - HELLO CYBERNETICS
はじめに TensorFlow2.0がもうすぐ来るよ！ APIs High level APIs Eager Exexution Reference Models Contribの扱い プラットフォーム TensorFlow Lite TensorFlow.js TensorFlow with Swift パフォーマンス Distributed TensorFlow CPU、GPU、TPUの最適化関連 その他のパッケージ TensorFlow Probability Tensor2Tensor End to End ML systems TensorFlow Hub TensorFlow Extended はじめに TensorFlow2.0ではこれまでのTensorFlowから大幅に変化するので、その変更点について記しておきます。 基本的には公式のRoadmapの和訳と思って差し支えあり
Python: scikit-learn のロジスティック回帰を使ってみる - CUBE SUGAR CONTAINER
最近、意外とロジスティック回帰が使われていることに気づいた。 もちろん世間にはもっと表現力のある分類器がたくさんあるけど、問題によってどれくらい複雑なモデルが適しているかは異なる。 それに、各特徴量がどのように働くか重みから確認したり、単純なモデルなのでスコアをベンチマークとして利用する、といった用途もあるらしい。 今回は、そんなロジスティック回帰を scikit-learn の実装で試してみる。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.6 BuildVersion: 17G65 $ python -V Python 3.6.6 $ pip list --format=columns | grep -i scikit-learn scikit-learn 0.19.2 下準備 まずは scikit-
生TensowFlow七転八倒記 カテゴリーの記事一覧 - 渋谷駅前で働くデータサイエンティストのブログ
2年ぐらい前に必要があって生TensorFlowとTensorFlow-Hubによる様々なモデルやフレームワーク並びに事前学習済みモデルの実装を試していたのですが、TF2の浸透に伴いそれらの多くの仕様が変更になっており、中には回らなくなっていたコードもあったので、そ…
機械学習をやる上で必要な数学とは、どの分野のどのレベルの話なのか（数学が大の苦手な人間バージョン） - 渋谷駅前で働くデータサイエンティストのブログ
しばらく前にこんな記事が出ていたのをお見かけしました。 明らかにこれは僕が某所（笑）で適当に放言したことがきっかけで巻き起こった議論の一旦なのではないかと思うのですが、個人的にはこちらの@yohei_kikutaさんの仰る通りで大体良いのではないかと考えております。 なのですが、言い出しっぺらしき身としてはもうちょっと何か具体的な話を書いた方が良いのかな？とも思いましたので、常々公言しているように数学が大の苦手な身ながらどの分野のどのレベルの数学が機械学習をやっていく上で必要なのかという点について戯言だらけの駄文を書いてみることにします。 深層学習 (機械学習プロフェッショナルシリーズ) 作者: 岡谷貴之出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本（ソフトカバー）この商品を含むブログ (13件) を見るちなみに、以下に並べる戯言は深層学習青本から得られた知識を
データサイエンティストさんっ！ 育成ですよ、育成！｜マスクドアナライズ
「ドームですよ、ドーム」と言えば「闘強導夢」ですね（挨拶）。 IT業界だけでなく様々な業種業界で需要の高まる「データサイエンティスト」ですが、優秀な人材は東京ドームでコンサートが出来るアイドル並に希少です。 ココらへんは地下アイドルと同じく「名乗ったもの勝ち」な側面もあり、全く役に立たない"自称"データサイエンティストも存在します。 では「優秀なデータサイエンティストをどう確保するか」という課題に向き合う事ことが、今回の趣旨となります。 ここでデータサイエンティスト不足に悩む、弊社の状況をまとめてみました。 ・都内のAIベンチャー ・設立数年なので知名度はまだ低い ・今年になって取引先や案件が増えてきた ・社員数は20人いない程度でエンジニア中心 ・可能であれば他社で実績や経験のある即戦力を採用したい ・社内データサイエンティストのOJTによる育成も検討 ・給料はそんなに高くない ・毎日K
データサイエンティストや機械学習エンジニアに求められる「素質」とは何か - 渋谷駅前で働くデータサイエンティストのブログ
(Image by Pixabay) 某所で時々意見交換させていただいている@maskedanlさんが、面白い記事をnoteにupなさっていたので拝読しました。細かい内容は上記のリンク先から皆さんに直接お読みいただくとして、記事中で某所で僕が放言（笑）したことへのご質問をいただいていたのでした。それは、データサイエンティストや機械学習エンジニアといったデータ分析人材に求められる「素質」について、です。 それは例えば統計学や機械学習はたまたプログラミングといった「スキル」や「素養」とも違う、言ってみれば性格的傾向とか仕事スタイルとかはたまた思想信条のような、もうちょっと属人的で曖昧なものだと思うのですが、個人的な経験からはその「素質」の有無がデータ分析職として育成した結果、ものになるかならないかを分けるように感じられています。 ということで、あくまでも個人的経験に基づく範囲でデータサイエンテ
「RPAは魔法のツールじゃない」 年間8500時間を削減、リクルートはロボットに何をさせた？ (1/3) - ITmedia NEWS
「RPAは魔法のツールじゃない」 年間8500時間を削減、リクルートはロボットに何をさせた？（1/3 ページ） いかに仕事を効率化し、早く帰るか――政府も提唱する「働き方改革」を引き合いにだすまでもなく、誰もが意識していることだろう。生産性の向上を図る上で、人間の業務内容をコンピュータに代行させるAI（人工知能）やRPA（Robotic Process Automation）に注目が集まっている。 しかし、AIやRPAをうまく活用している企業もあれば、社内にノウハウがなかったり、意思疎通がうまくできなかったりしてプロジェクトが失敗に終わるケースも少なくない（関連記事）。 AIが人間の仕事を奪うといわれる中、PCの入力作業やメール送信といった定型業務を自動化するRPAは、銀行や生命保険会社などが伝票や請求書データの入力などに使っている。 そんな中、「約40人の経理部署でRPAを導入し、年間で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon、社内エンジニア教育に使っている機械学習コースを無料提供 – TechCrunch Japan
メルカリにおける AI 活用事例 PyCon JP 2018
機械学習技術とその数理基盤