はじめに: 本講座は「機械学習ってなんか面倒くさそう」と感じている プログラマのためのものである。本講座では 「そもそも機械が『学習する』とはどういうことか?」 「なぜニューラルネットワークで学習できるのか?」といった 根本的な疑問に答えることから始める。 そのうえで「ニューラルネットワークでどのようなことが学習できるのか?」 という疑問に対する具体例として、物体認識や奥行き認識などの問題を扱う。 最終的には、機械学習のブラックボックス性を解消し、所詮は ニューラルネットワークもただのソフトウェアであり、 固有の長所と短所をもっていることを学ぶことが目的である。 なお、この講座では機械学習のソフトウェア的な原理を中心に説明しており、 理論的・数学的な基礎はそれほど厳密には説明しない。 使用環境は Python + PyTorch を使っているが、一度原理を理解してしまえば 環境や使用言語が

なんとなく解説したくなったので。多分世界一詳しいと思います。 2点を打つ とりあえず点を打ちます。例として、$y=2x+1$ の関係を持つような点を 2 点打ちます。これが教師データになります。 import torch from matplotlib import pyplot as plt x = torch.Tensor([1, 2]) t = torch.Tensor([3, 5])

Pythonの「Prophet」ライブラリで株価予測をしてみよう：「Python」×「株価データ」で学ぶデータ分析のいろは（終）（1/3 ページ） 日々変動する株価データを題材にPythonにおけるデータ分析のいろはを学んでいく本連載。最終回はローソク足とともにこれまでに計算したオシレーターなど一式を1つのグラフで表示する方法や過去の株価データを基にした株価予測の方法を解説します。

とします。これはReconstruction Errorと呼ばれます。入力したデータになるべく近くなるように誤差逆伝播法で重みの更新を行うことで学習することができます。 1-2. Variational Autoencoder(VAE) VAEはこの潜在変数$z$に確率分布、通常$z \sim N(0, 1)$を仮定したところが大きな違いです。通常のオートエンコーダーだと、何かしら潜在変数$z$にデータを押し込めているものの、その構造がどうなっているかはよくわかりません。VAEは、潜在変数$z$を確率分布という構造に押し込めることを可能にします。 イメージは下記です。 まだよくわかりませんね。実際にプログラムを動かしたものを見ると少しイメージが湧くかと思います。 まずは入力と出力を対比させてみます。（これは$z$の次元を20に設定して学習したものです。）ちょっとぼやっとしていますが、元の形

また，実用上以下のような分布の仮定を置くことが多いです。潜在空間には平均が$\boldsymbol{0}$で共分散行列が単位行列の標準多次元ガウス分布を仮定します。また，エンコーダ部にもガウス分布を仮定することで目的関数を解析的に求めることができます。（以下で説明します） \begin{eqnarray} q_{\phi}(\boldsymbol{z}|\boldsymbol{x}) &\sim& \mathcal{N}(\boldsymbol{z};\boldsymbol{\mu}_{\phi},\boldsymbol{\sigma^2}_{\phi})\\ p_{\theta}(\boldsymbol{z}) &\sim& \mathcal{N}(\boldsymbol{z};\boldsymbol{0},\boldsymbol{I}) \end{eqnarray} 大切なのは，デコー

🌍 Travel around the world as we explore Machine Learning by means of world cultures 🌍 Cloud Advocates at Microsoft are pleased to offer a 12-week, 26-lesson curriculum all about Machine Learning. In this curriculum, you will learn about what is sometimes called classic machine learning, using primarily Scikit-learn as a library and avoiding deep learning, which is covered in our AI for Beginners

はじめに 私はこれまで機械学習のパラメータチューニングに関し、様々な書籍やサイトで学習を進めてきました。 しかしどれもテクニックの解説が主体のものが多く、 「なぜチューニングが必要なのか？」 という目的に関する記載が非常に少なかったため、体系的な理解に苦労しました。 この経験を後世に役立てられるよう、「初心者でも体系的に理解できる丁寧さ！」をモットーに記事にまとめたいと思います。 具体的には、 1. パラメータチューニングの目的 2. チューニングの手順とアルゴリズム一覧 3. Pythonでの実装手順 (SVMでの分類を例に) の手順で解説を進めます。 独自解釈も含まれるため、間違っている点等ございましたら指摘頂けると有難いです。 なお、文中のコードはこちらのGitHubにもアップロードしております。 2021/9/6追記：LightGBMのチューニング実行例追加 以下の記事に、Ligh

本記事では、時系列予測に利用できるpythonのライブラリの使い方について説明をします。 パッとライブラリを使うことを目指すため具体的なアルゴリズムの説明は省きます。 ※説明が間違えている場合があればご指摘いただけると助かります。 目次 利用データ ライブラリ Prophet PyFlux Pyro Pytorch Lightgbm 補足:Darts まとめ ソースコード このブログで記載されているソースコードはGitHubに上げておいたのでもしよろしければ参考にしてください。 github.com 利用データ 今回用いるデータはkaggleのM5 Forecasting - Accuracyと呼ばれるコンペティションで利用されたデータを用います。 作成したランダムなデータよりも実データのほうが予測をしている感があるからです。 予測に使うデータはwalmartの売上データです。 下図はその

プログラミング言語Pythonを使って， Webアプリを簡単に作れるMVCフレームワーク「Django」（ジャンゴ）。 その使い方を，入門段階から独学で習得できるYoutube動画をまとめた。 thenewbostonさんによる「Django Tutorials for Beginners」 sentdexさんによる「Django Web Development with Python」 Mike Hibbertさんによる「Python Django Tutorials」 thenewbostonさんによる「Django Tutorials for Beginners」 聞きやすい英語，画面を拡大しながらの説明。 １回の動画の長さは，数分～１０分ほど。 インストール方法から始めて，REST APIまで。顔出しなし。 最終更新日: 2016/04/07 1. Django Tutorial

Photo by mike krzeszak こんにちは。谷口です。 Pythonはコードが書きやすく、機械学習でもよく使われているため最近人気の高い言語ですが、PythonのWebフレームワーク「Django」については知っていますか？ PythonでWeb開発をするときに使えるフレームワークには、Django, Pyramid, Flask, Bottleなどがありますが、今のところ最もメジャーと言えるのがDjangoです。 Djangoには、Web開発に便利なルーティング、MVC、ORマッパー、ジェネレータといった機能が含まれており、初心者でも比較的簡単にそれなりのWebアプリケーションが作成しやすくなっています。 今回は、プログラミング初心者の方でもDjangoの使い方を学べるサイトと書籍をご紹介します。 Djangoの公式ドキュメントとチュートリアル https://docs.d

スクレイピングした Web サイトからページ全体のスクリーンショットを撮影したい機会があった。 そこで Selenium の Python バインディングと Headless Chrome を使ったところ実現できたのでメモしておく。 ちなみに、ページ全体でなければ Headless Chrome 単体でも撮れる。 その方法についても末尾に補足として記載しておいた。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 $ pip list --format=columns | grep -i selenium selenium 3.13.0 $ chromedriver --version ChromeDriver 2.

【第1位】キカガク（公式：https://www.kikagaku.ai/） あのマイクロソフトが導入するほどの高品質なPythonスクール。AI・機械学習・Python特化型。給付金で最大70%OFF。 【第2位】Aidemy（公式：https://aidemy.net/） 日本の大企業のDXで利用されている、高品質なPythonスクール。こちらも給付金最大70%OFF。 【第3位】TechAcademy（公式：https://techacademy.jp/） 知名度抜群の総合型プログラミングスクール。Webアプリ開発からPythonプログラミングまで網羅。

概要 2017年8月9日に国立がん研究センターは、がん治療拠点の約半数にあたる全国188の病院について、癌患者の5年後の生存率データを初めて公表しました（毎日新聞の記事）。報告書は国立がん研究センターが運営するウェブサイトからダウンロードできます（ここ）。報告書をダウンロードしようとすると注意点を記したポップアップが表示されます。大切な部分を抜粋すると以下です。 本報告書には、施設別の生存率を表示していますが、進行がんの多い少ない、高齢者の多い少ないなど、施設毎に治療している患者さんの構成が異なります。そのため、単純に生存率を比較して、その施設の治療成績の良し悪しを論ずることはできません。 一般に高齢者が多い病院ほど、進行癌（ステージが進んだ癌）が多い病院ほど、その病院の生存率は下がるわけです。それならば、統計モデリングで年齢と進行度（ステージ）の影響を取り除いて（専門的な言葉で言えば「調

最近よくビジネスニュースというか経済ニュースを見ていて思うんですが、注意しないと各企業についてバイアスがかかるリスクがあるなぁと。メディアが悪いと言えばなんとなく悪い感じがしてきますし、賢い人がすごいと言えばなんだかすごい気がしてきます。具体的には、Amazonの戦略がすごい！とか、Appleは税金を納めてなくてひどい！とか、そういうニュースを真に受けてしまっている自分に気がつきます。これはよくないですね。事実ではなく、他人の意見に支配されています。 ではどうすればいいのでしょう？メディアを遮断すればいいのでしょうか。それとも、他人の意見を全て否定すればいいのでしょうか。 バイアスを取り除く方法はただ一つ。データ分析です。データは嘘をつきません。賢そうな人の意見を鵜呑みにするのではなく、自分で生のデータを分析すれば、事実にたどり着けます。 企業について知るためには、財務諸表をひも解くのが一

新たな教育プログラム「DL4US」が開始しています。 2019年5月に、松尾研究室の新たなディープラーニングの無料教材「DL4US」が公開されています。「Deep Learning基礎講座演習コンテンツ」のバージョンアップ版の位置付けなので、今から学習する方はこちらに取り組んだ方が良いかと思います。 Dockerを使った環境構築方法を紹介している記事を書いたので、もし良ければ以下記事参照下さい。 Deep Learning基礎講座演習コンテンツが無料公開 以下のようなサイトが無料公開されていました。 学習に自由に使用してよいとのことです。ただ、肝心の使用方法が詳しく書いてないので、初心者には環境構築が厳しく、簡単に環境構築できる人にとっては、知っている内容のところが多い気がして、内容が良いだけにもったいなと感じました。 そこで、ちょっと初心者向けに環境構築の補足をしてみたいと思います。 そ

こんにちは、ほけきよです。 ここ数回に分けて書いた『面倒がすぎる内容をpythonにさせよう』シリーズの集大成。 ブログ最適化のために必要なものを『全て』『一気に』抜き出すプログラム、作りました！ この記事を読めば、下記の情報がゲットできます ※ 現在ははてなブログのみ対応となっています。WordPress用にも作成中なので、少々お待ちを。 *1 ・記事とURLとブックマークの情報 ・記事内画像を全て抜きとったもの ・自サイトの内部リンクがどうなっているかを可視化したもの ・リンク切れリスト ・はてなブックマークがどのような伸び方でついたかを可視化したもの 使い方(情報技術に明るい人) 使い方(一般向け) 環境構築 実行するコード コマンド一発！実行する 中身がどうなっているか 注意 出力結果 pythonを勉強したい方に まとめ 使い方(情報技術に明るい人) 情報技術に明るい人と、そうで

我が家に設置した赤外線防犯カメラを 作成した時の覚書です。 （初期導入の内容で現在とは大分異なります） 【使用する物】 Raspberry Pi 2 Model B：アマゾン　5,562円 赤外線カメラ NoIR Camera Board 790-2811：アマゾン　4,590円 焦電人感センサ：秋月電子　400円 赤色LED(3mm)：秋月電子　10円 カーボン抵抗（220kΩ）：千石電商　16円 【前提条件】 ・「RPi.GPIO」を導入済み ・CSIカメラポートにカメラを接続済み ・「raspi-config」にてカメラを有効にしている事 ・焦電人感センサのVCCおよびGND端子を接続済みで、 OUT端子を任意のGPIOに接続されている事（ここでは5番を使用） ・センサー検知確認用のLEDが接続されている事 （ここでは6番ポートに抵抗を挟んで接続） 【カメラ動作チェック：コマンド】