（作成中）PyConJP2018 資料一覧 - Qiita
20180917 Argentina in Python: community, dreams, travels and learning 東大松尾研流 実践的AI人材育成法 実践・競馬データサイエンス Why you should care about types: Python Typing in the Facebook Backend Applying serverless architecture pattern to distributed data processing Webアプリケーションの仕組み DjangoではじめるPyCharm実践入門 PyCon JP における子ども向けワークショップの活動事例と実施の意義 Building Maintainable Python Web App using Flask オンザフライ高速化パッケージの比較：Numba, Tenso
ボクセルデータをPythonでデータ拡張する - Qiita
データ拡張とは機械学習モデルを作成するとき、モデルの汎化性能を向上させるための追加データとして、元データに加工を施してデータを増やすことです。 例えば画像の場合には、元画像を反転する、水平・垂直にピクセルを移動させる、ノイズをピクセル値に加える等の方法が典型的です。 3Dデータの一種にはボクセルデータ(x, y, zの3次元格子をもつ、2次元画像データの拡張)があり、CADモデルやCTスキャンのデータがこの形式で表されることがあります。 このボクセルデータを対象にして、3D CNNで分類やセグメンテーションを行う、といったケースに用いられています。 本記事では、Pythonのscipyとnumpyを使ってボクセルデータの拡張データを生成してみます。 (拡張データを使った学習は本記事では扱いません。) 拡張元データ PRINCETON MODELNETの10クラスのものを使用しています。 h
ChainerのTRAIN_MNISTベンチマーク(GTX1070有/無) - Qiita
C:\chainer-master\examples\mnist>python train_mnist.py GPU: -1 # unit: 1000 # Minibatch-size: 100 # epoch: 20 epoch main/loss validation/main/loss main/accuracy validation/main/accuracy elapsed_time 1 0.190619 0.0927074 0.94225 0.9699 46.2703 2 0.0732134 0.0946572 0.976817 0.9698 94.4335 3 0.0495815 0.0804488 0.98425 0.9754 143.703 4 0.0345411 0.0673166 0.988683 0.9802 193.947 5 0.0294899 0.073428
Google colaboratory上でpandas-datareaderを用いて東証上場銘柄の株価を取得する - Qiita
1.Google colaboratoryについて ・Googleが提供するSaas型Python実行環境サービス。 ・Googleアカウント（Google Drive）があれば利用可能。 ・Google colaboratoryの利用は、原則無料（←ココ重要） ・Google colaboratoryは、機械学習を試したい場合に必要なライブラリが標準で既に入っている。機械学習の初学者は言うまでもなく、Python初学者にとっても、Python環境のセットアップを省略して即Python実行環境でお試し実行が可能。 ・機械学習や深層学習をおこなう際の演算処理にGPUが利用可能。つまりGoogleの巨大なリソースが無料で利用可能（≒ Google神の下僕or小作人になってGoogle大地主様の広大なプランテーションが利用可能。ビバ！「クラウドの衝撃」！） ・自分のGoogleアカウントのGoo
[Kaggle]いろいろとTitanicしてみる - Qiita
前回Kagglerになってみたが、それだとしっくりこなかったり、ほかのモデルを試してみてなかったりしたので 以下を参考にいろいろと試行錯誤してみた。 [Kaggle]0から本当に機械学習を理解するために学ぶべきこと～一流のデータサイエンティストを例に～ [part2]0から本当に機械学習を理解するために学ぶべきこと～一流のデータサイエンティストを例に～ [part3]0から本当に機械学習を理解するために学ぶべきこと～0からscikit-learnを使いこなす～ といっても、なんとなく思考をトレースしただけなので項目の追加などは特にせずに 今後使いまわしやすそうなコード構成に修正したぐらいだが。 全体的にやらないといけないことの流れはなんとなくわかった気がするので、次回別のデータセットで試してみるのもいいかもしれない。 で、いろいろなモデルをまとめて試してみた結果が以下。 こんな感じになった
![[Kaggle]いろいろとTitanicしてみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/a701a9260e1cd60b969dc3fc33d9a0b629f7ac48/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTA2NjM5JTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA5OTkwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1hNDM5MDBiMDZkZTcxMThjOTg4ZDdmN2M0NGM0M2Q2ZA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dac70949d432607b5e148f26d8a33365c%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCS2FnZ2xlJTVEJUUzJTgxJTg0JUUzJTgyJThEJUUzJTgxJTg0JUUzJTgyJThEJUUzJTgxJUE4VGl0YW5pYyVFMyU4MSU5NyVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MiU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPThlNzllNjUzZDk1MjY3YzRkNDgwZTZlNmI0NTY3ZjU1%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDByeW9fbmFrYSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWI4ZWVmM2M1NzA2ODU3ZTgyY2RkZmFlMDE5NTBjNjk2%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D202aefdf4aa602f83f359dc59ca312d7)
ブラウザで手描き数字認識 (前処理付き版) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TL;DL 機械学習において前処理って大事ですね。 はじめに 「そうだ、機械学習をしよう」と思って、とりあえず始めるのはMNISTを使った手書き数字認識だと思う。例えばChainerのサンプルとか動かして、ロスが減って「なんか学習できてるっぽいなぁ」と思うところまで行ったとする。次に「ちゃんと学習できてるか、学習させたモデルに自分の手書き文字を認識させてみよう」と思ってやってみると全然認識できなかったりして驚くわけですね。 この話を機械学習に詳しい人にしたら「ちゃんと前処理した？」と言われて、「いやしてないけど、こんな簡単な認識、前処理
Keras、NVIDIA等の環境構築をAnsibleで自動構築 - Qiita
はじめに AWS EC2、オンプレ環境でKerasの環境構築を繰り返しています。 マシンが10〜100台となる計画があり、Ansibleで自動構築をしました。 Install TensorFlow on UbuntuのTensorFlow GPU supportを参考にしています。 自動構築の概要 hostsのIPアドレスを修正して、ansible-playbookで自動構築できます!!! 一応、流れを把握して頂いた後、自動実行して頂ければと思います 前提 Ansibleの基本的な解説はしません Ubuntu Server 16.04 LTS Python3 Tesla K80 解説 NVIDIAドライバ 384.x or higherが要求条件です Ubuntu Server 16.04 LTSのnvidia-384を利用します CUDA CUDA 9.0が要求条件です cuda-cub
[Kaggle]Kagglerになってみる - Qiita
先日、とあるAI系の勉強会？説明会？でいくつか話を聞いてきたのだが、その中の一つとしてkaggleなるものを知った。 で、面白そうだったので早速試してみることにした。 ※ゼロから作るDeep Learningあたりを読み途中だったので読み切ってからのほうがいいかなとも思ったが、やる気になったときに初めてみるのがいいかなと思ったのと、わからなかったら本に戻ってくればいいかなと。 kaggleって何？ kaggleって何というのはこの辺を参照してみてください。 https://www.codexa.net/what-is-kaggle/ データサイエンス版のgit hubみたいなものというのが感覚的には一番わかりやすいかも。 カグってみる 何はなくともまずはアカウント作成 どれでも大差ないとは思うが、Facebookのアカウントを使ってサインアップすることにする。 IDを何にする？と聞かれる。
![[Kaggle]Kagglerになってみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/1fb993a76bc47332b1b8fdae14f04e8ebb7444bb/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTA2NjM5JTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA5OTkwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1hNDM5MDBiMDZkZTcxMThjOTg4ZDdmN2M0NGM0M2Q2ZA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dac70949d432607b5e148f26d8a33365c%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCS2FnZ2xlJTVES2FnZ2xlciVFMyU4MSVBQiVFMyU4MSVBQSVFMyU4MSVBMyVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MiU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTkyMzNmZWQ3MTRiYTRmMTM1MzhkOTdlNzNiYThiMjMw%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDByeW9fbmFrYSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWI4ZWVmM2M1NzA2ODU3ZTgyY2RkZmFlMDE5NTBjNjk2%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dcb35e416ddea550c044186400228a5db)
Yet another 機械学習で株価を予測する (5) - Qiita
1. 今回の目的 Yet another 機械学習で株価を予測する (1) Yet another 機械学習で株価を予測する (2) Yet another 機械学習で株価を予測する (3) Yet another 機械学習で株価を予測する (4) これまで3までで日経平均およびNYSE総合 (NYA)の日足データから翌営業日の日経平均が始値から終値にかけて上昇するか下落するか予想するプログラムを作り、交差検証で検証を行いました。利益を期待できそうという結果が得られたので、3ではパラメーターを振ったり、検証期間を変えてみたりして様子を見ました。程度の差こそあれ比較的長期に渡ってそれなりに安定して動作しそうでした。そこで今回は3で作成し、4でパラメーターを調整したプログラムをおおよそ直近の1年間動作させていた場合、利益(あるいは損失)がどれだけ出たのか検討してみることにします。 2. プログ
Matplotlib 論文書くときに使ったやつメモ - Qiita
はじめに 論文を書くときにいろいろ調べたのですがまた書くときにまとめておくと楽なので そのまとめです 参考 https://qiita.com/rnhd/items/325d21621cfe9e553c17 https://qiita.com/okadate/items/00227316187b60f861f5 https://qiita.com/nishimuraatsushi/items/2df8542ebf97affa26fb グラフの文字系 ここがとにかく大変でした 普通times new romanを使うので よく言われているこれでやると plt.rcParams['font.family'] = 'Times New Roman' #全体のフォントを設定 plt.rcParams["mathtext.fontset"] = "stix" plt.rcParams["font.s
matplotlibで土日に線を入れる - Qiita
x軸が日付のとき、グラフの推移に曜日が関係していることがあります。 土曜日と日曜日がどの辺りなのか分かりやすいように色をつける方法を考えました。 ライブラリのインポートと、サンプルデータの用意をします。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import datetime %matplotlib inline df = pd.DataFrame() for day in (datetime.date(2018, 9, 1) + datetime.timedelta(x) for x in range(30)): df = df.append(pd.DataFrame([[day, np.random.rand()]], columns = ['date','value']), ignor
VirtualBox仮想マシン(Ubuntu16.04 LTS)でTensorflowを動かす@Windows10 - Qiita
自宅(Windows10)でどうしてもUbuntu開発環境がほしかったので構築しました。 今後Tensorflowを用いたディープラーニング系の記事を投稿していく予定です。 GPUも使えるようにしたい。 環境 Windows 10 Pro Oracle VirtualBox 5.2.18(投稿時最新版) 構築手順 VirtualBoxのダウンロード・インストール こちらのサイト[1]が非常に参考になります Ubuntu 16.04 LTS のダウンロード IOSイメージをダウンロードしてください。次のステップで使います 仮想マシンの作成・初期設定 こちらのサイト[2]で丁寧に説明しています おすすめ初期設定 VirtualBox クリップボードの共有、ドラッグ＆ドロップの設定 仮想マシンの設定 -> 一般 -> 高度 -> クリップボードの共有 -> 双方向 仮想マシンの設定 -> 一般
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Python] pandas データ加工 - Qiita![[Python] pandas データ加工 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/507959bcda1693f4b062a36b046b48650114d671/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTk4OTcxJTJGcHJvZmlsZS1pbWFnZXMlMkYxNTM3MjI4MzAzP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1jMWY5YzdlNDAwZmFjMDJmODQyMjdmMjgzOTBhODgzYg%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dfc84e7d04d526508831a3d88e793171f%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwcGFuZGFzJTIwJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUU1JThBJUEwJUU1JUI3JUE1JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9MDViYTg3NjEyZTUxN2Y2NjlkZmYxYjJhNjc5N2M5YTg%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBoaWthcnVfJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9MTI3MmUwMzc2NmE5N2UxYTQ1YzU1YWE2YTk0ZDFhNWQ%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dfaaa2dfb67d782fe60c5e99964e96f58)
[Python] pandas データ結合 - Qiita![[Python] pandas データ結合 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/cb084c0b882c849ab496cdad60bd182cf745ad7c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTk4OTcxJTJGcHJvZmlsZS1pbWFnZXMlMkYxNTM3MjI4MzAzP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1jMWY5YzdlNDAwZmFjMDJmODQyMjdmMjgzOTBhODgzYg%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dfc84e7d04d526508831a3d88e793171f%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwcGFuZGFzJTIwJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUU3JUI1JTkwJUU1JTkwJTg4JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YjM0ODFmMGViN2UzNzhkNjU3YTllY2NlZDBjZWJiNmQ%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBoaWthcnVfJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9MTI3MmUwMzc2NmE5N2UxYTQ1YzU1YWE2YTk0ZDFhNWQ%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dbbd609b3aadd188b0f5918940dc86bb6)
matplotlibで3次元プロットする際に3軸のスケールを揃える - Qiita
Pipenv をdockerで使うときに特定のパッケージが入らないようにしたかった。 - Qiita
dataframeをtocsv する際、errorをignoreしたい場合 - Qiita
市区町村一覧・自治体の一覧を取得する（Python） - Qiita
TensorFlow をソースからコンパイル 20180917版 - Qiita
nysol(python) vs pandas pandas より、遅いけどメモリは食わない - Qiita
