[Python] pandas データ結合 - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
![[Python] pandas データ結合 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/cb084c0b882c849ab496cdad60bd182cf745ad7c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTk4OTcxJTJGcHJvZmlsZS1pbWFnZXMlMkYxNTM3MjI4MzAzP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1jMWY5YzdlNDAwZmFjMDJmODQyMjdmMjgzOTBhODgzYg%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dfc84e7d04d526508831a3d88e793171f%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwcGFuZGFzJTIwJUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUU3JUI1JTkwJUU1JTkwJTg4JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YjM0ODFmMGViN2UzNzhkNjU3YTllY2NlZDBjZWJiNmQ%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBoaWthcnVfJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9MTI3MmUwMzc2NmE5N2UxYTQ1YzU1YWE2YTk0ZDFhNWQ%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dbbd609b3aadd188b0f5918940dc86bb6)
Google colaboratory上でpandas-datareaderを用いて東証上場銘柄の株価を取得する - Qiita
1.Google colaboratoryについて ・Googleが提供するSaas型Python実行環境サービス。 ・Googleアカウント（Google Drive）があれば利用可能。 ・Google colaboratoryの利用は、原則無料（←ココ重要） ・Google colaboratoryは、機械学習を試したい場合に必要なライブラリが標準で既に入っている。機械学習の初学者は言うまでもなく、Python初学者にとっても、Python環境のセットアップを省略して即Python実行環境でお試し実行が可能。 ・機械学習や深層学習をおこなう際の演算処理にGPUが利用可能。つまりGoogleの巨大なリソースが無料で利用可能（≒ Google神の下僕or小作人になってGoogle大地主様の広大なプランテーションが利用可能。ビバ！「クラウドの衝撃」！） ・自分のGoogleアカウントのGoo
[Kaggle]いろいろとTitanicしてみる - Qiita
前回Kagglerになってみたが、それだとしっくりこなかったり、ほかのモデルを試してみてなかったりしたので 以下を参考にいろいろと試行錯誤してみた。 [Kaggle]0から本当に機械学習を理解するために学ぶべきこと～一流のデータサイエンティストを例に～ [part2]0から本当に機械学習を理解するために学ぶべきこと～一流のデータサイエンティストを例に～ [part3]0から本当に機械学習を理解するために学ぶべきこと～0からscikit-learnを使いこなす～ といっても、なんとなく思考をトレースしただけなので項目の追加などは特にせずに 今後使いまわしやすそうなコード構成に修正したぐらいだが。 全体的にやらないといけないことの流れはなんとなくわかった気がするので、次回別のデータセットで試してみるのもいいかもしれない。 で、いろいろなモデルをまとめて試してみた結果が以下。 こんな感じになった
![[Kaggle]いろいろとTitanicしてみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/a701a9260e1cd60b969dc3fc33d9a0b629f7ac48/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTA2NjM5JTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA5OTkwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1hNDM5MDBiMDZkZTcxMThjOTg4ZDdmN2M0NGM0M2Q2ZA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dac70949d432607b5e148f26d8a33365c%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCS2FnZ2xlJTVEJUUzJTgxJTg0JUUzJTgyJThEJUUzJTgxJTg0JUUzJTgyJThEJUUzJTgxJUE4VGl0YW5pYyVFMyU4MSU5NyVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MiU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPThlNzllNjUzZDk1MjY3YzRkNDgwZTZlNmI0NTY3ZjU1%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDByeW9fbmFrYSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWI4ZWVmM2M1NzA2ODU3ZTgyY2RkZmFlMDE5NTBjNjk2%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D202aefdf4aa602f83f359dc59ca312d7)
ブラウザで手描き数字認識 (前処理付き版) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? TL;DL 機械学習において前処理って大事ですね。 はじめに 「そうだ、機械学習をしよう」と思って、とりあえず始めるのはMNISTを使った手書き数字認識だと思う。例えばChainerのサンプルとか動かして、ロスが減って「なんか学習できてるっぽいなぁ」と思うところまで行ったとする。次に「ちゃんと学習できてるか、学習させたモデルに自分の手書き文字を認識させてみよう」と思ってやってみると全然認識できなかったりして驚くわけですね。 この話を機械学習に詳しい人にしたら「ちゃんと前処理した？」と言われて、「いやしてないけど、こんな簡単な認識、前処理
Keras、NVIDIA等の環境構築をAnsibleで自動構築 - Qiita
はじめに AWS EC2、オンプレ環境でKerasの環境構築を繰り返しています。 マシンが10〜100台となる計画があり、Ansibleで自動構築をしました。 Install TensorFlow on UbuntuのTensorFlow GPU supportを参考にしています。 自動構築の概要 hostsのIPアドレスを修正して、ansible-playbookで自動構築できます!!! 一応、流れを把握して頂いた後、自動実行して頂ければと思います 前提 Ansibleの基本的な解説はしません Ubuntu Server 16.04 LTS Python3 Tesla K80 解説 NVIDIAドライバ 384.x or higherが要求条件です Ubuntu Server 16.04 LTSのnvidia-384を利用します CUDA CUDA 9.0が要求条件です cuda-cub
[Kaggle]Kagglerになってみる - Qiita
先日、とあるAI系の勉強会？説明会？でいくつか話を聞いてきたのだが、その中の一つとしてkaggleなるものを知った。 で、面白そうだったので早速試してみることにした。 ※ゼロから作るDeep Learningあたりを読み途中だったので読み切ってからのほうがいいかなとも思ったが、やる気になったときに初めてみるのがいいかなと思ったのと、わからなかったら本に戻ってくればいいかなと。 kaggleって何？ kaggleって何というのはこの辺を参照してみてください。 https://www.codexa.net/what-is-kaggle/ データサイエンス版のgit hubみたいなものというのが感覚的には一番わかりやすいかも。 カグってみる 何はなくともまずはアカウント作成 どれでも大差ないとは思うが、Facebookのアカウントを使ってサインアップすることにする。 IDを何にする？と聞かれる。
![[Kaggle]Kagglerになってみる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/1fb993a76bc47332b1b8fdae14f04e8ebb7444bb/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTA2NjM5JTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzA5OTkwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1hNDM5MDBiMDZkZTcxMThjOTg4ZDdmN2M0NGM0M2Q2ZA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dac70949d432607b5e148f26d8a33365c%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCS2FnZ2xlJTVES2FnZ2xlciVFMyU4MSVBQiVFMyU4MSVBQSVFMyU4MSVBMyVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MiU4QiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTkyMzNmZWQ3MTRiYTRmMTM1MzhkOTdlNzNiYThiMjMw%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDByeW9fbmFrYSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWI4ZWVmM2M1NzA2ODU3ZTgyY2RkZmFlMDE5NTBjNjk2%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dcb35e416ddea550c044186400228a5db)
Yet another 機械学習で株価を予測する (5) - Qiita
1. 今回の目的 Yet another 機械学習で株価を予測する (1) Yet another 機械学習で株価を予測する (2) Yet another 機械学習で株価を予測する (3) Yet another 機械学習で株価を予測する (4) これまで3までで日経平均およびNYSE総合 (NYA)の日足データから翌営業日の日経平均が始値から終値にかけて上昇するか下落するか予想するプログラムを作り、交差検証で検証を行いました。利益を期待できそうという結果が得られたので、3ではパラメーターを振ったり、検証期間を変えてみたりして様子を見ました。程度の差こそあれ比較的長期に渡ってそれなりに安定して動作しそうでした。そこで今回は3で作成し、4でパラメーターを調整したプログラムをおおよそ直近の1年間動作させていた場合、利益(あるいは損失)がどれだけ出たのか検討してみることにします。 2. プログ
Matplotlib 論文書くときに使ったやつメモ - Qiita
はじめに 論文を書くときにいろいろ調べたのですがまた書くときにまとめておくと楽なので そのまとめです 参考 https://qiita.com/rnhd/items/325d21621cfe9e553c17 https://qiita.com/okadate/items/00227316187b60f861f5 https://qiita.com/nishimuraatsushi/items/2df8542ebf97affa26fb グラフの文字系 ここがとにかく大変でした 普通times new romanを使うので よく言われているこれでやると plt.rcParams['font.family'] = 'Times New Roman' #全体のフォントを設定 plt.rcParams["mathtext.fontset"] = "stix" plt.rcParams["font.s
matplotlibで土日に線を入れる - Qiita
x軸が日付のとき、グラフの推移に曜日が関係していることがあります。 土曜日と日曜日がどの辺りなのか分かりやすいように色をつける方法を考えました。 ライブラリのインポートと、サンプルデータの用意をします。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import datetime %matplotlib inline df = pd.DataFrame() for day in (datetime.date(2018, 9, 1) + datetime.timedelta(x) for x in range(30)): df = df.append(pd.DataFrame([[day, np.random.rand()]], columns = ['date','value']), ignor
形態素解析：韓国語：その2：mecab-ko ユーザ辞書作成 - Qiita
$ sudo ./tools/add-userdic.sh path/tools generating userdic... nnp.csv path/tools/../model.def is not a binary model. reopen it as text mode... reading path/tools/../user-dic/nnp.csv ... done! person.csv path/tools/../model.def is not a binary model. reopen it as text mode... reading path/tools/../user-dic/person.csv ... done! place.csv path/tools/../model.def is not a binary model. reopen it as t
VirtualBox仮想マシン(Ubuntu16.04 LTS)でTensorflowを動かす@Windows10 - Qiita
自宅(Windows10)でどうしてもUbuntu開発環境がほしかったので構築しました。 今後Tensorflowを用いたディープラーニング系の記事を投稿していく予定です。 GPUも使えるようにしたい。 環境 Windows 10 Pro Oracle VirtualBox 5.2.18(投稿時最新版) 構築手順 VirtualBoxのダウンロード・インストール こちらのサイト[1]が非常に参考になります Ubuntu 16.04 LTS のダウンロード IOSイメージをダウンロードしてください。次のステップで使います 仮想マシンの作成・初期設定 こちらのサイト[2]で丁寧に説明しています おすすめ初期設定 VirtualBox クリップボードの共有、ドラッグ＆ドロップの設定 仮想マシンの設定 -> 一般 -> 高度 -> クリップボードの共有 -> 双方向 仮想マシンの設定 -> 一般
【Python3】MeCabでテキストファイルから名詞を頻出順に抽出 - Qiita
import MeCab import sys import re from collections import Counter # ファイル読み込み cmd, infile = sys.argv with open(infile) as f: data = f.read() # パース mecab = MeCab.Tagger() parse = mecab.parse(data) lines = parse.split('\n') items = (re.split('[\t,]', line) for line in lines) # 名詞をリストに格納 words = [item[0] for item in items if (item[0] not in ('EOS', '', 't', 'ー') and item[1] == '名詞' and item[2] == '一般'
【Python】ただひたすらにフーリエ変換【備忘録】 - Qiita
import numpy as np from scipy.fftpack import fft import matplotlib.pyplot as plt # parameters N = 2**20 # data number dt = 0.0001 # data step [s] f1, f2 = 5, 8 # frequency[Hz] A1, A2 = 5, 0 # Amplitude p1, p2 = 0, 0 # phase t = np.arange(0, N*dt, dt) # time freq = np.linspace(0, 1.0/dt, N) # frequency step y = A1*np.sin(2*np.pi*f1*t + p1) + A2*np.sin(2*np.pi*f2*t + p2) yf = fft(y)/(N/2) # 離散フーリエ変換
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
matplotlibで3次元プロットする際に3軸のスケールを揃える - Qiita
Pipenv をdockerで使うときに特定のパッケージが入らないようにしたかった。 - Qiita
dataframeをtocsv する際、errorをignoreしたい場合 - Qiita
市区町村一覧・自治体の一覧を取得する（Python） - Qiita
TensorFlow をソースからコンパイル 20180917版 - Qiita
nysol(python) vs pandas pandas より、遅いけどメモリは食わない - Qiita
Webコンテンツ抽出のvision-based手法: TextMaps - Qiita