CSVから行列データを読み込んで行列計算、結果を書き出す - Qiita
import numpy as np import pandas as pd import csv '''CSVファイルの読み込み''' csvdata = pd.read_csv("./test_data.csv", header=None) csvdata2 = pd.read_csv("./test_data_2.csv", header=None) '''CSVから読んだデータをnumpyの行列に入れる''' myarray = np.array myarray2 = np.array myarray = csvdata.values myarray2 = csvdata2.values print(myarray) print(myarray2) '''行列の掛け算''' result = myarray * myarray2 print(result) '''結果の行列をCSV
GoogleColaboratoryで、Seleniumで株式チャートをスクレイピングし、CNNでN日後の株価予測する - Qiita
GoogleColaboratoryで、Seleniumで株式チャートをスクレイピングし、CNNでN日後の株価予測する 概要 チャートを見て株取引している人がいるので、チャート画像から株価が予測できるのでは？って思ったのでやってみます。 結論から言うと、5日後の予測で60％前後の正解率になり、予測できたとは言えませんでした。。。 でも、「Seleniumを使て画像をスクレイピングする」ってことができたので、よかったかなと思います。 環境はGoogleColaboratoryを利用します。 チャート画像、翌日株価(CSV)のスクレイピングには、Seleniumを利用します。 WebDriverは、PhantomJSを利用します。（サポート廃止っぽいが動きました。。。自己責任でお願いします） 株式チャート画像から、N日後の株価を2クラス（上がったか、下がったか）で分類し予測します。 銘柄は日経
形態素解析：韓国語：その1：mecab-koをインストール - Qiita
韓国語を形態素解析したいけど、 何がいいかなと探していたところ、mecab韓国語版を見つけました。 というのはもう2年前の話なのだが、それはさておいて。 mecab-koとは mecabを韓国語の形態素解析用に多少コードを改変しているようです。 Bitbucketにて公開されています。 https://bitbucket.org/eunjeon/mecab-ko/src/master/ 何をどう改変したのかはコミットログを見て、、、も、私は分かりません （README読む限りでは、空白文字の扱いが違うっぽい） インストール ひとまずMacbook Airにインストールします。 mecab-ko本体をインストール 韓国語用辞書をインストール mecab-ko本体をインストール Macであれば、homebrewであっさりインストールできます。 といってもREADMEにソースコンパイルの手順書い
ポッドキャストを再生するAlexaスキルを公開したので知見を公開する（予告編） - Qiita
2017年に Amazon Echo を手に入れた当初から いつも聴いているPodcastがEchoで聴けるようになった最高だけど、自分でSkill実装したら実現できるのかな？ — snaka (@snaka) 2017年12月2日 と思っていて、この7月末ごろからAlexスキル開発はじめてやっとストアへの公開にこぎつけたのでその知見を少しづつ公開していこうと思う。1 システム構成 ポッドキャストを再生する Alexa スキルは以下のようなシステム構成となっている 当初は Lambda 1個でフィードの取得からそのフィードからURLを取り出して Echo にレスポンスを返すのまでやっていたが、ポッドキャストによってはフィードの読み込みに4～6秒程度待たされることがあり、無音状態で数秒待たされるとかなり不安になることがわかった。 そこで、フィードの取得とリクエストに対して音源のURLを返す部
Alexaスキルのポリシーガイドライン（第三者の知的財産権）に対応する - Qiita
「ポッドキャストを再生するAlexaスキルを公開したので知見を公開する」シリーズの最初はポリシーガイドラインについて。 システム構成等は予告編を参照 スキル公開の前に立ちはだかる壁 Alexa スキルを公開するには、まずスキル審査に合格しなければならないが、そこには大きな壁が存在する。 それは、Alexaスキルのポリシーガイドラインだが、第三者が公開しているポッドキャストを再生するスキルについては「1.商標、知的財産、およびブランド」に記載されている以下の要件をクリアしなければならない。 スキルに商標、知的財産、ブランドを法的に使用する権利がある場合、そのスキルの認定を申請する際に、これらを使用する許諾を得ていることを示し、明示的に証明する必要があります。開発者ポータルの公開ページのプライバシーとコンプライアンスの項目にあるテストの手順を使用してこの情報を提示してください。必要に応じて、知
2018年9月第1週 今週気になった記事まとめ - Qiita
今週気になった記事まとめ ■ノッチすらない真のベゼルレスのためにカメラユニットが飛び出す変態スマホ「OPPO Find X」レビュー、スマホ技術の最先端を体感してみた https://gigazine.net/news/20180904-oppo-find-x/ 開発機としてベゼルレスに近い端末を触ることはあるけれど、画面が大きいメリットよりも操作面でのデメリットが多いので正直良い印象が無い。 この端末も色々と操作面では不都合なことが多そうだし、ベゼルレスが増えてる流れとニーズは一致しているのだろうか・・・？ ■どこでもタイピングできる! ウェアラブルなキーボード「TAP」が斬新 https://techable.jp/archives/82744 パッと見は良いじゃんと思ったんだけど、文字ごとにアクションが変わるってのはすげぇ大変なんじゃ・・・。 ■言語表現に関して 世界の見方が変わる5
Scikit-learnでオートエンコーダーっぽいものを実装してみる - Qiita
はじめに 色々とセミナーをさせて頂くことが多くなり、特にAI関連技術のセミナーではあまり知らないで話をしていると、実は間違っていました...なんてことになりかねない。 ということで、勉強のためにAutoEncoderをScikit-learnで実装してみたので、その手順を以下にまとめます。 データセット 手書きの数字データがScikit-learnに用意されているのでこちらを利用します。 読み込んだら、いくつかの画像を表示して、どんな感じか確認します。 from sklearn.datasets import load_digits import numpy as np import matplotlib.pyplot as plt %matplotlib inline dig = load_digits() for i in [10, 230, 450]: npimg = np.arra
データサイエンス初心者のメモ[1日目] - Qiita
概要 共同研究のアルバイトでデータサイエンスっぽいことをすることになったので，忘れないようメモとして残すことにします． 企業さんから（詳しくは書けませんが）あるデータログを頂きました．それに対して処理を行っていきます． jupyter-notebook Jupyter-notebookを使おうと思います． 自分はanaconda環境を使用しているので， conda install jupyter でJupyter-notebookをインストール．使用したいディレクトリに移動して jupyter notebook でWebブラウザからPythonのプログラムを実行できるツールが立ち上がる． 画面右上にある[New]のボタンから[Python3]を選択して準備完了． あとはセルにコードを書いて，[Shift]+[Enter]で実行可能． パッケージ Pythonを使ったデータ解析，操作でよく使
![データサイエンス初心者のメモ[1日目] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b2650220080c46e11b5a66f018b8c9d46acd938c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRmF2YXRhcnMwLmdpdGh1YnVzZXJjb250ZW50LmNvbSUyRnUlMkYyNjg2NDQ1NSUzRnYlM0Q0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1lMTUyNDY0ZTBjMDU0N2Q4MWY0N2EwYjM0YjFkOTg5Yw%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D84a2ec23c19bade13f99bc98aa348249%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgyJUI1JUUzJTgyJUE0JUUzJTgyJUE4JUUzJTgzJUIzJUUzJTgyJUI5JUU1JTg4JTlEJUU1JUJGJTgzJUU4JTgwJTg1JUUzJTgxJUFFJUUzJTgzJUExJUUzJTgzJUEyJTVCMSVFNiU5NyVBNSVFNyU5QiVBRSU1RCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTNjMjdiYWY2NGZlODQzZWNhOTAwNDIyYzk4ZTdiNzYy%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBrYXdhaXkmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz04N2YwNTJkYzFjMjdkOGFiZDdhMjYzODc4NjlkYmUwYw%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D379e2baee1fa1d164db473cd64e11f68)
Chainerで画像の一部をメモリにキャッシュして高速化を図るDatasetを作った - Qiita
はじめに モデルを訓練する際に，MNIST程度の画像サイズと枚数のデータセットであれば最初にすべてメモリに読み込むことができるので高速にイテレーションを回すことができます。 しかし，自前のそれなりに大きいサイズと枚数の画像データセットでモデルを訓練しようとすると，データがすべてメモリに乗り切らなくなってしまうことがよくあります。 ChainerのImageDataset Chainerには自前の画像データセットを扱うためにImageDataset, LabeledImageDatasetなどのクラスが用意されています。 これらのクラスは画像のパスやラベルだけを保持しており，画像データ自体はイテレータなどからget_example()が呼び出されるたびにその都度読み込まれます。 そのため，メモリに乗り切らないような大規模なデータセットも扱うことができますが，画像を参照するたびに読み込みのオー
ModelCheckPointのepoch数を変更する - Qiita
開発環境 jupyterとDockerを使って、Kerasで学習してます。 問題だったこと モデルをロードしてさらに学習させたいけど、エポック数が0からになって上手く保存できない！ 100epoch学習したあと追加で100epoch学習させたい！ という時にどうしたら良いかわからずハマってしまったのでその解決策 保存されるファイル名を変化させる さて、早速本題です. どうすればファイル名の{epoch:02d}部分を変更させることができるのか. 答えは簡単！ model.fitメソッドに引数として 'initial_epoch' を追加すれば良いです. これだけで学習が101epoch目から始まるようになります. モデルをloadしなくなった時にはinitial_epochを0に戻すように気をつけましょう. コールバックとは 学習と一緒に使うと効果的なのが、ModelCheckPointや
ubuntu18.04でTensorFlow-gpuを動かす - Qiita
ubuntu18.04でTensorFlow-gpuを動かすまでの環境構築記事です。 まっさらな環境で導入した際の手順なので、会社や学校、個人で新しく機械学習環境を作る方に役立つ記事だと思います。 それでは、Nvidia driver, CUDA, cuDNN, Anaconda, TensorFlow-gpuを順に導入していきます。 実施環境 Ubuntu 18.04 LTS 日本語 Remix NVIDIA Geforce GTX 1050Ti Ubuntuのインストール 割愛しますが、参考リンクを載せておきます。 参考：[/homeを残して、Ubuntu 16.04LTS をクリーンインストールする] (https://qiita.com/hkuno/items/52ef4a300262a51f982e) 公式インストーラー：Ubuntu 18.04 LTS 日本語 Remix リリ
Python Twitterからツイートを取得してテキスト分析(wordcloudで見える化) - Qiita
本投稿の内容 pythonでtwitterのつぶやきを取得してその内容を見える化します。 Twitterのツイートデータをtweepyを使用して取得してテキストに出力 MeCabを使用して形態素解析を行い、名詞、動詞、形容詞の単語を抽出してデータ分析(Wordcloudで見える化) Twitterの検索キーワードは 7月27日に開催された「Oracle Innovation Summit Tokyo 2018」のつぶやき ハッシュタグ「#oracleinnovation」を検索しました。 （7月27日にtwitterのデータは取得していたのですが、トラブル対応等で忙しかったので投稿がおくれました。。） 事前準備 準備は以下の４つを実施 １．Twitter APIを使用するためのアカウント申請と「Consumer API keys」、「アクセストークン」の取得 ２．tweepyのインストール
【Python入門】Pythonで便利なライブラリ(numpy,pandas,matplotlib)をインストール後、pyファイルの中で使えるようにするまで(macOS編) - Qiita
なんのために共有するか？ ども！Masaです。 正直、初心者としては「コマンドラインいじるの！？…怖い…」「え、元に戻らなくなったらどうしよう…」みたいな不安があるとおもうんす。 そういう不安をへらすために得た知識・体験したものを共有します！ 疑問が解消されたり、不安が少しでも減ったら 左のいいねボタンをポチッとお願いします！ この記事でできるようになること、できないこと ・できること Pythonで便利なライブラリ(numpy,pandas,matplotlib)をインストール後、pyファイルの中で使えるようにimportしてサンプルコードを動かすことができるようにするところまで。 ・できないこと それぞれのライブラリの詳しい使い方 どんなライブラリをインストールしておきたいか？ とりま3つのライブラリ！ pandas -> 下2つと連携してデータ分析を支援。read_csvとread_
ChainerRLでブロック崩しを学習する - Qiita
CSGAdventCalendar最終日です。 ChainerRLを使ってブロック崩しの学習をさせるチュートリアルをやりました。 実装はGoogleColaboratoryを使いました。 ChainerRLとは Chainerを使って実装していた深層強化学習アルゴリズムを”ChainerRL”というライブラリとしてまとめて公開したもの。 以下のような最近の深層強化学習アルゴリズムを共通のインタフェースで使えるよう実装している。 Deep Q-Network (Mnih et al., 2015) Double DQN (Hasselt et al., 2016) Normalized Advantage Function (Gu et al., 2016) (Persistent) Advantage Learning (Bellemare et al., 2016) Deep Deter
フォルダ内の画像を全部まとめてNumpy配列にしてnpyで保存 - Qiita
表題そのままのスクリプトです VGG16とSVMを使った判別機を作る際に使用したものの一部を切り取り、単独で機能するようにしました 動作概略 1)img2ndarray.pyと同じフォルダ内に保存された画像ファイルを読み込み 2)画像サイズを224x224にリサイズ後、Numpy配列化 3)**[npy]**ファイルとして保存 動作確認環境 python3.6.6 Tensorflow:1.10.0 Keras：2.2.2 スクリプト全体 import glob import numpy as np from keras.preprocessing.image import load_img,img_to_array # image array size img_size = (224,224) # load images Folder dir_name = 'test1' # File
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
D3 でヘキサゴン - Qiita
データサイエンス初心者のメモ[2日目] - Qiita![データサイエンス初心者のメモ[2日目] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/cb2e4aa15eaab65356960966b32be5756df1dffe/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRmF2YXRhcnMwLmdpdGh1YnVzZXJjb250ZW50LmNvbSUyRnUlMkYyNjg2NDQ1NSUzRnYlM0Q0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1lMTUyNDY0ZTBjMDU0N2Q4MWY0N2EwYjM0YjFkOTg5Yw%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D84a2ec23c19bade13f99bc98aa348249%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JUUzJTgzJTg3JUUzJTgzJUJDJUUzJTgyJUJGJUUzJTgyJUI1JUUzJTgyJUE0JUUzJTgyJUE4JUUzJTgzJUIzJUUzJTgyJUI5JUU1JTg4JTlEJUU1JUJGJTgzJUU4JTgwJTg1JUUzJTgxJUFFJUUzJTgzJUExJUUzJTgzJUEyJTVCMiVFNiU5NyVBNSVFNyU5QiVBRSU1RCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPWU2YTIxNGJiMzk3NzcxOWZhNWU4YWNiZDRhYWRhNzFk%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBrYXdhaXkmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz04N2YwNTJkYzFjMjdkOGFiZDdhMjYzODc4NjlkYmUwYw%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dab684df13b25f0e54d2957af57e2ec0b)
DeepLab v3+でオリジナルデータを学習してセグメンテーションできるようにする - Qiita
matplotlibで描画する方法 - Qiita
D3.jsのSelectionとDOMのSelection