【Pythonメモ】pandas-profilingが探索的データ解析にめちゃめちゃ便利だった件 - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
PiCameraとKerasで物体認識 - Qiita
Keras動かせたから何かそこらにあるものを対象にできないかと、Raspberry Piの純正カメラモジュールを使って、定番の画像分類をやってみた。 RasPi OneでTensorflow/Kerasを動かす。で使ったKerasのClassify ImageNet classes with ResNet50にPicameraの出力を渡しているだけです。 カメラモジュール: PiNoIR Camera Module オリジナルのものです。今はVer.2になってます。 ## サンプルコード import io import time import picamera import picamera.array import cv2 from keras.applications.resnet50 import ResNet50 from keras.preprocessing.image im
[Keras/TensorFlow] KerasでTensorBoardの利用 - Qiita
目的 ゼロからKerasとTensorFlow(TF)を自由自在に動かせるようになる。 そのための、End to Endの作業ログ(備忘録)を残す。 ※環境はMacだが、他のOSでの汎用性を保つように意識。 ※アジャイルで執筆しており、精度を逐次高めていく予定。 環境 Mac: 10.12.3 Python: 3.6 TensorFlow: 1.0.1 Keras: 2.0.2 To Do Keras(Tensorflow)の環境構築 KerasでMINSTの学習と予測 KerasでTensorBoardの利用 <---いまココ Kerasで重みファイルの保存/読み込み Kerasで自前データの学習と予測 Kerasで転移学習 参考 流れ TensorBoardを表示されるためには、モデルを学習した時に出力されるlogファイルが必要になる。そのため、log用ディレクトリの作成とサンプルスク
![[Keras/TensorFlow] KerasでTensorBoardの利用 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/405852bdc9ee493d1e75c006b7e82ad7edcc8952/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTc1MDkyJTJGcHJvZmlsZS1pbWFnZXMlMkYxNDkxOTY1NTQzP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1mYzdmZGQxOTY1YzRlY2I2OTA3YjIxMWY2OGE3YjZhMQ%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D087cc3613eb2eb54bed820b66db40323%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCS2VyYXMlMkZUZW5zb3JGbG93JTVEJTIwS2VyYXMlRTMlODElQTdUZW5zb3JCb2FyZCVFMyU4MSVBRSVFNSU4OCVBOSVFNyU5NCVBOCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1wYWQ9MCZzPTg1MzhmMWZjN2NiNDFiMmEyZTM1N2U1MTdjYzM1NzEy%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBhZ3Vtb24mdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz01MmU1MGE3NmNjYzA3NDFlMmQ0ZjQwMzQwNWU2MzgyZA%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dff0596909c813d809dc49198d986d2d3)
TensorFlow.jsでMNIST学習済モデルを読み込みブラウザで手書き文字認識をする - Qiita
先日行われたTensorFlow Dev Summit 2018の「Machine Learning in JavaScript」で、Webブラウザ上で実行可能な機械学習ライブラリとしてTensorFlow.jsが公開されました。 そこで、素振りがてらにこんなものを作ってみました。 これは、手書き数字識別のトレーニング済モデルをTensorFlow.jsで読み込むことで、Webブラウザ上で書いた数字が0~9のどれかを予測しています。 主なフロー TensorFlow or Kerasで学習済みモデルを作成 tensorflowjs_converterでTensorFlow.jsで読み込める形に変換 TensorFlow.jsで変換済モデルを読み込んで推論を実行 今回はKerasを使用した方法を紹介していますが、TensorFlowの場合も同様なフローになります。 具体的には、1で出力するフ
Alexaスキル作成からスキル申請までの方法 - Qiita
ユーザー：「アレクサ、とっさの英語を開いて。」 アレクサ：「とっさの英語をご利用いただき、ありがとうございます。とっさの英語は、 英語学習用のスキルです。私の発音を真似て、リピートアフターミーして ください。船に対するの呼び掛け、おーい。（1秒の間）アホーイ。」 ユーザー：「アホーイ。」 アレクサ：「はくしょん、くしゃみ。（1秒の間）アチュー。」 ユーザー：「アチュー。」 アレクサ：「わかった、なるほど。（1秒の間）アハ。」 ユーザー：「止めて。」 アレクサ：「スキルの終了を受け付けました。 」 基本的には、ユーザーの発話（Request）に対し、Alexaが応答（Response）するかたちでトークが進みます。 このRequestとResponseの仕組みが理解できれば、自由に音声会話をデザインできるようになります。このような考え方を VUI（ボイス ユーザ インターフェース）設計と呼び
ssd-kerasをターミナルで動かす - Qiita
はじめに オブジェクト検出のアルゴリズムのSSDをkerasで実装したリポジトリがあります。 rykov8/ssd_keras こちらにはJupyter用のサンプルコードがありますが、ターミナルですぐ動かせるコードがなかったため、 Jupyter用のサンプルコード(SSD.ipynb)を参考に作成しました。 コード import cv2 import keras from keras.applications.imagenet_utils import preprocess_input from keras.backend.tensorflow_backend import set_session from keras.models import Model from keras.preprocessing import image import matplotlib.pyplot as
【翻訳】scikit-learn 0.18 User Guide 4.2 特徴抽出 - Qiita
4.2.1. dictsからの特徴量のロード クラスDictVectorizerは、標準のPython dictオブジェクトのリストとして表される特徴量配列を、scikit-learn推定器で使用されるNumPy / SciPy表現に変換するために使用できます。 特に処理が速いわけではありませんが、Pythonのdictには、使いやすく、疎である（存在しない特徴を格納する必要はありません）、値に加えて特徴名を格納できるという利点があります。 DictVectorizerは、カテゴリ（または、名目、離散値）に対して、1対1のコーディングまたは「ワンホット」コーディングを実装ます。カテゴリ属性は、値に順番のない離散性のリスト（トピック識別子、オブジェクトのタイプ、タグ、名前など）に制限される「属性 - 値」のペアです。 以下では、「city」はカテゴリ属性であり、「temperature」は従
フラッシュニュース向けのAlexa Skillを作る - Qiita
フラッシュブリーフィングスキルとは Alexa Skillには対話形式のスキル以外にも幾つかの種類のスキルがあります。フラッシュブリーフィングスキルは設定＞フラッシュニュースに追加できるニュースのスキルです。会話の応答のような対話はできず一方的に音声を流すだけですが、フラッシュニュースに追加すると 最新のニュースを流して などと話しかけるだけでNHKラジオニュースや天気予報と一緒に音声情報を流すことができます。 スキルの作り方 Amazon Alexa のDeveloperサイト でAlexaスキルを作成する時に フラッシュブリーフィングスキルAPI を選びます。 各選択肢については [スキルの種類について] (https://developer.amazon.com/ja/docs/ask-overviews/understanding-the-different-types-of-sk
データ分析で頻出のPandas基本操作 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最
mecab を便利に利用するためのtips - 高度なKWICをスクリプト無しで実現する - - Qiita
TD;LR mecab標準のフォーマットは少し扱いづらい 出力フォーマットを弄ろう！ 表層系+品詞の組み合わせができるようになり幸せ mecabのデフォルトの出力形式は使いづらくないですか？ 前回の投稿の複数の形態素解析を一度に見るコマンドを作った話に引き続き, 形態素解析器の利用に関するtipsです. 形態素解析と言えば, mecabを使われている方が非常に多いかと思います. 企業利用だと, 製品への組み込みやすさから kuromojiを使ってる方も多いでしょうか？ kuromojiを使ったことはないですが mecabを使っていて思うことは, "標準の出力形式扱いづらくない？"ということです. よく利用するのは, 僕は__単語分割(分かち書き)と__品詞取得, __活用形の原形化__ぐらいなものなのですが 標準の出力形式だと, どうしても後段の処理で扱いづらいです. ある問題に対する分析
Keras(theano)によるNeuralFingerprintsの実装 - Qiita
概略 David Duvenaud et al, "Convolutional Networks on Graphs for Learning Molecular Fingerprints", NIPS 2016(https://arxiv.org/abs/1509.09292) をKerasを用いて実装しました ソースコード[https://github.com/mpozpnd/NeuralFingerprint-Keras] 化合物のベクトル化 機械学習を用いて、化合物のデータから化合物のなんらの物性を予測をしたいということがあります。 たとえば創薬において、ウェットな実験によって既に所望の薬剤としての性質の有無が分かっている化合物のデータによって学習モデルを構築し、新規の化合物について薬剤としての性質を持つかどうか予測をする、というタスクがあります。 なぜ学習ができるのかというと、「
コピペから脱却して自由に Deep Learning するための TensorFlow 再入門 - Qiita
はじめに TensorFlow はなかなかとっつきにくい部分があるかと思います。書き方が独特なので、慣れるまでに時間がかかるかと思います。公式の MNIST は一通りやったけど、自分で考えたディープニューラルネットワーク (DNN) をどう書いたらいいかわからない……なんてこともあるのではないでしょうか。 この記事では、シンプルな問題を題材にして、 TensorFlow をコピペに頼らず、自分の書きたい DNN を 低レベル API を使ってどのように書くかを最小構成で説明していきます（今さら感はありますが。。）。ベースは公式ドキュメントの Low Level APIs のあたり です。 内容としては： TensorFlow の最小構成要素 TensorFlow で線形関数のフィッティング TensorFlow で DNN を実装 のようになっています。また、以下のような方を対象としており
kerasでtensorboardの表示とmodelの保存 - Qiita
環境 ubuntu: 17.04 python: 3.6 keras: 2.0.8 tensorflow: 1.3.0 tensorflow-tensorboard: 0.1.5 実装 tensorboard用callbackの指定 model.fit()のcallbacks引数に、keras.callbacks.TensorBoard()を指定する また、histogram_freqを指定する場合はvalidation_data引数が必要になる 具体的には以下のようにする tb_cb = keras.callbacks.TensorBoard(log_dir=log_filepath, histogram_freq=1, write_graph=True, write_images=True) model.fit(x_train, y_train, epochs=20, batch_si
Solr5.4のログの設定 - Qiita
Solr 5.4 の環境構築で、ログ周りの設定が意外につまったので、整理としてのメモ。 ログの種類 おおむね、次の三つ gcログ solr本体 jetty（アクセスログ） アクセスログは標準では出力されないですし、大体の場合は不要でしょうが、solr 3.x 以前はtomcatにデプロイした形だとtomcatのアクセスログがあったので、それも残しておきたいケースもあるかと思い、あわせてとりあげます。 起動時の設定ファイル 公式サイトにあるように、インストールスクリプトでやったものとします。 https://cwiki.apache.org/confluence/display/solr/Taking+Solr+to+Production#TakingSolrtoProduction-Logsettings /etc/init.d/solr が起動スクリプトで、その中のSOLR_ENVに指定
pandas DataFrame内にNaNありますか？ - Qiita
ちょっと探して見つからず、何とかかんとかして出し方わかったのでメモ。 お題は「pandas DataFrame内にNaNありますか？」 データがちゃんと処理されているかの簡易的なチェックとして、データフレーム内にNaN値あるか、それがどこにあるか調べたい。 NaNを埋めたい/消したいならfillna()/dropna()使えばいいのだけど、今ここでやりたいのは**「NaNがあるか調べて、その行(列)を表示すること」** 例として、このデータフレームの2-4行目、または1-3列目だけを抜き出したい。 df=pd.DataFrame(np.random.randn(5,5)) df.ix[2:, 1:3] = np.nan df.columns=list('abcde') df # [Out]# a b c d e # [Out]# 0 -0.678873 -1.277486 -1.06223
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pandasのDataFrameの複数列を同時にastypeで型変換 - Qiita
Elasticsearch Analyze APIでkuromoji形態素解析を試す - Qiita
Parcelで始めるTensorFlow.js (ブラウザ/Node.js) - Qiita
[Python] pandasを使ってcsvファイルの読み込み - Qiita![[Python] pandasを使ってcsvファイルの読み込み - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/3d702e24bcfb944526addd550fea68b79744aba0/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTcyMTIzJTJGcHJvZmlsZS1pbWFnZXMlMkYxNTA2Mzk5MjEwP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPWMwYzVmNTNjODI3Yzk1MGQxZWJjNmM1ZDdlYjhmNmVm%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D450db591efda2355c401a608f341b629%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwcGFuZGFzJUUzJTgyJTkyJUU0JUJEJUJGJUUzJTgxJUEzJUUzJTgxJUE2Y3N2JUUzJTgzJTk1JUUzJTgyJUExJUUzJTgyJUE0JUUzJTgzJUFCJUUzJTgxJUFFJUU4JUFBJUFEJUUzJTgxJUJGJUU4JUJFJUJDJUUzJTgxJUJGJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9NjljMmNlZjc0ODgxODVjNDE4NzZlMzY1ZDNkYzk3Y2E%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBmX2thenFpJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9M2RkMzY1MTRhM2ZiZjdiZmZkZTNhZDdhNDQ5NTI3Nzc%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Db36b9c4a1c2e16420dd4c56e9a134463)
scikit learnより k近傍法をpythonで実装 - Qiita
