NumPyでCSVファイルを読み込み・書き込み（入力・出力） | note.nkmk.me
NumPyで、CSV（カンマ区切り）やTSV（タブ区切り）などのファイルを配列ndarrayとして読み込むにはnp.loadtxt()またはnp.genfromtxt()、ndarrayをCSVやTSVファイルとして出力（保存）するにはnp.savetxt()を使う。 便宜上、タイトルおよび見出しではCSVとしているが、カンマ区切りに限らず任意の文字列で区切られたテキストファイルを処理できる。 最後に触れるように、ヘッダー（見出し行）を含んでいたり、数値の列と文字列の列が混在していたりするファイルの読み書きにはpandasが便利。 また、他のアプリケーションで使う必要がなければNumPy独自のバイナリ形式で保存する方が楽。以下の記事を参照。 関連記事: NumPy配列ndarrayをバイナリファイル（npy, npz）で保存 本記事のサンプルコードのNumPyのバージョンは以下の通り。バー
【機械学習】ディープラーニング フレームワークChainerを試しながら解説してみる。 - Qiita
今話題のDeep Learning(深層学習)フレームワーク、Chainerに手書き文字の判別を行うサンプルコードがあります。こちらを使って内容を少し解説する記事を書いてみたいと思います。 (本記事のコードの全文をGitHubにアップしました。[PC推奨]) とにかく、インストールがすごく簡単かつ、Pythonが書ければすぐに使うことができておすすめです！ Pythonに閉じてコードが書けるのもすごくいいですよね。 こんな感じのニューラルネットワークモデルを試してみる、という記事です。 主要な情報はこちらにあります。 Chainerのメインサイト ChainerのGitHubリポジトリ Chainerのチュートリアルとリファレンス 1. インストール まずは何はともあれインストールです。ChainerのGitHubに記載の"Requirements" ( https://github.co
pip install したパッケージをimport できないときの対応 - Qiita
環境：OSX Yosemite 10.10.3 Python : 2.7 機械学習のライブラリscikit-learnを利用しようとしたとき $ pip install -U scikit-learn （省略） Successfully installed sklearn Cleaning up... で見事インストール成功かとおもいきや $ python Python 2.7.6 (default, Sep 9 2014, 15:04:36) [GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.39)] on darwin Type "help", "copyright", "credits" or "license" for more information. >>> from sklearn import datasets Traceb
SVM(RBFカーネル)のハイパーパラメータを変えると何が起こるの? - Qiita
概要 SVM(Support Vector Machine)は分類精度の高い機械学習の手法として知られています. SVMでより高い分類精度を得るには, ハイパーパラメータを訓練データから決定する必要があります. この記事では, RBFカーネル(Gaussian カーネル)を用いたSVMのハイパーパラメータを調整することで, 決定境界がどのように変化するのかを解説します. 決めるべきハイパーパラメータ RBFカーネルを用いたSVMでは, 以下の2つのハイパーパラメータを調整します. コストパラメータ: $C$ RBFカーネルのパラメータ: $\gamma$ コストパラメータについて SVMは特徴空間に写像されたデータ点集合を分離する超平面を決定する手法です. しかし, 特徴空間上の点集合がいつも分離可能とは限りません. 例えば, 以下の図では二種類の記号を完璧に分割するような直線を引くことは
標準python、numpy、pandasを行ったり来たりするために① - Qiita
scikitlearnはnumpyしか受け付けないので、pandasでデータ加工した後numpy配列に変換する必要があるし、標準python、numpy、pandasは機能が重複していて混乱するので、まずは基礎の基礎をまとめる。 #!/usr/bin/env python # -*- coding: utf-8 -*- # インポート import numpy as np import scipy as py import pandas as pd import itertools as it ''' 作成 ''' # リスト作成 list_value = [10,11,12] list_value Out[374]: [10, 11, 12] # タプル作成 tuple_value = (10,11,12) tuple_value Out[375]: (10, 11, 12) # ディク
NMF for Topic Modeling | Derek Greene's Home
Topic modeling is a key tool for the discovery of hidden structure in large collections of documents. Probabilistic methods, such as Latent Dirichlet allocationTopic modeling is a key tool for the discovery of hidden structure in large collections of documents. Probabilistic methods, such as Latent Dirichlet allocation (LDA), are often employed by using tools such as the Java MALLET library. Howev
Matrix Factorizationとは - Qiita
Machine Learning Advent Calendarです。 普段はGunosyという会社で推薦システムを作ってます はじめに 推薦システムに関する最近の文献を読むと結構な割合で出てくるMatrix Factorizartion(MF)と呼ばれる手法があります。 ざっくり言うとこの手法は協調フィルタリングにおける次元削減を行うことでよりよい推薦を行おうという手法であり、 Netflix Prize(100万ドルの賞金が賭けられた推薦システムのコンテスト)で最も成果を上げたモデルの一つでもあります。 本記事ではこの手法を紹介していきます。 協調フィルタリング まず協調フィルタリングについておさらいしましょう。 あるサービスで3人のユーザが５つのアイテムに対して5段階評価をしたとき、その評価値を以下のようにベクトルで表すことができます。 \vec{user_{1}} = (4, 5,
matplotlibで3Dグラフを描画する - white wheelsのメモ
準備 データ処理用にnumpy、プロット用にpyplot、3次元なのでmpl_toolkits.mplot3dをインポートします。 from mpl_toolkits.mplot3d import Axes3D import matplotlib.pyplot as plt import numpy as np 描画するデータの作成 3次元で描画するにはメッシュ(2次元の網目)を作成するために2次元の配列を用意する必要があります。 まずarangeメソッドでx,yそれぞれを1次元領域で分割します。 x = np.arange(-3, 3, 0.25) y = np.arange(-3, 3, 0.25) 2次元メッシュを作成するにはmeshgridメソッドを利用します。この関数の戻り値はX,Yに対応する行列で、Xは行にxの配列を、Yは列にyの配列を入れたものになっています。 X, Y =
[Python]Matplotlibで散布図を描画する方法 - Qiita
散布図を書くにはscatterを使う。 以下にいくつかの例を示す。 単純な散布図 下記は最も単純な散布図の例。 import numpy as np import matplotlib.pyplot as plt # generate data x = np.random.rand(100) y = np.random.rand(100) fig = plt.figure() ax = fig.add_subplot(1,1,1) ax.scatter(x,y) ax.set_title('first scatter plot') ax.set_xlabel('x') ax.set_ylabel('y') fig.show() import numpy as np import matplotlib.pyplot as plt # generate data x1 = np.random.
![[Python]Matplotlibで散布図を描画する方法 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/9399a158730160e75281d6b272eb25e93f6e2167/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCUHl0aG9uJTVETWF0cGxvdGxpYiVFMyU4MSVBNyVFNiU5NSVBMyVFNSVCOCU4MyVFNSU5QiVCMyVFMyU4MiU5MiVFNiU4RiU4RiVFNyU5NCVCQiVFMyU4MSU5OSVFMyU4MiU4QiVFNiU5NiVCOSVFNiVCMyU5NSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NDhlMDcyZWY5MjMyMzcwYzFkOWEyODVkM2U1MjI1NjU%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwc3VwZXJzYWlha3VqaW4mdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTNhYWU4OGExODAwZGJlZjhjNzJjZDEzY2NiMDk5NjE2%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Db033c3f629614d19baf3a1461d58cbf9)
Pythonデータ分析系ライブラリのインストール Windows / Mac - Librabuch
PyCon JP 2014 チュートリアル「PyData入門」のお知らせ | Librabuch 上記のエントリで告知した通り、2014年09年12日（金）に行われるチュートリアルの講師を務める御縁を頂いています。29枚あったチケットは完売のようで、若干プレッシャーの高まりを感じる今日この頃です。 さて、チュートリアル開催にあたり、利用するライブラリ群のインストール方法をOS毎に確認していたのでこちらにも備忘録として残しておきます。（参加者の方々には専用経路で別途ご案内差し上げます） 導入手順 共通 Windows版 Mac版 動作確認 導入したいもの 今回導入したいライブラリは下記の通りです。 NumPy Scipy Pandas scikit-learn matplotlib IPython 共通手順 Python3.4.1をインストールしてPATHを通しておきます。（手順問わず） p
Pythonの機械学習・数値計算環境 (NumPy, SciPy, matplotlib, scikit-learn) をWindowsにインストール
2015-07-15 Tech Python Tech 機械学習 Pythonの機械学習・数値計算環境 (NumPy, SciPy, matplotlib, scikit-learn) をWindowsにインストール はコメントを受け付けていません。 あることをきっかけに機械学習に触れてみることになりました。 私の開発環境は OS が Windows 7 (64bit) です。 今回は Python 2.7 をインストールしようと思います。 Python の機械学習ライブラリ (具体的には、NumPy, SciPy, matplotlib, scikit-learn) をインストールするのに 何回かつまずいたので、自分が後々いつか再構成できるように環境構築をメモしておきます。 この記事を読まれた方の参考にもなれば幸いです。 インストール原則 大事です。これを守らないと大体失敗します。私は何
Numerical Python
NEWS: NumPy 1.11.2 is the last release that will be made on sourceforge. Wheels for Windows, Mac, and Linux as well as archived source distributions can be found on PyPI. Numerical Python adds a fast and sophisticated array facility to the Python language. NumPy is the most recent and most actively supported package. Numarray and Numeric are no longer supported.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.as_matrix.html
Jupyter Notebook Viewer
Principal components analysis using pandas dataframe