Pandasを使ったデータ操作の基本 - ぴよぴよ.py
データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ 【追記】2017/07/31 0:36 データが一部間違ってたので修正しました Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データのカラム 行列から必要な列(カラム)を取り出す 条件にマッチするデータを取り出す 1. DataFrame.queryで取り出す True/FalseのSeries型を指定し、Trueの行だけを取り出す 追記(2017/12/14) 行列から必要な行番号を指定してを取り出す グループ分けと集計 新たな列を追加する 固有値を追加する 他の列を加工して新たな列を作る 他の複数列を加工して新
複雑に絡んだ要因を論理の力で解きほぐす／PythonとJupyter でブール代数アプローチをやってみた
計算は、慣れない人のアタマには負担だが、規則通りに進めていけばいいという利点がある。 たくさんの要素を扱ったり、複雑に込み入った推論を進めることもまた、人には負担の大きい作業だが、計算の形に変換することができれば、途中過程を規則的な繰り返し作業に置き換えることができる。たとえば機械に手伝ってもらえる。 今回、紹介するのは、数値化／統計的処理が難しい事象や、質的研究について、計算＝演算の力を導入するとどんなことができるかという一例※である。 ※ 続くかどうかわからないが Sociology on Pythonシリーズの第一弾でもある。 ブール代数アプローチ(boolean algebra approach) ブール代数アプローチは、 Ragin(1989)によって、真理表とブール代数に依拠した比較分析の手法として、質的比較分析(Qualitative Comparative Analysi
numpyのargsortの動き - sohatach's blog
Pythonによるデータ分析入門――NumPy、pandasを使ったデータ処理 を読んでいて、よくわからなかった箇所があったのでメモ。 numpyのargsort()の動きについてです。 http://docs.scipy.org/doc/numpy/reference/generated/numpy.argsort.html >>> x = np.array([3, 1, 2]) >>> np.argsort(x) array([1, 2, 0]) ドキュメントによれば、argsort()は、ソート結果の配列のインデックスを返すとのことのようですが、 これの意味が当初よくわからなかったので実際に動かして確認してみました。 もとの配列は、[3, 1, 2]となっており、それぞれのインデックスは、 左から0(対応する値は3), 1(対応する値は1), 2(対応する値は2)となります。 対応が
NumPy 配列の基礎 — 機械学習の Python との出会い
NumPy 配列の基礎¶ ここでは，NumPy で最も重要なクラスである np.ndarray について， 本チュートリアルの方針 の方針に従い，最低限必要な予備知識について説明します． np.ndarray は， N-d Array すなわち，N次元配列を扱うためのクラスです． NumPy を使わない場合， Python ではこうしたN次元配列を表現するには，多重のリストが利用されます． np.ndarray と多重リストには以下のような違いがあります． 多重リストはリンクでセルを結合した形式でメモリ上に保持されますが， np.ndarray は C や Fortran の配列と同様にメモリの連続領域上に保持されます． そのため，多重リストは動的に変更可能ですが， np.ndarray の形状変更には全体の削除・再生成が必要になります． 多重リストはリスト内でその要素の型が異なることが許
Pythonの数値計算ライブラリ NumPy入門
Scientific Computing Tools For Python — Numpy NumPy は Pythonプログラミング言語の拡張モジュールであり、大規模な多次元配列や行列のサポート、これらを操作するための大規模な高水準の数学関数ライブラリを提供する。(via Wikipedia) これまで知識があいまいだったNumPyについて、もう一度おさらいしたいと思います。NumPyはSciPyと併せて科学技術計算でよく利用されています。また、高速に行列演算ができるのでOpenCV(コンピュータビジョンライブラリ)でもNumPyを利用したPythonインタフェースが提供されるようになりました。 OpenCVのPythonバインディングについては去年のエントリーでも取り上げていますので参考までに。 * さくらVPSにOpenCVをインストールしてPythonから使う [2017/04/2
csv/tsvファイルの読み書き - numpyメモ | mwSoft
概要 loadtxtとgenfromtxtでファイルからデータを読み込む。 個人的に他の言語で出力し他ファイルと連携して使うことが多いので、このあたりの処理はよく使う。 csv/tsvの読み込み csv読み込み。 import numpy as np data = np.loadtxt("foo.csv",delimiter=",") ヘッダ行を飛ばす。skiprowsを指定。 data = np.loadtxt("foo.csv",delimiter=",", skiprows=1) tsvの読み込み。 data = np.loadtxt("foo.tsv",delimiter="\t") 列を指定して読み込み。usecols指定。下記は1,2,4列目を読む。 data = np.loadtxt("bar.csv",delimiter="\t", usecols=(0,1,3)) loa
高速数値計算ライブラリ「Numpy」覚書き - Pashango’s Blog
Pythonで一番有名で普及しているライブラリと言っても過言ではない「Numpy」の覚書きです。かなり多機能な数値計算ライブラリで、内部はC言語で記述されているため超高速に動作します。 ベクトル ベクトルの長さ＆正規化 import numpy a = numpy.array([[2,2]]) #ベクトルの長さ length = numpy.linalg.norm(a) #length=>2.8284271247461903 #ベクトルの正規化 a / numpy.linalg.norm(a) #=>array([[ 0.70710678, 0.70710678]]) 内積＆外積 import numpy v1 = numpy.array((1,0,0)) v2 = numpy.array((0,1,0)) #内積 numpy.dot(v1,v2) #=> 0 #外積 numpy.cros
機械学習のためのPythonの基礎「NumPy」を学ぶ - learning.ikeay.net
機械学習といえば「Python」です。なぜPythonなのかというと、数値演算や機械学習に関するライブラリがたくさん揃っているからだそう。行列がとても扱いやすいNumPy、グラフ描画が簡単にできるmatplotlib、機械学習のscikit-learnなどなど… 機械学習ではこの３つのライブラリを大いに活用します。 まずは今回はscikit-learnを使った機械学習ではかなり重要になってくる「NumPy」を学びます。 私はPythonもはじめてなのでまずはPythonの概要を把握しつつ、「100 numpy exercises」というNumPyを基礎から学べる問題集を写経して学習したいと思います。 環境構築 まずは環境構築です。詳しくは下記のリンクに飛んで確認いただきたいのですが、Macの場合は、Pythonのバージョン管理システムである「pyenv」と、分析環境を構築するのに便利な「A
Pythonでのデータ分析初心者がまず見るべき情報源のまとめ - Qiita
データ分析言語としてデータサイエンスの世界での存在を日々増している(と言われる)Python。 Pythonでのデータ分析、特にPandasの使い方についてまとめてみました。 ・Rユーザーの方がPythonを使いたい場合には特に有用だと思います。 ・基本的なデータハンドリングの方法に主眼をおいています。 RユーザーがPandas,Numpyを使う場合の早見表 【Slide Share】Python for R uses Rで使う記法をPythonで再現するにはどうしたらいいかの 比較早見表が列記されており、RでやっていたことをPythonでやろうと 思ったらかなり有用だと思います。 http://www.slideshare.net/ajayohri/python-for-r-users 【Pandas Official】Pandas -comparison with R 上記と同様、Rで
回帰分析I：回帰分析って何？ から、最小二乗法、モデル評価、妥当性検討の実際まで
回帰分析I：回帰分析って何？ から、最小二乗法、モデル評価、妥当性検討の実際まで：ITエンジニアのためのデータサイエンティスト養成講座（6）（3/3 ページ） 手順4：モデルの修正：より精度の高いモデルを検討する 前述の3つのポイントからの評価からもモデル（1）でも十分精度のよいモデルだと判断されることがお分かりいただけたと思いますが、もっと精度の高いモデルを作ってみたいと思います。 グラフ2を見ると、身長が低いときの体重の増加量よりも身長が高くなってからの体重の増加量の方が大きく、身長と体重との関係は直線ではなく曲線と仮定することもできます。 確かに“体積は長さの3乗に比例して大きくなる”ということと“重さは体積に比例する”という、物理的な法則を身長と体重の関係に関して当てはめて仮説を見直すと、「体重は身長の3乗に比例する」という仮説を立てることもできます。 [体重]＝[身長]^3×[係
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
numpy.log — NumPy v1.10 Manual
numpy.ndindex — NumPy v1.10 Manual
1. 科学技術計算のために Python を始めよう。 — Scipy lecture notes