だから僕はpandasを辞めた【データサイエンス100本ノック（構造化データ加工編）篇 #1】 - Qiita
データサイエンス100本ノック（構造化データ加工編）のPythonの問題を解いていきます。この問題群は、模範解答ではpandasを使ってデータ加工を行っていますが、私達は勉強がてらにNumPyの構造化配列を用いて処理していきます。 次回記事（#2） はじめに Pythonでデータサイエンス的なことをする人の多くはpandas大好き人間かもしれませんが、実はpandasを使わなくても、NumPyで同じことができます。そしてNumPyの方がたいてい高速です。 pandas大好き人間だった僕もNumPyの操作には依然として慣れていないので、今回この『データサイエンス100本ノック』をNumPyで操作することでpandasからの卒業を試みて行きたいと思います。 今回は８問目までをやっていきます。 今回使うのはreceipt.csvだけみたいです。初期データは以下のようにして読み込みました（データ型
Python“らしさ”を支える技術。pandasコアコミッターが大事にするマージの方針 - エンジニアHub｜Webエンジニアのキャリアを考える！
Python“らしさ”を支える技術。pandasコアコミッターが大事にするマージの方針 数多いPythonライブラリの中でも、データ解析の用途で大きな存在感を示すのが「pandas」です。そしてこのpandasのコミッターを務めるのが、sinhrksこと堀越真映さん。コミッターが感じるOSSのありよう、そしてPythonらしさを教えてもらいました。 データサイエンスや機械学習の流行に伴い、業務でPythonが使用されるケースが増えてきました。Pythonが選ばれる理由はさまざまですが、「データサイエンスや機械学習に適したライブラリが数多くある」という特性は、この言語が重宝される理由のひとつでしょう。 たとえば、データ分析のための高速で使いやすいデータ構造を提供するpandas。NumPyやpandasのAPIを利用して並列計算・分散処理を行えるDask。こうした海外で開発が主導されたライブ
pythonでのデータ分析時、死ぬほど調べるTipsをまとめておく。 - プロクラシスト
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
Jupyter の Docker イメージを使ってみる - Qiita
【更新】Jupyter 5 系のアップデート版の記事が別にあります。 JupyterのDockerイメージまとめ - Qiita IPythonはバージョン4.0から Project Jupyter に統合されるようになりました。JupyterはPythonだけでなく、R, Julia, Scalaからも使えるようになり、データ分析の核となるツールと言えます。40を超えるプログラミング言語から使えるだけでなく、Jupyter Notebook Viewer を介して共同作業を促したり、Apache Spark と統合することも可能です。ちょっと SciPy Stack を試してみようかな、と思って IPython Notebook を使う世代とは一線を画すものになっています。 これまではNumPyやpandasと言えばインストールが大変な印象でしたが、Jupyterは複数のDockerイメ
pandasでcsv/tsvファイルの読み書き | mwSoft
csvの読み込み csv読み込み。 そのままread_csvすると1行目をheaderとして認識する。ヘッダがない場合はheader=Noneとしておけば良い。 下記のようなファイルを読み込んでみる。 10,8,3 12,1,5 5,3,3 import pandas as pd pd.read_csv("foo.csv", header=None) 10 8 3 0 12 1 5 1 5 3 3 試してみたところ、header=-1とかheader=Falseでも同じ挙動になった。 headerに名前を付ける場合は、namesを使用。 pd.read_csv( 'foo.txt', names=('a', 'b', 'c') ) a b c 0 10 8 3 1 12 1 5 2 5 3 3 ヘッダ行があれば特に何も指定せずに読み込める。 下記のようなファイルを読み込んでみる。 col1
5. 【pandas】関連 — kaiyori 1.1 documentation
In [86]: df Out[86]: <class 'pandas.core.frame.DataFrame'> Int64Index: 2634 entries, 0 to 2633 Data columns (total 8 columns): 0 2634 non-null values 1 2634 non-null values 2 2634 non-null values 3 2634 non-null values 4 2634 non-null values 5 2634 non-null values 6 2634 non-null values diff 2634 non-null values dtypes: float64(5), int64(1), object(2) In [87]: rows = random.sample(df.index.tolist(
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
