pandas.DataFrameの行番号、列番号を取得 | note.nkmk.me
pandas.DataFrameの行名、列名から行番号、列番号を取得したり、列の要素の値から行名、行番号を取得したりする方法を説明する。 以下の内容について説明する。 行名、列名から行番号、列番号を取得 get_loc()メソッド 行名、列名が重複している場合 index, columnsをリスト化 列の要素の値から行名、行番号を取得 行番号、列番号から行、列や要素の値を取得したい場合は以下の記事を参照。 関連記事: pandasのインデックス参照で行・列を選択し取得 関連記事: pandasで任意の位置の値を取得・変更するat, iat, loc, iloc 以下のpandas.DataFrameを例とする。 import pandas as pd df = pd.read_csv('data/src/sample_pandas_normal.csv', index_col=0) pri
［解決！Python］CSVファイルに書き込みを行うには（csvモジュール編）
import csv # サンプルデータとテキストファイルの内容を出力する関数の準備 header = ['name', 'age', 'tel'] isshiki = ['一色', 25, 'xxxx-yyyy'] endo = ['遠藤', 45, 'mmmm-nnnnn'] kawasaki = ['かわさき', 80, 'zzzz-aaaa'] mylist = [isshiki, endo, kawasaki] for row in mylist: print(row) # 出力結果： #['一色', 25, 'xxxx-yyyy'] #['遠藤', 45, 'mmmm-nnnnn'] #['かわさき', 80, 'zzzz-aaaa'] from pathlib import Path def print_lines(): print(Path('test.csv').read
SQLAlchemy を使って Pandas のデータをDBに保存する - Qiita
概要 Python の O/R マッパー SQLAlchemy に関するメモ。 前提 Python 3 SQLAlchemy + MySQL を使ってみる（その１） import pandas as pd import sqlalchemy as sa df = pd.DataFrame({'point': [100]}) print(df) url = 'mysql+pymysql://root:@localhost/test_db?charset=utf8' engine = sa.create_engine(url, echo=True) df.to_sql('test1', engine, index=False, if_exists='append') これで MySQL の test_db データベース上で test1 テーブルの point カラムに 100 という数値が挿入
Pythonを利用してcsvファイルをDBにインポートする - Qiita
始めに Pythonを利用して、csvファイルをそのままpostgresqlにインポートするスクリプトを作成した。sqlaclchemyとpandasを利用することで、テーブルの作成の手間がなくなったり、DBの違いも吸収できるようになった。 postgresqlの準備 実験用のpsotgresqlは、docker-composeを利用して立ち上げる。 version: '3' services: postgres: image: postgres:10 container_name: postgresql ports: - "5432:5432" environment: POSTGRES_USER: postgresql_user POSTGRES_PASSWORD: postgresql_password volumes: - ./db:/var/lib/postgresql/data
python(flask)+bootstrapでcsv表示/ダウンロード機能を作る - これブロ
python(flask)+bootstrapを使ったWEBサービスの概要説明 今回はflaskを使って初めてWEBアプリを作ってみたい方向けということで、かなりシンプルな構成にしています。 flaskはもちろんデータベースなども扱うことができますが、実装が複雑になってしまうので、今回はcsvファイルを読み込んで画面に描画する仕組みにしたいと思います！ flaskを使ってcsvを読み込むための処理をpythonで書く ではアプリの全体像が掴めたところで、早速csvファイルを読み込む部分を作っていきます！ ※flaskの環境構築については今回は省略しますので、もしわからない方はネットで調べてみてください！（Djangoに比べるとflaskの環境構築は断然楽ちんです！） 今回はサンプルcsvとして、日付と、その日に食べた果物がずらっと並んでいるようなものにしましょう！ ファイルイメージ： in
【超簡単】ワンタッチでエクセルからCSV出力するVBAプログラム
VBAでCSVファイルを出力するための「汎用CSV出力マクロ」を作りました。 単にCSVファイルを作りたいだけならVBAの知識は不要です。 また、CSVファイルの出力方法を変えたいという場合でも、多くの場合関数の呼び出し時の引数を指定するだけで済むので、とても簡単に使うことができます。 このページで公開しているマクロでは、下記のような処理に対応しています。 シート全体ではなくシートの一部だけCSV出力したい 一部の列について、表示形式を適用したい（適用したくない） 一部の列について、「"」でデータを囲みたい カンマ区切りではなく「TAB区切り」で出力したい 改行コードを「LF」にしたい CSVファイルの文字コードをUTF-8にしたい 他のホームページで公開されているマクロとは違い、かなり汎用性が高いプログラムだと思いますので、ぜひ、試してみてください。 ダウンロードして、試しに使ってみる
【pandas】DataFrameでNaNの行列を削除する方法（dropnaの使い方まとめ）
タグ .__doc__ターミナルディレクトリディープラーニングテーマデータ型データベースデータサイエンティストデータサイエンスダブルクォートタプルタグセルの結合デバッグセットスラッグスライススペーススタイルシート言語シングルクォートショートカットキーシェルシーケンスサーバーディレクトリツリーデフォルト値コメントアウトブール演算子プリントスクリーンプラグインブラウザフォント名フォントフォルダファンクションキーファイル操作ファイルパスファイルバリューデメリットパラメータパディングパッケージバックスラッシュバックエンドバイナリーパーマリンクドライブドメインドキュメンテーション文字列コンテナコメントプログラミング言語whileyaxisxaxiswriteメソッドWorksheetオブジェクトworksheets属性workonWorkbookオブジェクトwordpresswithwidth属性W
【Python】CSVとエクセル（xlsx）の変換プログラム | インフラエンジニアの技術LOG
PythonでCSVファイルをエクセルファイルに変換するプログラムを紹介します。 また、今回はサーバー、もしくはNW機器にで出力した結果において「スペース」となっている箇所を全てカンマ「,」に変換し、エクセルできれいに表示できるように変換します。 【Python】CSVファイル〜エクセルファイル（xlsx）へ変換するプログラム 今回は、サーバーから出力した、「df -h」コマンドの出力結果を元にプログラムを作成します。 通常、スペース区切りとなり、以下のように表示されます。 $ df -h ファイルシス サイズ 使用 残り 使用% マウント位置 devtmpfs 908M 0 908M 0% /dev tmpfs 920M 0 920M 0% /dev/shm tmpfs 920M 8.6M 911M 1% /run tmpfs 920M 0 920M 0% /sys/fs/cgroup
Python pywin32(win32com) Excel 操作備忘録 - Qiita
はじめに ノンプログラマーの素人が記述をしたコードです。 狭い利用範囲と少ない利用頻度での確認ですので、 記載内容に間違いや勘違いがあるかもしれません。 下記内容を参照の際は自己責任でお願い致します。 名前付き引数と省略可能な引数 メソッドの引数は、 C++のデフォルト引数と同様、 途中の引数を省略することができなさそうです。 pywin32(win32com)の参考にさせて頂いたサイト https://excel-ubara.com/python/python025.html https://qiita.com/kumarstack55/items/9ae3432446afca06497f ExcelVBAの参考にさせて頂いたサイト https://excel-ubara.com/ http://www.eurus.dti.ne.jp/~yoneyama/ Pythonのpywin32(
pythonで2つのデータフレーム間の違い（差集合）をみつける方法 – Pandasで2つのデータフレーム(pandas.DataFrame)を比較して片方にしか無い値をピックアップ
Find the difference (set difference) between two dataframes in python – StackOverflow 回答が色々おかしい．「pandas.DataFrame.isin(pandas.DataFrame)」はindex/columns対応付けで比較されるので，明らかに処理として間違い．numpy.setdiff1dは入力をravelして１D同士で差集合を取るので，やはり不適当．今のテストケースではどちらもたまたま答えが合うだけ（論理的に誤りがある）．全要素の差集合を取りたい場合はリーズナブルだが，基本的にデータフレームの比較という時，データには何かしらの構造がある筈なので，これを使う事はありえない． 「データフレームの比較」といっても，何を仮定するのか，できるのかで幾つかのケースに分けられる．一般に，行間比較や列間比較，何
Pythonにおけるwritelines()の利用方法を現役エンジニアが解説【初心者向け】
初心者向けにPythonにおけるwritelines()の利用方法について現役エンジニアが解説しています。writelinesメソッドはPythonでファイルに書き込む時に使う関数です。引数にはモードとして、新規作成や追記を指定し、encodingにはutf_8を指定します。 テックアカデミーマガジンは受講者数No.1のプログラミングスクール「テックアカデミー」が運営。初心者向けにプロが解説した記事を公開中。現役エンジニアの方はこちらをご覧ください。 ※ アンケートモニター提供元：GMOリサーチ株式会社 調査期間：2021年8月12日～8月16日 調査対象：2020年8月以降にプログラミングスクールを受講した18～80歳の男女1,000名 調査手法：インターネット調査 Pythonにおけるwritelines()の利用方法について、TechAcademyのメンター（現役エンジニア）が実
Python>pandas>DataFrame:指定行の抽出 - Qiita
1.概要 初心者の自分はDataFrameでの行の抽出を練習するときにちょくちょく混乱。。。 今後の混乱予防対策のために少し操作方法を整理。 2.DataFrameの準備 以下のDataFramewoを操作して行の抽出操作を確認する。 import pandas as pd import numpy as np df = pd.DataFrame(np.arange(12).reshape(4,3), index=['R1','R2', 'R3', 'R4'], columns=['C1','C2', 'C3'])
【Python入門】複数CSVのデータ抽出【初心者向け】 | Baran Blog
今回は、csvファイル内の特定の行(row)と列(column)のデータを抽出するloc, iloc関数を記載していきます。これをマスターすれば、大量のデータ処理が可能になるのでぜひ御覧ください。 python初心者からのバランが、実務に生かしている実例に基づいて記載してますので、実務に活かしやすいです。 0. 使用環境 OS: Windows10 ProVisual Studio Code: Version 1.47.0Python: Version 3.7.6 (64bit)pandas: Version 1.0.1 1. データ解析の全体図 本記事のデータサイエンスの紹介範囲を示します。 データサイエンスは主に５つのステージがあります。(図のようにステージを飛ばす場合もあります。図は一例です。) データ収集（データを集めて処理できる準備をする）データの前処理（データを格納もしくはデー
PythonでCSVの列を取得してテキストファイルに出力する - Qiita
はじめに お仕事で「問い合わせのやりとりが完了したらその関連メールの本文をエクセル台帳に貼り付けてください」というちょっと面倒な作業1があったので、なんとか楽できないかなと思いPythonで書いてみました。 当初はいちいちOutlookで検索してコピペしていましたが、元々現場でWebデータベースシステムを使っていたので、下記作業手順にしました。 メールがきたら都度Webデータベースに本文をコピペして登録する その案件が終わったらCSVで吐き出す（ダウンロードフォルダに保存される） メール内容以外も出力されるので、Pythonでいい感じに整形してテキストファイルに出力する テキストファイルからエクセル台帳のセルにコピペする 手順3についてPythonによる汎用的なコードを解説・公開します。 同じ辛みを味わっているSIerの方々に届けばいいなと思います。2 Pythonのお仕事 手順3でやって
Python（pandas）を使ってテーブル間の差分を取り出す - QuzeeBlog@Hatena
2018年7月20日追記：このやり方全然スマートではないので修正版を書きます。 同じ列（カラム）を持っているCSVファイルが複数あり、その差分を取りたいときの手法をメモっておきます。一年前の売上と比較したいとか、前年度の従業員リストと比較したい場合なんかに使えるかと。 使うのはPython環境と pandas です。pandas が入ってない場合は pip を使ってインストールしてください。Anaconda や WinPython をインストールしていれば最初から入ってます。 CSV（テキストデータ）ファイルの読み込み pandas の read_csv を使ってCSVファイルを読み込みます。 import pandas as pd df01 = pd_readcsv('sample01.csv', encoding='Shift-JIS') df02 = pd_readcsv('samp
Pandasでcsvファイルの差分比較
こんにちは。ヤギユキ(@yagiyuki06)です。 今回は、pandasを使った2つのcsvファイルの比較方法をまとめました。 pandasを使ったファイル比較は、pythonの標準関数を使うよりかなりコードを省略できます。 ぜひ、参考にしてみてください。 基本 おおまかな比較の流れは以下のとおりです。 比較する2つのcsvをDataFrameへロード 2つのDataFrameを比較 key,valをヘッダーに持つ、以下2つのcsvを例にして比較してみます。 cat <<EOF > test1.csv key,val string1,1 string2,2 string3,3 string4,4 string5,5 EOF
csv のデータが重複してるよ〜 -> それ、pandas で除けまっせ - Qiita
こんなこと起きた csv を DB に入れようと思ったけど、primary key がダブリまくってる！ 重複してる行を削除したいけど、excel で開けないほど重い・・・。 python でデータ処理しようかな・・・でも、たまには違う方法でやりたい・・・。 せや、pandas 使ったろ 環境整備 はしょります(^o^) Macにanacondaをインストールする→ライブラリの追加 などを見てください。 anaconda を入れた後で jupyter を起動すると、 pandas を使うときに、途中経過などが見やすくて便利です。 こうするんじゃ！ まずは pandas を import して、csv を読み込む！
[Python] 複数のcsvファイルを結合する方法
こんにちは～ Pythonでエクセルやcsvを自動で編集できたら仕事が楽になると思うので、色々プログラムを作成しています。 今回は複数のcsvファイルを結合する方法を学習したので、纏めて記事にしました。 この記事が誰かの役に立ったら幸いです。 概要 2つのやり方を記載したいと思いますが、 まずは処理する概要の説明します。 ↓のように3つのcsvファイルの値を結合したいと思います。 中身は3ファイルとも↓のようになっています。 方法① まずは一つ目の方法です。 ↓のようなコードで処理することができました。 import pandas as pd import csv import glob sample_files = glob.glob('./sample_data/*.csv') list = [] for file in sample_files: list.append(pd.rea
![[Python] 複数のcsvファイルを結合する方法](https://cdn-ak-scissors.b.st-hatena.com/image/square/ee9b74c8f20d2cd3f97310fa4b162559586ee91f/height=288;version=1;width=512/https%3A%2F%2Fcoffee-blue-mountain.com%2Fwp-content%2Fuploads%2F2021%2F01%2Fhftdrftkgyh_TP_V.jpg)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Python】CSV書き込みに挑戦！列を追加し計算することも可能です
CSV内の重複内容を確認して自動削除するならPythonで可能!!