Pandasで「野根（None）」という地名が欠損値（NaN）になってしまった話
Pandasの read_csv における欠損値文字列の扱い Pythonのデータ解析ライブラリPandasでは、CSVファイルを読み込む際（pd.read_csv()）、特定の文字列が自動的に NaN （欠損値）として扱われるという仕様があります。 ドキュメントによると、デフォルトで以下の値がNaNと解釈されます。 By default the following values are interpreted as NaN: “ “, “#N/A”, “#N/A N/A”, “#NA”, “-1.#IND”, “-1.#QNAN”, “-NaN”, “-nan”, “1.#IND”, “1.#QNAN”, “<NA>”, “N/A”, “NA”, “NULL”, “NaN”, “None”, “n/a”, “nan”, “null “. 実際に起きた問題: 野根（None） という地名
GitHub - jiro4989/gsv: gsv transforms a multi-line CSV into one-line JSON to make it easier to grep.
GitHub - johnkerl/miller: Miller is like awk, sed, cut, join, and sort for name-indexed data such as CSV, TSV, and tabular JSON
With Miller, you get to use named fields without needing to count positional indices, using familiar formats such as CSV, TSV, JSON, JSON Lines, and positionally-indexed. Then, on the fly, you can add new fields which are functions of existing fields, drop fields, sort, aggregate statistically, pretty-print, and more. Miller operates on key-value-pair data while the familiar Unix tools operate on
KEN_ALL.csv を Vim でシュッとする
この記事は Vim Advent Calendar 2020 25日目の記事です。 はじめに 年末ですね。年賀状ですね。インターネットが普及した現代、若い世代の人達においては年賀状を交わす事は少なくなってしまったかもしれません。しかし田舎育ちの僕やある程度年配の方々の世界線では年賀状は未だ変わらず有効なコミュニケーション手段として採用されており「アイツん家の子、大きくなったな」「アイツ随分老けたな」といった思い出回帰の方法としても使われています。 さて皆さんは年賀状をどの様に作っておられますか？手書きですか？それとも「筆○2020」等といった年賀状作成専用ソフトをお使いだったりしますか？僕は毎年 LibreOffice の宛名書き印刷を使っています。 LibreOfficeで宛名印刷(縦書き/連名): ひろろろぐ LibreOffice で差し込み印刷する記事は沢山あるのですが、連名がちゃ
HaskellでData.Csv(cassava)を使ってcsvファイルを処理する - Qiita
やりたいこと 入力はcsvファイル そのうちの一部の列の値を使って、別のファイル（例：SQL）を出力したい csvファイルはレイアウトの変更が有り得るので多少効率が悪くても変更に柔軟に追随できるようにしておきたい 仕事で無理やりHaskellを使いたい 方針 Haskellのcsvライブラリであるcassavaを使う cassavaは1行目をヘッダーとして列名で値を取り扱うことができる関数が用意されているので、そちらを使う なお、cassavaはデータ型をcsvに変換するエンコードと、csvをデータ型に変換するデコードの両方に対応しているが、今回はデコードに特化した記事とする 以降のコードはData.Csvのドキュメントにあるサンプルを元にしている https://hackage.haskell.org/package/cassava Data.Csv 前提知識としてData.Csvの型定
VSCodeでCSVをステキに見やすくする「Rainbow CSV」を紹介するよ
はじめに 普段のようにトゥイッターしていたらタイムラインにステキ拡張が流れてきたので、布教のためにバーっと紹介記事を書いてみる次第。 Rainbow CSV Rainbow CSVって何？ VSCodeでCSVを扱いやすくするためのステキ拡張 便利でステキな機能をいくつも持っている とにかくヤバイ（語彙） Rainbow CSVの何がヤバイの？ ①CSVが読みやすくてヤバイ ちょうどいいCSVが無かったので、適当にポケモンのCSVデータを生々しく開いてみた。 CSVの見た目ってこんなのだよね。日本語項目はともかく、数値が連続している箇所は「あれ、この"49"ってどの項目に対応してるんだっけ…？」みたいな混乱が起きて発狂しがち…。 しかし、このファイルをRainbow CSVに通すと…なんということでしょう！ ヘッダー項目とデータ項目にカラフルな色が付き、項目の種類が一発でわかるようになって
覆された常識、CSVファイルでウイルス感染
テキストファイルは開いても安全――。情報セキュリティの常識だ。ところが、その常識が覆された。テキストファイルの一種であるCSVファイルを使った標的型攻撃が国内で確認されたのだ。CSVファイルを開いただけでウイルス（マルウエア）に感染する恐れがある。CSVファイルも危ないファイル形式の一つだと認識すべきだ。 CSVファイルとは、表の要素などをカンマや改行を使って記述したテキストファイルのこと。CSVはComma Separeted Valueの略である。ファイルの拡張子はcsv。CSVファイルの中にはテキストの情報しかない。 だが、拡張子がtxtなどのテキストファイルとは大きく異なる点がある。初期設定（デフォルト）でExcelと関連付けられている点である。Excelをインストールすると、ユーザーが設定変更しなければ、CSVファイルが関連付けられる。つまり、CSVファイルをダブルクリックするな
GitHub - mechatroner/rainbow_csv: 🌈Rainbow CSV - Vim plugin: Highlight columns in CSV and TSV files and run queries in SQL-like language
Main features: Highlight CSV columns in different rainbow colors. Provide info about column under the cursor Provide SELECT and UPDATE queries in RBQL: SQL-like transprogramming query language. Consistency check for csv files (CSVLint) Align and Shrink CSV fields (add/remove trailing spaces in fields) Cell-level cursor navigation There are 4 ways to enable csv columns highlighting: CSV autodetecti
trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
Elm 用の CSV デコーダーを作った - ジンジャー研究室
Elm 界隈では構文解析するライブラリを「パーサー(Parser)」、それを Elm の型に落とし込むものを「デコーダー(Decoder)」と呼び分けることが多い。パーサーは既にあって（lovasoa/elm-csv）、デコーダーで良いものがなかったので作った。 CsvDecode - elm-csv-decode 1.0.0 使い方 elm-tools/parser インスパイアのパイプライン式。 -- CSV の各行をこの User 型にしたい type alias User = { id : String , name : String , age : Int , mail : Maybe String } -- デコーダー Decoder User を作る userDecoder : Decoder User userDecoder = succeed User |= field
CSVファイルをSQLのクエリで集計できるqコマンドをHaskellで実装してみました！ - プログラムモグモグ
先日、Twitterでqコマンドが話題になっていました。 github.com スターが3000を超えていてすごいですね。2014年から開発されているツールで、Pythonで書かれています。 これはGoで実装してみたいなーと思っていたところ、mattnさんが素早く実装されていました。 mattn.kaoriya.net 一本取られたと思ったものの、よく読むとまだ標準入力しか対応していないようです。 いったいどういう仕組みなのか、何の実装が難しいところなのか、qコマンドが嬉しい場面はどういうケースなのか、自分も知りたくなったので1から実装してみました。 私が一番素早く書ける言語ということでHaskellを選びました。 qhs qコマンドのHaskell実装、ということでqhsと名づけました。 github.com stackが入っていればインストールは簡単です。 $ git clone ht
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - neilotoole/sq: sq data wrangler
GitHub - alexhallam/tv: 📺(tv) Tidy Viewer is a cross-platform CLI csv pretty printer that uses column styling to maximize viewer enjoyment.
GitHub - yukiarrr/SSBird: Master data management tool using Chrome Extension
GitHub - baig/pandoc-csv2table: A Pandoc filter that renders CSV as Pandoc Markdown Tables.
GitHub - acowley/Frames: Data frames for tabular data.
GitHub - qfpl/sv: Comma (and other) separated values
GitHub - gdevanla/cassava-records: A library extension for Cassava (Haskell CSV parser library) that automatically creates a Record given the csv file
行政のCSVファイルを 勝手にAPIにしてみた話
GitHub - haskell-hvr/cassava: A CSV parsing and encoding library optimized for ease of use and high performance
