ExcelでCSVファイルを「0落ち」や「文字化け」なしで開く方法 - Qiita
はじめに CSVファイルをExcelで開こうとしたとき、電話番号や郵便番号の先頭のゼロ（0）が自動的に消えてしまったり、文字化けしてしまう...。そんな悩みをお持ちの方はいませんか？この記事では、データを正確に保持しながらCSVファイルを開く方法を簡潔にご紹介します。 1.CSVファイルとは そもそもCSVファイルって何？というところから説明します。 CSVはComma Separated Value（カンマで区切られた値）の略であり、CSVファイルはテキストデータの各項目を、カンマ（,）で区切って表現したファイルです。 言葉では理解しにくいので、画像で見てみましょう。 まず、こちらがExcelでCSVファイルを開いたときの画像です。 普段、Excelでデータを作成・編集しているときと同じように見えますよね？CSVといっても、特に変わったことはなさそうです。 では、Windowsの「メモ帳
1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita
はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量（最小値、最大値、平均、分散、四分位数）などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検
CSV処理における共通処理をDecoratorパターンで実現する | フューチャー技術ブログ
はじめにTechnogoly Innovation Group 辻です。 システム間のデータ連携として、他システムが出力した CSV ファイルを Go で読み込んでリレーショナルデータベースにファイルのデータを保存する、という処理がありました。CSV の値をデコードしたあとに共通的な処理を差し込みたいユースケースで Decorator パターンを使って実装をしました。コードベースをシンプルに保ちつつ共通処理をフックできます。実用的なユースケースで Decorator パターンを紹介する記事は少ないと思ったので、本記事を書きました。 まず Decorator パターンが必要になった背景を説明したあとに具体的な Go の実装を見ていきます。 背景他システムが出力した CSV ファイルを Go でデコードして、PostgreSQL にデータを投入するような処理がありました。簡略化したイメージは以
JSON や CSV で SELECT * FROM したいときは columnq-cli が便利
techfeed 経由で下記のスレッドを見かけたのですが、タイトルだけでも既に面白そうです。 また、ちょっと前から Notion のデータベースを各種コンテンツへ変換するツールを作っていまして、これを組み合わせるといろいろ楽できそうな予感がします。 そのようなわけで、スレッドで紹介されていた columnq-cli についての記事です。 columnq-cli とは？ README を読むと「各種データをテーブルとして SELECT できるようにする CLI ツール」で、テーブルソースには JSON などの他に ROAPI でサポートされているものを扱えるとのこと。 (SELECT のみで更新はできない) ここで ROAPI とはなんぞやとなりますが、こちらは「ローカルのファイルシステムや各種サービスのデータを統合的に扱える(SELECT できる)サーバー」を構築できるそうです。 図 1-
月数100万アクセスをDB使わず超簡単にさばく - Qiita
初Qiitaな個人開発者のひさしAppと申します @Hisashi_vc 最近「じぶんコイン」というコイン系SNSサービスを作り、月間100万～数百万アクセスを激安サーバー（1000円ちょい）でさばき中です。 じぶんコイン https://crypto-app.tokyo/qCoin/?m=hisashi_vc おまけになかなかの高負荷で、３ヶ月で数百万回送金したり、10連ガチャ回しまくったり、全ユーザーページにチャットあったり、数百人に一斉メッセージ＆送金したり、さらに内部API叩きまくってたりと、かなりのヤバさですが、ブロックチェーンどころかデータベース一切使ってません。 そんなツイートしたら予想よりビックリしてもらえたので、種明かししようと思います。ちなみに私はサーバーサイドエンジニアでも何でもないので、Hellow world覚えて３日目の中学生でもできるくら超簡単ですｗ この２つ
VSCodeでCSVをステキに見やすくする「Rainbow CSV」を紹介するよ
はじめに 普段のようにトゥイッターしていたらタイムラインにステキ拡張が流れてきたので、布教のためにバーっと紹介記事を書いてみる次第。 Rainbow CSV Rainbow CSVって何？ VSCodeでCSVを扱いやすくするためのステキ拡張 便利でステキな機能をいくつも持っている とにかくヤバイ（語彙） Rainbow CSVの何がヤバイの？ ①CSVが読みやすくてヤバイ ちょうどいいCSVが無かったので、適当にポケモンのCSVデータを生々しく開いてみた。 CSVの見た目ってこんなのだよね。日本語項目はともかく、数値が連続している箇所は「あれ、この"49"ってどの項目に対応してるんだっけ…？」みたいな混乱が起きて発狂しがち…。 しかし、このファイルをRainbow CSVに通すと…なんということでしょう！ ヘッダー項目とデータ項目にカラフルな色が付き、項目の種類が一発でわかるようになって
CSVの処理で使えそうなコマンドラインツール（column, textql, csvkit, xsv, visidata, csvtotable, daff, tabview） - もた日記
column textql csvkit xsv visidata csvtotable daff tabview CSV（またはTSV）を処理するときにはcut, sort, awk, paste, joinといったコマンドを使うことが多いが、CSVの処理で使えそうなコマンドラインツールを簡単に試してみる。 テスト用のCSVデータは下記ページで作成した。 Mockaroo - Random Data Generator and API Mocking Tool | JSON / CSV / SQL / Excel column以外はGitHubのスター順で紹介している。 column stackoverflow.com columnはLinuxコマンドだが検索で結構ひっかかったので紹介。 以下のように見やすいように揃えて出力してくれる。 $ head -n5 test.csv id,fi
ODBCのText DriverとExcelとを使ってCSVファイルをSQLで検索・抽出する - [+ _ :::]
テキストドライバ(ODBC Microsoft Text Driver)をとりあえず使い始めるためのメモ書きです。 CSVの行をレコード、カンマ区切りアイテムをフィールドとしてSQLで項目を抽出することができます。 プログラムの出力結果が数百万行以上のCSVファイルで、メモ帳やExcelに張り付けて検索してたんじゃ日が暮れちゃうって時などに使います。 手順概要 おおざっぱに言うと、下記の手順でできます。 ODBCテキストドライバでC:\csvdbフォルダにデータソースを作成する。検索したいCSVファイルはc:\csvdbに配置しておく。 Excelを起動し、リボンから「データ」「外部データの取り込み」「その他のデータソース」「Microsoft Query」を選択してSQLを打つ 注意しなければならないのは、、、 Excelが32bit版ならOS付属の32bit版のTextDriverを使
![ODBCのText DriverとExcelとを使ってCSVファイルをSQLで検索・抽出する - [+ _ :::]](https://cdn-ak-scissors.b.st-hatena.com/image/square/ed5c178dc8295c00a67994cc0c2b289eaa235627/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhaneimo%2F20160828%2F20160828190322.jpg)
trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
モック用のJSONやCSVなどのデータを大量にかつ簡単に作成できるMockarooを試してみた - とんちむ日記
どうも、フロントエンジニアになりたい人です。 js側から叩くAPIがまだサーバーサイドで実装されてないけど、js側の処理も先にやっとかないといけないって状況ありますよね・・多分。僕は今のところ経験したことないけどきっとある。 あと、テスト用のデータ欲しいとか。簡単なjsのデモ作りたいけどそのためにAPIを実装するのも面倒だとか、そもそもサーバーサイド作れないとか。 そこでAPIの仕様さえ決まってれば1000件のデータまで無料でJSON（CSVや TSVとかなんならSQLもいけるらしい）ファイルを作ってくれるサービスMockarooを見つけました。 こちらが初期状態です。 Field NameはDBでいうカラム名ですね。Typeはどういうデータを入れたいかを指定します。ランダムでそれっぽいデータを作って入れてくれます。Fakerっぽいやつだと思って貰えば良いかと。 Optionにあるblan
内閣府の「国民の祝日」のCSVファイルをpandasで整形する - Qiita
Twitterで叩かれてたあれです。 どんな酷い代物なんだろうと思ってpythonのpandasで開いてみました。 実物がこれ このCSVファイルの使い道がわからないので何とも言えないですが、これってそこまで酷いんですかね？ てっきり行と列がズレてるとか、日付けのフォーマットがばらばらとかそういうのを期待してたんですが。 日付けのフォーマットのズレに関してもpandasには時系列を統一させる機能もあるので比較的容易に解決できます。 何はともあれ整形してみましょう。 整形したのは ・欠損値が存在する列の削除 ・重複した名称の削除 ・日付けを文字列型からdatetime型に変更 以上3点です。 これで多少見やすくなったんですかね。 ついでにその祝日で毎年ズレが発生しているのかを表示しておきましょう おまけで1列にまとめたバージョンも こういったデータ整形はPandasを使えば簡単にできます。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラマーを苦しめてきた郵便番号データ「KEN_ALL.CSV」が改善！ 扱いやすい新形式／従来形式のデータも引き続き利用できるから安心してネ【やじうまの杜】
Home
Windows/Mac/Linux対応のシンプルなタブ切り替え型CSVエディター「CSV+」が公開／作者のWebサイトから無償でダウンロード可能
【Excel】CSVファイルをダブルクリックするのは絶対NG！CSVファイルはPower Queryで取り込みましょう【いまさら聞けないExcelの使い方講座】
CSV/TSVファイルをExcelのようにテーブル表示 ～「WinMerge 日本語版」v2.16.6+-jp-11／表計算ソフト風の見た目でファイルの差分を表示可能
PHP: fgetcsvでもSJISのCSVをUTF-8として《安全》に読む方法(ストリームフィルタ使用) - Qiita
【PHP】Goodby CSVを使って高メモリ効率でCSVをパースする - Qiita
GitHub - mpyw-yattemita/excel-csv-compatibility-check: ExcelとCSVの互換性を確認しました
「Visual Studio Code」でExcelスプレッドシートやCSVデータを表示「Excel Viewer」 - 窓の杜
