RDSで立ち上げたmySQLサーバーに、大量のデータが入っているCSVファイルを一括で追加するまでの流れをまとめてみたいと思います。EC2からRDSに接続してmySQLを操作する方法については前回をご覧ください。
定期的に CSV からデータを抽出する機会があり,抽出条件によって,今までは以下のような方法を使っていた. CSV を Excel で開いてフィルターを使う方法 CSV を grep / egrep などの Linux コマンドで絞り込む方法 CSV をAmazon S3 にアップロードして Amazon S3 Select でクエリを実行する方法 Rainbow CSV 新しい方法として VS Code の拡張機能「Rainbow CSV」を試すことにした.Rainbow CSV には多くの機能があり,例えば「ハイライト」や「CSVLint」や「RBQL (RainBow Query Language)」がある.データを抽出する用途だけでなく,CSV を確認するときにも便利で,普段から使える最高の拡張機能だった.以下からインストールできる. marketplace.visualstudi
大規模データの編集つらすぎ問題 最近仕事で10GB以上のcsvファイルを触っています。 唯一神Excelは100万行を超えるデータは扱えないため、スクリプト言語で適当なコードを書いてましたが、適当に書いたのでちょっとしたデータ整形をするだけでも死ぬほど時間がかかって辛いです。 処理の一部をsedやawkで置き換えて高速化を図るなど、涙ぐましい努力をしていましたが、NYSOL(MCMD)という神ツールの存在を知って膝から崩れ落ちたので共有します。 NYSOL(MCMD)とは 以降の記述ではNYSOL(MCMD)をMCMDと表記します csvデータの編集、抽出、統計量の算出などを行うコマンド群(70種類ぐらいある)です。 標準入力を受け取って標準出力に結果を表示するので、簡単にパイプで処理を繋げることができます。 さらにC++で書かれているため、とにかく早い(らしい)です。 インストール 公式
はじめに 普段のようにトゥイッターしていたらタイムラインにステキ拡張が流れてきたので、布教のためにバーっと紹介記事を書いてみる次第。 Rainbow CSV Rainbow CSVって何? VSCodeでCSVを扱いやすくするためのステキ拡張 便利でステキな機能をいくつも持っている とにかくヤバイ(語彙) Rainbow CSVの何がヤバイの? ①CSVが読みやすくてヤバイ ちょうどいいCSVが無かったので、適当にポケモンのCSVデータを生々しく開いてみた。 CSVの見た目ってこんなのだよね。日本語項目はともかく、数値が連続している箇所は「あれ、この"49"ってどの項目に対応してるんだっけ…?」みたいな混乱が起きて発狂しがち…。 しかし、このファイルをRainbow CSVに通すと…なんということでしょう! ヘッダー項目とデータ項目にカラフルな色が付き、項目の種類が一発でわかるようになって
エクセルでCSVを保存? 変換? CSVファイルをエクセルで開くと壊れる?? 仕事でCSVファイルを扱うことがあります。しかし、「CSVの意味」を本気で教えてくれる人はなかなかいません。それは、「CSV」を本質的に理解するには、その前提となる知識が必要で、仕事中にそんな面倒くさい説明をするヒマがないからです。 今回は、本当にCSVのことを知りたいのに誰も教えてくれないとお悩みの初心者の皆さんのために、CSVとは何か、を徹底的に解説します。 「リスト形式とCSV」完全マスターシリーズ(この記事は第2回です) 8個の基本パターンで完全習得「リスト形式」の教科書 本気で理解したい初心者のためのCSV勉強会資料 CSVファイルとExcelの関係を本気で理解するための確認テスト10問 初心者のためのCSV取り込み事例演習教材(勉強会資料) 初心者が「CSVで保存してアップ」を理解するのは意外と難しい
column textql csvkit xsv visidata csvtotable daff tabview CSV(またはTSV)を処理するときにはcut, sort, awk, paste, joinといったコマンドを使うことが多いが、CSVの処理で使えそうなコマンドラインツールを簡単に試してみる。 テスト用のCSVデータは下記ページで作成した。 Mockaroo - Random Data Generator and API Mocking Tool | JSON / CSV / SQL / Excel column以外はGitHubのスター順で紹介している。 column stackoverflow.com columnはLinuxコマンドだが検索で結構ひっかかったので紹介。 以下のように見やすいように揃えて出力してくれる。 $ head -n5 test.csv id,fi
PostgreSQL の COPY コマンドと SQL だけを使って、いろいろなデータをテーブルにインポートする方法についてまとめてみました。 プログラミングが得意で、データベースはあんまり得意じゃないっていう人だと、データをインポートする際に、何でもかんでもゴリゴリとプログラムを書いて済ませてしまうことが多いかと思いますが、COPY コマンドと SQL だけでも結構複雑なデータをインポートすることができたりしますので、簡単に紹介してみます。 シーケンスをインクリメントしながらインポートする 例えば、次のような感じのテーブルと user_no_seq というシーケンスがあったとします。 user_no | user_name | total_score ---------+-----------+------------- 1 | A | 120 2 | B | 130 3 | C | 9
1. Getting Started The SQLite project provides a simple command-line program named sqlite3 (or sqlite3.exe on Windows) that allows the user to manually enter and execute SQL statements against an SQLite database or against a ZIP archive. This document provides a brief introduction on how to use the sqlite3 program. Start the sqlite3 program by typing "sqlite3" at the command prompt, optionally fol
データベースを作成するためにバッチファイルでまとめて DDL を実行する方法を調べてみました。 Command Line Shell For SQLite ここに記載されている通りでした。 Command Line Shell For SQLite ドットコマンドで実行するようです。 CREATE TABLE SQL を記述したファイルを読み込んで実行するには .read コマンドを使うようです。 $ sqlite3 database.db ".read create_table1.sql" $ sqlite3 database.db ".read create_table2.sql" $ sqlite3 database.db ".read create_table3.sql" 公式のページには記載されていないようでしたが、次のコマンドでも同じようです。 $ sqlite3 databa
導入 Rの課題でCSVファイルを扱うため、データベースからCSVファイルを作る必要があった。 Railsで使っていたDBの形式はSQLite3だったため、そこからCSVへ書き出す方法を調べた。備忘のためを兼ねてまとめる。 本題 まずsqlite3を起動する $ rails db 次に、書き出したいファイル名を考えて(ここではoutput.csvとした)、以下のコマンドを打つ。 sqlite> .headers on sqlite> .mode csv sqlite> .output output.csv sqlite> SELECT * FROM customers; sqlite> .quit
概要 分析のためにデータ集めしていると、たまに マジか!? と思うサイズの CSV に出くわすことがある。なぜこんなに育つまで放っておいたのか、、、? このエントリでは普通には開けないサイズの CSV を pandas を使ってうまいこと処理する方法をまとめたい。 サンプルデータ たまには実データ使おう、ということで WorldBankから GDPデータを落とす。以下のページ右上の "DOWNLOAD DATA" ボタンで CSV を選択し、ローカルに zip を保存する。解凍した "ny.gdp.mktp.cd_Indicator_en_csv_v2.csv" ファイルをサンプルとして使う。 http://data.worldbank.org/indicator/NY.GDP.MKTP.CD?page=1 補足 pandas の Remote Data Access で WorldBan
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く