Ruby 2.5 系で CSV.generate のバグ - Qiita
ブログ記事 からの転載です。 Ruby 2.5 系で CSV.generate を使用しようとしたら意図しない動作をして、調べてみたらバグだったのでそのまとめ。 しかし、これ、結構クリティカルなバグだと思うんですけど、全然話題になってないのが不思議（当時は話題になっていたのかもしれないけど。 CSV.generate とは 以下のような感じで CSV 形式で文字列を構築する事が出来ます。 # Ruby 2.4 で実行 require "csv" require "pp" result = CSV.generate do |csv| csv << [1, 2, 3] csv << ["homu", "mami", "mado"] end pp result # => "1,2,3\n" + "homu,mami,mado\n" require "csv" require "pp" csv =
javascript で作成したCSVファイルをエクセルで表示可能にする - Qiita
■パターン1 Win / Mac共に文字化け ■パターン2 Winでは私の環境では文字化け発生しなかったが、ググってみるとバージョンによってはUTF-8だと文字化けするという声が多いので、ちょっと不明。 Macで文字化け。Macに対応させるにはUTF-16が必須。 ■パターン3 Macでの文字化けは解消されるものの、エクセルで表示させるとカンマの存在も虚しく、1セルにすべて表示されてしまう。 ↓こんな感じ ■パターン4 拡張子をxlsにすると、winで無慈悲な警告メッセージが再び表示されてしまう。 ■パターン5 何のエラーも表示されなかったベストパターン。（拡張子詐称なのを除けば） 私なりの結論 Macユーザーを無視出来るなら、UTF-16/BOM有りにするだけでもOK TAB区切りなのにcsv拡張子にするのが気持ち悪い＆許容できないなら、Macユーザには自力でセル表示してもらうように促す
[MySQL]巨大なCSVをインポートする - Qiita
MySQLで巨大なCSVをインポートする方法をいくつか試してみました。 MySQLのバージョンは5.6.30でテストしています。 mysql> select version(); +-----------+ | version() | +-----------+ | 5.6.30 | +-----------+ 1 row in set (0.00 sec) $ wget http://www.post.japanpost.jp/zipcode/dl/kogaki/zip/ken_all.zip --2016-09-17 14:40:05-- http://www.post.japanpost.jp/zipcode/dl/kogaki/zip/ken_all.zip www.post.japanpost.jp (www.post.japanpost.jp) をDNSに問いあわせています..
![[MySQL]巨大なCSVをインポートする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/b9e8870cef92ef79b9500f81281720e3786ddcf2/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCTXlTUUwlNUQlRTUlQjclQTglRTUlQTQlQTclRTMlODElQUFDU1YlRTMlODIlOTIlRTMlODIlQTQlRTMlODMlQjMlRTMlODMlOUQlRTMlODMlQkMlRTMlODMlODglRTMlODElOTklRTMlODIlOEImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTBjNmFkMjdiYzYxOTBmZjBmNzYyYzRjNTdlNzFkYzU5%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwc2FveWFnaTImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTgzZDc3NmJlZDE0NGUyOGYxNzVmMDVhMTI2OGU3YmJk%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Da8ddb46c9d577817d35e7ab7527a4746)
【Python】pandasで日本語のcsvを文字化けせずに読み込む（さらに日本語で書かれた列を抽出する） - Qiita
Python2.7.6をpycharmでデータ分析をしようと思い立ち絶賛勉強中です。 今回は、解析対象の日本語で書かれたcsvファイルを読み込んだところ 見事に文字化けしたファイルが出力されました。 いろいろ調べた結果、以下の方法で解決しました。 なぜcsvファイルが文字化けしたのか 文字化けしたファイルは前に作成したエントリーと同様の方法で 行いました。 import pandas as pd import os # データが格納されている作業ディレクトリまでパス指定 os.chdir("/ディレクトリまでのファイルパス") # csvの読み取り df= pd.read_csv("japanese.csv") print df しかし、csvの読み取りの際に、文字コードを指定していなかったため、 無事文字化けしたファイルが読み取られました。 文字化けしない日本語csvファイルの読み取り方
RailsのCSVのところをRustで処理したら早かった - Qiita
背景 RailsでCSVを返す時、10万データくらいのものを普通に処理するとメモリを食い潰したり、処理が遅かったりする。 そこで解決策を探していたら、RustでRailsの代わりにCSVを作るという素晴らしい記事に出会った。 この記事はPostgresやNginxを使ってたが、私はMySQLを使っており、Railsのアプリケーション内で完結したかったので、参考にしながら試験的に作って見た。 お断り Railsをすでに理解していることを前提に進めます。 初心者の方へ環境構築周りを最後の方におまけとして書いておきますので参考にしてください。 筆者はRust初心者ですのでアドバイスを頂けるととても助かります。 環境 Ruby 2.3.3 Rust 1.14.0 Rails 5.0.1 Gemfileは基本デフォルト source 'https://rubygems.org' git_source
[Python] 時系列CSVの読み込みを爆速化する - Qiita
時系列データを分析する時、csv/tsvファイルからデータを読み込む処理をすることがよくありますよね。 数十MBに収まる容量のファイルならそこまで気にならないかもしれませんが、数百MB程度のファイルになると読み込むだけで数秒〜数十秒かかったりして、コードを実行する度に発生する待ち時間がストレスになってしまいます。 ここでは少しの工夫で読み込みの処理を爆速化出来る方法を紹介します。 実行環境 手元のMBPで実行時間の計測を行います。
![[Python] 時系列CSVの読み込みを爆速化する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/386651c5b9def5dfaddb5a6a5a8d0c2a58655164/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJTIwJUU2JTk5JTgyJUU3JUIzJUJCJUU1JTg4JTk3Q1NWJUUzJTgxJUFFJUU4JUFBJUFEJUUzJTgxJUJGJUU4JUJFJUJDJUUzJTgxJUJGJUUzJTgyJTkyJUU3JTg4JTg2JUU5JTgwJTlGJUU1JThDJTk2JUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz05NDU1YjgzMTE2M2Y0MGNlNDExZjIyODI4ODA5ZTQyNw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBZdWhzYWsmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTQ1OWNiMmVkYTI2NzcxNmJlMDk3OTI3OGE1YWNmZmY5%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dc87d829c63bc940325ee975b99eef88e)
Laravelでcsvファイルからデータを一括で取り込む - Qiita
<?php use Goodby\CSV\Import\Standard\Lexer; use Goodby\CSV\Import\Standard\Interpreter; use Goodby\CSV\Import\Standard\LexerConfig; class InitialExampleDataSeeder extends Seeder { const CSV_FILENAME = 'path/to/file'; public function run() { $this->command->info('[Start] import data.'); $config = new LexerConfig(); // セパレーター指定、"\t"を指定すればtsvファイルとかも取り込めます $config->setDelimiter(","); $lexer = new Lexe
メモ：TensorFlowでCSVファイルを読む - Qiita
というCSVファイルを読む、以下のコードを考えます。CSVファイルは、Docker containerにマウントしているフォルダのtensorflow_dev以下にあります。 >>> import tensorflow as tf >>> filename_queue = tf.train.string_input_producer(["/tensorflow_dev/csvTest.csv"]) >>> reader = tf.TextLineReader() >>> key, value = reader.read(filename_queue) >>> sess = tf.Session() >>> tf.train.start_queue_runners(sess) >>> sess.run(value) '0,1,2,3,4,5' >>> sess.run(key) '/tens
【Unity】CSVとScriptableObjectどちらの形式でマスターデータを管理したほうが読み込み速度が高速になるか検証しました - Qiita
【Unity】CSVとScriptableObjectどちらの形式でマスターデータを管理したほうが読み込み速度が高速になるか検証しましたUnity3DUnity 現在開発中のゲームでマスターデータをCSVで管理しているのですが、 マスターデータをCSVで管理する方法と ScriptableObjectで管理する方法のどちらがより高速に データを読み込むことができるのかが気になったので調査してみました 検証環境 Unity：5.3.1f1 OS：Android モデル番号：Nexus 7 Androidバージョン：5.0.1 // タイプを管理する列挙型 public enum TYPE { } // ステータスを管理するクラス [Serializable] public class Status { public int dex_no ; // 図鑑 No. public string n
CSV のヘッダー行の日本語をシンボルに変換して要素にアクセスしたりとか - Qiita
require 'csv' HEADER_TO_SYM_MAP = { 'ID' => :id, '名前' => :name, '部署' => :department, '入社年度' => :year_joined } header_converter = lambda { |h| HEADER_TO_SYM_MAP[h] } csv = CSV.read('test.csv', headers: :first_row, header_converters: header_converter, converters: :integer, skip_blanks: true) csv.each do |row| p row HEADER_TO_SYM_MAP.values.each { |k| puts "#{k} : #{row[k]}" } end #<CSV::Row id:1 nam
【PHP】【CakePHP】CSVダウンロード - Qiita
ダウンロードためにCSVを作る場合、implode()などを使って、変数上でCSVを作成する方法では、値内のダブルコートや改行のエスケープが面倒なためfputcsv()を使うと良い。 参考：PHPでCSVを生成する 現実的な方法として、一旦メモリ上にCSVを作成してから出力する方法とCSV形式を都度出力する方法がある。 一旦メモリ上にCSVを作成してから出力 都度で出力に比べ一旦作ることで、Content-lengthを出力することができるので、ブラウザの「ダウンロード残り時間」を表示できる。 一旦ファイルにCSVを作成してからreadfileで出力する方法は、ディスクIOが大きくパフォーマンスに問題があるので、一旦作るならメモリ上に作成するのが良い。 PHPでの書きかた //メモリ上に領域確保 $fp = fopen('php://temp/maxmemory:'.(5*1024*102
【Rails】CSVをエクスポート→エクセル で文字化け問題 - Qiita
** 結論から言うと出回ってる解決策では、完璧には解決しないように思われます。 いろいろ解決策求めてここにたどり着いた方は、一番下に書いた結論のように方向転換して調査することをお勧めします。 以下概要。 CSV形式で作成したファイルの日本語文字が、ダウンロードからダブルクリックすると(railsのデフォルト文字コードutf-8だと)エクセル上で文字化けしてしまう。 原因 いたってシンプル。 エクセルが、utf-8に対応していないから。 解決策らしきもの 以下解決策らしかったけど解決してくれなかったもの。 http://qiita.com/mashiro/items/0d0b9bbb0f4a6cca620c http://qiita.com/shinichinomura/items/88879711245a420f713d Mac版エクセルでも、Win版エクセルでも両方対応するためには、UT
D3.js を使ってcsvからテーブルを出力する - Qiita
var table = d3.select('body').append('table'); //tableタグ追加 var thead = table.append('thead'); //theadタグ追加 var tbody = table.append('tbody'); //tbodyタグ追加 //csv読み込み d3.csv('hoge.csv', function(csv){ var headerKyes = d3.map(csv[0]).keys(); //ヘッダー用にkeyを取得 thead.append('tr') //trタグ追加 .selectAll('th') .data(headerKyes) .enter() .append('th') //thタグ追加 .text(function(key){return key}); tbody.selectAll('tr
PDOでオブジェクトをフェッチ＆JSONとCSVファイル出力 - Qiita
PDOを使ったデータベース操作でオブジェクトを扱う場合、不便なところが結構あります。 それを PDOStatement を拡張することで使いやすくしようという話を基本に、応用例としてJSON出力とCSVファイル出力の方法を紹介します。 オブジェクトで取得するためのフェッチモード フェッチモードには多彩なものが用意されているのですが、オブジェクトで取得する場合はどれも使いづらいです。 自分はいわゆるモデルクラスは不変オブジェクトにしたいよ派かつ、マジックメソッド大好きなので、その辺りの使いやすさについても注目してみます。 PDO::FETCH_OBJ 列名をプロパティに持つ匿名オブジェクト (stdClass) を返します。 匿名オブジェクトなんて連想配列と同じだし、今となっては意味がなさそう…。 PDO::FETCH_LAZY PHPマニュアルの記述からは PDO::FETCH_OBJ と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BOM付きCSVを読み込む[Ruby 2.3.0] - Qiita![BOM付きCSVを読み込む[Ruby 2.3.0] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0276fcb50d856d0b3bf1ef10732709fe3b178bff/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9Qk9NJUU0JUJCJTk4JUUzJTgxJThEQ1NWJUUzJTgyJTkyJUU4JUFBJUFEJUUzJTgxJUJGJUU4JUJFJUJDJUUzJTgyJTgwJTVCUnVieSUyMDIuMy4wJTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1mZjZmMTA0ZTQyZmIzODIyNWRiNzE2NGI2ZmM1YjdiYw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBidWNoaW9zYW4mdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTc2MzJjNzQ1YWExZTViOTQ2NjZkMjZkZmM1MGZiYTcw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dbb3a3e5921ec26572ffd05f0468c6ede)
CrystalでCSVファイルの読み込みを試してみる - Qiita
S3に置いたGzip圧縮済みCSVファイルをRubyで読み込んでみた - Qiita
d3.jsでCSVファイル/TSVファイルを扱う - Qiita
Rails MiniTestでCSVファイルを返すControllerをテストしたい - Qiita
CSV を文字コード変換しつつロード - Qiita
