Re: Goでcsvを操作するための基本的な知識
はじめに Println で標準出力してみると以下のように表示されるかと思います。（SHIFT-JIS形式なのでmacでみると文字化けしていますがひとまず置いておきます） 日本では一般的に CSV ファイルは Shift_JIS でエンコードされている事が多いです。Go 言語は内部のエンコーディングが UTF-8 なので、Shift_JIS な CSV ファイルを読み込むと文字化けします。 そこで便利なのが エンコーディングの変換は golang.org/x/text/transform が便利です。このパッケージと、golang.org/x/text/encoding/japanese を使う事で、os.Open で開いたファイルがさも初めから UTF-8 であるかの様に扱う事ができます。 どんな風に扱うか japanese パッケージには japanese.ShiftJIS や jap
Go言語で扱えるデータフレーム厳選4つ - Qiita
はじめに データサイエンティストでなかったとしても、数値データを使って様々な解析をする際には CSV ファイル等ファイルを読み込み、数値の配列としてメモリに保持して、それらをループ等で利用して解析を行っておられると思います。 その際、配列は1次元目に行、2次元目に列、を格納するのが一般的です。多くのケースではこの方法で事足りるのですが、解析を行ううちに「列としてデータの固まりを扱いたい」「ラベル付けされた列を扱いたい」と感じる事が出てくると思います。 これを簡単にしてくれるのが「データフレーム」です。 データフレーム4種 本記事では Go 言語から扱えるデータフレームを4つご紹介します。 QFrame https://github.com/tobgu/qframe QFrame は、フィルタリング、集計、およびデータ操作をサポートするイミュータブルなデータフレームです。 QFrame での
先頭の0が消えないCSVファイルの作り方 | ウェブインパクトエンジニア IT番長ブログ
東京kです。こんにちは。 なんか、このBlogが食べ物の話題だらけになっていると聞きつけて、久しぶりに投稿です。 とはいえ、すぐに出てくるネタが無いので、割と知っている人は知っている的な技術話題を。 業務でCSVファイルってよく使いますよね？ でもよくある話しの一つとして『「0123」等の値がExcelで開いても「123」になってしまう。』問題があります。 今回はそれを解決するお話し。 この問題のアプローチは2つあります。 ファイルを開くときに対処するか ファイルを作るときに対処するか です。今回は後者で、普通に開いても0が消えないCSVの作り方です。 この話の前に、そもそもCSVファイルはなんぞや？という話はありますが、語り始めると長いので割愛します。 簡単に言うと「カンマで区切られたデータが入ったテキストファイルで、ソフト毎の方言が非常に多いファイル形式」ですね。 今回のミソは、この「
PHP: fgetcsvでもSJISのCSVをUTF-8として《安全》に読む方法(ストリームフィルタ使用) - Qiita
fgetcsvでShift-JIS文字コードのCSVを読むと、文字列がShift-JISのままの配列が返ってくるため、UTF-8を基本的な文字コードに据えたシステムでただ不便というだけにとどまらず、SJISのCSVをfgetcsvで直接読み取るのは「5C問題」のため危険である。 本稿では、ストリームフィルタを使ったSJIS CSVの安全な読み込み方法を紹介する。なお、本稿で作るストリームフィルタの完成形はGitHubで公開する。 5C問題とは よく見かける次のような実装は5C問題のため、データによっては読めないものが出てくる危険性がある: $fp = fopen('sjis.csv', 'r'); while ($row = fgetcsv($fp) !== false) { // fgetcsvで読み取った後に、文字コードを変換している mb_convert_variables('UTF
PHPでSJISのCSVを読み込んでUTF-8として処理する場合のサンプルコード - Qiita
追記 より良い実装をコメントで頂きましたので、あわせてご確認ください。 PHPでCSV、この手の記事は古いのから新しいのまで山のように見つかるけど、なかなかうまくいかなくて嵌ったので、ある程度形になったソースコードをメモしておく。 // setlocaleをまずは設定 setlocale(LC_ALL, 'ja_JP.UTF-8'); // フレームワークによって違うので省略 $filePath = 'CSVファイルのパスを取得するための変数'; // 読み込んだSJISのデータをUTF-8に変換して保存 file_put_contents($filePath, mb_convert_encoding(file_get_contents($filePath), 'UTF-8', 'SJIS')); // UTF-8に変換したデータをSplFileObjectでCSVとして読み込み $fil
CSV読込みの為にfgetcsvを利用しても一文字目が文字化けになる - ニンニンイン
■解決法 解決方法として、結局はエンコード周りをあさればよいみたいです。 CSVを読込む「fgetcsv」の行の前に setlocale(LC_ALL, 'ja_JP'); と記述することで、直る場合もあるみたいです！ それでも駄目だったら…専用に関数を作成されたPHPプロ達がいるみたいなので、その方々にあやかりましょう(*＾ω＾*) 参考サイト文字化け対処方法について – PHPプロ！Q&A掲示板 yossyさんの記事のソースです。 <?php // PHPプロ！Q&A掲示板 yossyさん作成 [http://www.phppro.jp/qa/371#2255] function fgetcsv_reg (&$handle, $length = null, $d = ',', $e = '"') { $d = preg_quote($d); $e = preg_quote($e); $
PHP で CSV 文字列生成 - Free lancer’s blog
PHP で CSV 文字列が必要になったんですが、 str_getcsv はあるものの、str_putcsv なる関数がない ネーミングがおかしい気がしますが str2csv ？ 仕方なく自作することに 因みに implode( ',', $array); でいいじゃんって人は帰ってください。 いいんじゃないですか？それで で、話を戻すと、fputcsv がすぐに思い浮かぶ そして、バッファも確かあったなと 出力バッファがまず思い浮かんだけど、用途として間違っている 出力バッファ関数郡は魅力的だけど 出力バッファを使ってしまうと この処理をする前に何か出力されていたら、相当面倒なことになる。 出力バッファなんて使ったら何してんのって話だ。 てことで、しょうがなく、バッファで遠回りして csv 生成 一から、csv 生成関数作ってもいいような気もするけど、その辺は時短ということで <?php
Symfonyで大容量CSVをダウンロードする
この記事は 2015年3月22日 に開催された Symfony Meetup #2 で LT した内容を整理したものです。発表資料の公開も考えましたが、ソースコードがそれなりにでてくるのでブログで整理して公開することにしました。 Symfony2 で CSV ダウンロードといえば twig を使うのが一般的（？）ですが、この方法は CSV の件数が多い場合すぐにメモリ上限に達してしまいます。メモリ使用量を抑え、大容量の CSV にも耐えられる Symfony 流のダウンロード方法を模索してみました。 動作確認環境 PHP5.6MySQL5.6Symfony2.6 目次 Twig による CSV ダウンロードはメモリオーバーしてしまう 素の PHP の場合 StreamedResponse と Query::iterate() を使う バッファクエリと非バッファクエリ Symfony を非バ
どんぞこ日誌(2008-10-22) - Text::CSVの拡張、Text::CSV::Encoded
* [Perl] Text::CSVの拡張、Text::CSV::Encoded 久しぶりに新しいモジュールをCPANにアップしました。Text::CSV::Encodedです。基本はText::CSVですが、文字コードの変換も引き受けてくれます。 $csv = Text::CSV::Encoded->new ({ encoding_in => "cp932", encoding_out => "utf8", }); みたいにやっておくと、後はparse/getline/getline_hrではCSV文字列をencoding_inとしてdecodeします。反対にcombine/printでは出力CSV文字列をencoding_outでencodeします。parse/getlineで得たデータリストをUnicodeにしたくない、あるいはcombine/printに渡すリストはUnicodeで
CSVデータをお手軽/高速に扱うモジュール作った。 - spiritlooseのはてなダイアリー
CSVファイルを処理することがあったので、いつもどおりText::CSV_XSを使おうかなぁと思ったんだけど、最近libcsvっていうのを見かけたので試してみることにした。 というわけでPerlから使いたいので、適当にモジュール作った。 http://search.cpan.org/dist/Text-CSV-LibCSV/ 使い方は use Text::CSV::LibCSV; csv_parse($data, sub { my @cols = @_; # なんか処理 }); こんだけ。楽チン。 こんなスクリプトでベンチとってみたところ、Text::CSV_XSの倍以上速い。 そんなわけで、そこそこ使えるんじゃないかと思います。 libcsv入れるのがちょっとめんどくさいけどね。 なんか作者にチラッと10行ぐらいのメールしといたら5倍ぐらいになって帰ってきてる・・・ バグ報告もたっぷり。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Excel】CSVファイルをダブルクリックで開いてはいけない!?エクセルでCSVを正しく取り込む方法【いまさら聞けないExcelの使い方講座】
pythonを使った株価の自動収集 - Qiita
GitHub - mithrandie/csvq: SQL-like query language for csv
日経クロステックが『覆された常識』とか言ってるCSV を利用した攻撃の情報がちょっと古い件 - Windows 2000 Blog
PHPでのCSV出力について
あきら×ひろこ＝ゆう – あきら・ひろこ・ゆう の 家族日誌