JMeterでCSVを読み込んでJSONリクエストを投げる - Qiita
JMeter設定 JMeterを起動し、[テスト計画]を右クリックし、[追加]>[Thread(Users)]>[スレッドグループ]を選択 スレッド数、Ramp-Up期間、ループ回数を指定 [スレッドグループ]を右クリックし、[追加]>[サンプラー]>[HTTPリクエスト]を選択 リクエスト内容設定。 [Body Data]でJSONを指定。${name}のような形式でCSVのヘッダと対応させた変数とする。 [HTTPリクエスト]を右クリックし、[追加]>[設定エレメント]>[HTTPヘッダマネージャ]を選択 [HTTPヘッダマネージャ]で 名前: Content-Type、値: application/json を追加 [HTTPリクエスト]を右クリックし、[追加]>[設定エレメント]>[CSV Data Set Config]を選択 [CSV Data Set Config]で[Fil
正規表現 (Regex) を利用してCSVファイルやTSVファイルを読み込む (C#プログラミング)
正規表現 (Regex) を利用してCSVファイルやTSVファイルを読み込むコードを紹介します。 概要 Regex.Split()メソッドを利用すると、CSVをカンマの区切り文字でパージングすることができます。 正規表現の作成 基本は区切り文字となる「,」(カンマ)を探す正規表現を利用します。 下記の正規表現式では「,」を検索できますが、「"」(ダブルクォーテーション)内のカンマも検索されてしまします。 , 「"」で囲まれた内部のカンマを除外するため以下の条件を追加します。 カンマ以降の文字列に「"」が無い カンマ以降の文字列に「"」が偶数個ある 具体例として文字列の途中で「,」が見つかった状態で「,」以降の文字列が分かっている場合、下記の例では先頭の「,」は区切り文字のカンマと判定できます。
【C#】TextFieldParserで100万行のCSVファイルに挑む。 - Qiita
イントロダクション どうやら続きものっぽい こちらの記事の続きです。 【C#】TextFieldParserで郵便番号データを処理する【ほぼパクリ】 - Qiita このコードで100万行のCSVファイルに耐えられるか…というかもっと高速で実行できる処理はないんだろか。と考えて色々実験してみました。 ※今回のコード全て、実行にはMicrosoft.VisualBasicの参照設定が必要です☆ 100万本のバラの花を もとい、100万行のCSVファイルを手っ取り早くつくるのに、前回使った郵便番号データ(約12万行)をサクラエディタ上でコピペして10倍に増やしました。あと、実データを考えたときにはこいつはフィールド数が少ないな、と思ったのでこれもサクラエディタ上で矩形貼り付けを使って70項目に増やしました。ファイル容量的には約600MBとまあまあの量です。 環境 こんな感じです。まあ普通じゃな
[Python] 時系列CSVの読み込みを爆速化する - Qiita
時系列データを分析する時、csv/tsvファイルからデータを読み込む処理をすることがよくありますよね。 数十MBに収まる容量のファイルならそこまで気にならないかもしれませんが、数百MB程度のファイルになると読み込むだけで数秒〜数十秒かかったりして、コードを実行する度に発生する待ち時間がストレスになってしまいます。 ここでは少しの工夫で読み込みの処理を爆速化出来る方法を紹介します。 実行環境 手元のMBPで実行時間の計測を行います。
![[Python] 時系列CSVの読み込みを爆速化する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/386651c5b9def5dfaddb5a6a5a8d0c2a58655164/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJTIwJUU2JTk5JTgyJUU3JUIzJUJCJUU1JTg4JTk3Q1NWJUUzJTgxJUFFJUU4JUFBJUFEJUUzJTgxJUJGJUU4JUJFJUJDJUUzJTgxJUJGJUUzJTgyJTkyJUU3JTg4JTg2JUU5JTgwJTlGJUU1JThDJTk2JUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz05NDU1YjgzMTE2M2Y0MGNlNDExZjIyODI4ODA5ZTQyNw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBZdWhzYWsmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTQ1OWNiMmVkYTI2NzcxNmJlMDk3OTI3OGE1YWNmZmY5%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Dc87d829c63bc940325ee975b99eef88e)
pandasでCSV/TSVファイル読み込み（read_csv, read_table） | note.nkmk.me
pandasでCSVファイルやTSVファイルをDataFrameとして読み込むにはread_csv()を使う。 pandas.read_csv — pandas 2.0.3 documentation IO tools (text, CSV, HDF5, …) - CSV & text files — pandas 2.0.3 documentation CSVファイルへの書き込み・追記については以下の記事を参照。 関連記事: pandasでCSVファイルの書き込み・追記（to_csv） pandasでのExcel, JSON, pickleファイルの読み書き（入出力）については以下の記事を参照。 関連記事: pandasでExcelファイル（xlsx, xls）の読み込み（read_excel） 関連記事: pandasでExcelファイル（xlsx, xls）の書き込み（to_exce
2010-07-06
Ubuntu で Rails のDBに MySQLを使いたい PostgreSQL, sqlite3 ばっかり使ってる rake db:migrate してもエラーがでる -> mysql を使う環境が整ってないんじゃ... $ rake db:migrate ERROR: Failed to build gem native extension.inohiro@ubuntu:~$ sudo gem install mysql Building native extensions. This could take a while... ERROR: Error installing mysql: ERROR: Failed to build gem native extension. /usr/bin/ruby1.8 extconf.rb checking for mysql_query(
MySQL CSVファイル入出力
MYSQLでの「CSVファイル」の入出力(インポート、エクスポート)方法について記載しています。 Windows、Linuxのどちらの環境でもファイルパスの記載が変わるだけでコマンドは同一になります。 入力 LOAD DATA INFILE 「,」などで区切られたCSVファイルを用意することにより、MySQLに高速にデータを入力することができます。 文字の囲み文字が「”」のときの使用例です。 囲み文字が必要ないときはENCLOSED BY ‘”‘を外します。 構文 LOAD DATA INFILE "ファイル名" INTO TABLE テーブル名 FIELDS TERMINATED BY ',区切り文字' ENCLOSED BY '"';
ExcelでUTF-8のCSVを開く方法 (CodeZine編集部ブログ)
Unicodeが実装レベルで登場してからずいぶんたった今では、UTF-8のファイルを普通に扱うことが多くなりました。ほとんどのアプリケーションも何なくUTF-8のファイルを読むことができるようになっています。 ところが、です。最近UTF-8のCSVファイルで作業していて、これをダブルクリックしてExcelで開くと文字化けすることに気づきました。 最初はUTF-8からExcelが好きそうなS-JISに変換していたのですが、ちょっと複雑なデータになると「変換できない文字があります」というアラートがでます（長母音記号などが鬼門）。できればUnicodeのままでExcelに読み込ませられないものか。 以前よりマイクロソフト社製品はすべて内部的にはUnicodeを全面的にサポートしているはずなので、読み込ませられないわけはないはず…とおもって検索したりしていたところ解決方法がわかりました。 ＜解決方
Perlメモ
複数のプロセスでロック状態が異常であると判断し，そのうちの 1つがロックを解除したことにより，別のプロセスがロックしたにもか かわらず，先ほどロック状態が異常であると判断したプロセスによってこの正常なロッ クを解除されてしまう可能性があります． この方法の問題点は，異常なロック状態を解除する操作が正常なロック状態をも 解除できてしまうことにあります．逆に言えば，異常なロック状態を解除する操作に よって正常なロック状態を解除できなければ問題ないわけです．そのためにはどうす ればよいのか？ 答えはロック状態が常に変化していけば よいということです．そして，これを実現するのに都合がよいのが rename による方法になります． 最初のスクリプトで説明しますと，ロックファイルが lockfile という 名前のときがロックが解除されている状態で，lockfile987654321 のよう に後ろに
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Index of Classes & Methods in csv: Ruby Standard Library Documentation (Ruby 2.0.0)
#362 Exporting CSV and Excel - RailsCasts