タグ

csvに関するtarchanのブックマーク (43)

  • 1. 基本的な使い方 — Super CSV Annotation 2.3 ドキュメント

    1<dependency> 2 <groupId>ch.qos.logback</groupId> 3 <artifactId>logback-classic</artifactId> 4 <version>1.2.11</version> 5 <scope>test</scope> 6</dependency> 1<?xml version="1.0" encoding="UTF-8"?> 2<configuration> 3 <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender"> 4 <encoder> 5 <Pattern>.%d{HH:mm:ss.SSS} [%thread] %-5level %logger{15} - %msg %n</Pattern> 6 </encoder> 7 <filte

  • なぜRDBからCSV + COBOLに変更する事でコスト削減と高速化を同時に実現出来たかの考察 - ブログなんだよもん

    そもそも既存はどんなロジック? RDBなんだからWhere句使ったら? なぜファイルにすると速くなるのか? 並列化と分散処理による高速化の可能性 COBOL使う必要あったの? Javaとかじゃダメだったの? まとめ TLを見てると以下の記事が少し話題になってました。 tech.nikkeibp.co.jp tech.nikkeibp.co.jp 対象の記事は有料会員じゃないと見れないのだけど事例としては以下みたい。 リソース - ユーザー事例 - COBOL製品 ユーザー事例 : マイクロフォーカス さて、この記事の驚きポイントは「1億レコードくらいのDB処理をRDBからCOBOL + CSVに変更してUnixサーバからWindowsサーバに変える事で性能を維持しつつコストを1/5くらいにした」という事でしょう。 「せっかく7割もあったSQLを全部COBOLに変えるとか時代に逆行しすぎ!」

    なぜRDBからCSV + COBOLに変更する事でコスト削減と高速化を同時に実現出来たかの考察 - ブログなんだよもん
  • Ruby 2.6.0とより高速なcsv - 2018-12-25 - ククログ

    Rubyの標準添付ライブラリーのcsvをメンテナンスしている須藤です。 歴史 csvは名前の通りCSVを読み書きするための便利ライブラリーです。 もともとRuby体とは別に開発されていたのですが、Ruby 1.8.0のときにRuby体にバンドルするようになりました。dRubyやREXMLがRuby体にバンドルされたのも同じタイミングです。Ruby 1.8.0のときにバンドルするライブラリーをすごく増やしたのです。(その頃の様子がわかるURLをここに置いておきたかったけど見つけられなかった。。。) Rubyではcsvのようにrequireするだけで使えるライブラリーを「標準添付ライブラリー」と呼んでいます。Stringのようにrequireしなくても使えるライブラリーは。。。なんだろう。組み込みクラスかしら。 その後、Ruby 1.9.0のタイミングで実装をFasterCSVに置き換え

    Ruby 2.6.0とより高速なcsv - 2018-12-25 - ククログ
  • [UE4] CSVデータを扱う方法 CurveTable編|株式会社ヒストリア

    今回はCSVデータをCurveTableで扱う方法をご紹介いたします。 CSVデータはExcelで編集も出来るため、Excelでデータを作成してこの方法でインポートすることも可能です。 CurveTableはfloat型の値のみしか使うことができませんが、DataTableのように構造体の定義の必要が無く、 データの足りない部分を数種類の方法で自動的に補間してくれる非常に便利な機能です。 データ用意 使用するためにはDataTabeとは少し違った形式のCSVデータを用意します。 今回はこのようなデータを用意しました。 Parameter.csv 行にはHPや攻撃力などの項目名を入れます。 列の項目には増加していくfloat型の数字を入れます、今回の例ではキャラクタのレベルとして使用します。 記入されていないレベルのHPはUE4が自動的に補間してくれるのでいくつか重要な部分のデータを作成する

    [UE4] CSVデータを扱う方法 CurveTable編|株式会社ヒストリア
  • [UE4] CSVデータを扱う方法 DataTable編|株式会社ヒストリア

    今回はCSVデータをブループリント上で取り扱う方法についてご紹介したいと思います。 CSVExcelで編集も出来るため、Excelでデータを作成してこの方法でインポートすることも可能です。 UE4でCSVデータを扱う場合、主に DataTable CurveTable の2つを使います。 DataTableはデータの構造をfloat, int, bool, stringなどの組み合わせで自由にカスタマイズすることができ、 CurveTableはfloat型のみの対応ですが、データ間を自動で補間してくれるため、難易度の調整などに役立ちます。 DataTableは様々な形式のCSVデータに対応できますが、使うためには事前に、使用するCSVデータの構造を定義する必要があります。 バージョン4.5からエディタ上で定義した構造体もDataTableの型として使えるようになり、ますます便利になりまし

    [UE4] CSVデータを扱う方法 DataTable編|株式会社ヒストリア
  • SQLiteからCSVファイルにSQLを投げてみた | DevelopersIO

    SQLite3.14(円周率πと同じですね!)が2016/08/08にリリースされました。 リリースノートによると、CSV仮想テーブルに対応したとありましたので、早速使ってみました。 Added the CSV virtual table for reading RFC 4180 formatted comma-separated value files. この機能を使うと、CSV形式のログファイルにSQLで問い合わせるといったことが簡単にできます。 仮想テーブルについて 仮想テーブル(Virtual Table)はSQLiteのデータベースで管理されていないデータを仮想的に管理されているように見せるテーブルです。 仮想テーブルで管理されているデータは、通常のテーブルのデータと同じように SQL インターフェースで操作できます。 SQLite では 全文検索インターフェース R-Trees

    SQLiteからCSVファイルにSQLを投げてみた | DevelopersIO
  • 速いしスケールする並列CSVパーサ作った紆余曲折話 - 俺とお前とlaysakura

    この記事は↓に移転しました。 laysakura.github.io

    速いしスケールする並列CSVパーサ作った紆余曲折話 - 俺とお前とlaysakura
    tarchan
    tarchan 2014/12/30
  • それでも独自のCSVを書くつもりですか? | POSTD

    一部誤訳の指摘があったため、修正しました!ご迷惑おかけして申し訳ございません! あなたは自分でCSVを書いてみたいですか? フィールドはコンマで区切り、行は改行で分けます。簡単ですよね。数行書けば勝手が分かるというものです。 でも、ちょっと待ってください。 フィールド内にコンマがある場合は? ダブルクォート(”)で、該当のフィールドを囲みましょう。簡単ですね。 では、ダブルクォートで囲めるフィールドに例外はあるのでしょうか? フィールド内にダブルクォートがある場合は? フィールド内の各ダブルクォートに対して、ダブルクォートを二重化して適用しましょう。そうすれば元のダブルクォートをエスケープすることができます。 なお、二重化したダブルクォートと空フィールドを囲んでいるダブルクォート( ...,"",... )を勘違いしないように気を付けてください。 フィールド内に改行がある場合は? その場合

    それでも独自のCSVを書くつもりですか? | POSTD
    tarchan
    tarchan 2014/11/14
    MSはExcelをOSSにしてくれ
  • 政府、IT施策やシステム情報を「ITダッシュボード」で公開

    sponsored 生成AI「Box AI」を組み込んだBoxの将来像も披露、「BoxWorks Roadshow Osaka 2024」レポート 大阪ガス、豊中市も登壇 西日に注力するBoxが大阪で大型イベント開催 sponsored MSIのNUC「Cubi NUC 1M」を徹底レビュー NUCはどれも同じではない!ちょっとした違いなのに大きく影響するポイントを見逃さずに選ぼう sponsored 浄土真宗親鸞会がネットギア「M4250」を導入、能登半島地震では「機動力の高さ」が生きる 大規模イベントの“ワンオペ映像業務”、実現したのはNDIとネットギアPro AVスイッチ sponsored JN-IPS238FHDR-C65W-HSPなら直販価格2万2980円 昇降式スタンドとUSB Type-C給電は後悔しないディスプレー選びの新要件! 2万円台前半でも探せばある sponso

    政府、IT施策やシステム情報を「ITダッシュボード」で公開
    tarchan
    tarchan 2014/07/09
    >ITダッシュボードシステムの開発は富士通が担当し、同日その概要を発表している。
  • 内閣官房、「ITダッシュボード」を公開 | スラド IT

    内閣官房・情報通信技術IT)総合戦略室が7月4日より「ITダッシュボード」を公開している(ASCII.jp)。 ITダッシュボードは、「世界最先端IT国家創造宣言」(2013年6月閣議決定)に掲げられた施策の進捗状況や、政府各府庁の保有する情報システム数や情報システム関連予算などの統計情報を公開するサイト。利用者がサイト上で統計データをグラフ化/分析できる機能や、データを二次利用できるよう機械判読可能な形式で取得できる機能なども提供されている。 政府の「電子行政オープンデータ戦略」に基づき、すべてのデータはCSVやWeb APIなど機械判読可能な形式で公開されているとのこと。

  • [C#]StreamReader#ReadLineの改行コードを明示的に指定する

    前書きExcelやAccessのデータをコピペしてExcelで保存、それで「CSVを作った」と言い張る輩が日社会には巣っているわけですが、あんなものはCSVに対する冒涜です。 と言うのも、セル内改行されているデータが「ダブルクォーテーションで括り、セル内改行部分はLFとして扱う」と言う当にクソみたいな形式になるからです。 hoge,"fuga piyo",foo,bar StreamReader#ReadLineは改行コードがCRだろうがLFだろうがCRLFだろうが一行とみなしてくれるイカしたやつなんですが、このようなぶっ壊れたクソCSVに対してはあまりにも無力です。 ReadLineに改行するデリミタを受け取ってくれるオーバーロードがあればなぁ、でもそんなの普通使わないもんなぁ、と思いながら、拡張メソッドで実装したスニペットを載せておきます。 public static class

    [C#]StreamReader#ReadLineの改行コードを明示的に指定する
    tarchan
    tarchan 2014/06/30
  • Vimでとても簡単かつ直感的にCSVを編集する方法 - Qiita

    Vimでとても簡単かつ直感的にCSVを編集する方法は以下の通り。 1. 以下のVimプラグインをインストールする。 https://github.com/rbtnn/rabbit-ui.vim https://github.com/rbtnn/rabbit-ui-collection.vim 2. Vimから以下のコマンドで編集したいCSVファイルを選択する。 :RabbitUICollectionEditCSV ./a.csv 3. 使い方は以下の通りです。 jキー: カーソルを下に移動する kキー: カーソルを上に移動する hキー: カーソルを左に移動する lキー: カーソルを右に移動する eキー: セルの値を編集する Enterキー: 終了する(保存する) qキー: 終了する(保存しない) ※ 結構重くなるんで、実際運用するのには向いてませんよw。Vimでこういうこともできるんだ程度

    Vimでとても簡単かつ直感的にCSVを編集する方法 - Qiita
  • SQL Server BCP: How to put quotes around all fields?

  • bcp ユーティリティによるデータのエクスポートおよびインポート

    カテゴリ .NET Core (6) .NET Framework (72) ALM (16) アルゴリズム (4) クライアント技術 (36) クラウド (26) サービス (8) ツール (30) データベース (21) ネットワーク (2) プログラミング言語 (20) モバイル (2) ライブラリ (7) 組込みシステム (2) 経営 (1) 芸術 (2) OS (6) 周辺機器 (18) 数学 (6) 機械学習 (6) タグ 3D AOP ASP.NET MVC ASP.NET SignalR Azure ClickOnce DLR Entity Framework Excel JavaScript jQuery JSON Kinect Leap Motion LINQ Machine Learning NuGet Open XML PowerShell Silverlight

    bcp ユーティリティによるデータのエクスポートおよびインポート
  • Thunderbird+LightningでカレンダーのCSV形式でのエクスポート時の文字化けについて

    Thunderbird + LightningでカレンダーをCSV形式でエクスポートしたら文字化けして悲しかったので、ちょっと修正してみました。 年度末でへろへろしているところに新年度の準備がががというわけで、Googleカレンダーやグループウェアのカレンダーの準備をしてたりします。 で、 Googleカレンダーに自組織の来年度の予定を突っ込んでエクスポート エクスポートしたhoge.icsファイルを手元のThunderbird+Lightningに突っ込む さらにhoge.csvにエクスポート hoge.csvを編集してグループウェアのカレンダー用に加工して突っ込む というなんともせつない手順なのですが、3の場面でエクスポートしたファイルは見事に文字化けします。 とりあえずThunderbirdとLightningを最新版にバージョンアップして何度か試してみましたが、やっぱり化ける。見事

  • ExcelのCSVインポート・エクスポート機能を強化する「Excel CSV I/O」NOT SUPPORTED

  • Ryan Dahl の面接試験:csv データのオブジェクト配列への変換

    メルマガで連載中の「Node.js 入門」を書いていて、とても良い JavaScript の演習問題を思いついたので、久しぶりに「頭の柔軟体操シリーズ」の一環としてここで公開することにした。モダンな JavaScript の使い方の良い練習になると思うので、ぜひともチャレンジしていただきたい。 【問題】 http://ichart.finance.yahoo.com/table.csv?s=AAPL&a=11&b=1&c=2007&d=12&e=1&f=2012&g=m&ignore=.csv 上のURLにアクセスすると、株価データが CSV フォーマットで返って来ますが、これを JavaScript で扱いやすいオブジェクトの配列に変更するプログラムを書いてください。JavaScript は Node.js の最新バージョンに使われているものを前提としてください(←ヒント)。 ちなみに、

  • CSVファイル編集ソフトを調べた

    CSVファイルを編集する必要があったので、CSVファイル編集ソフトを調べた。 ■Kuto Csv Editor 一言 直感的で使いやすいソフトウェア。 ちょっとしたCSVファイルの編集に便利。 特徴 CSVファイルごとに行や列の幅が記憶され、次回同じファイルを開いた時に復元される。 コピーや貼り付けなど、行や列の編集機能がExcelと同じ挙動でわかりやすい。 タブ切り替え 参考 窓の杜 – 【REVIEW】Unicode文字に対応するタブ切り替え型CSVエディター「Kuto Csv Editor」 Vector: Kuto Csv Editor – 新着ソフトレビュー ■SmCsvEdit 一言 ExcelのXLS/XLSXファイルの読み込みに対応している。 タブ切り替え型でウィンドウの並び替えもできるので、複数のCSVファイルを開く時に便利。 特徴 タブ切り替え ウィンドウの並び替えも可

    CSVファイル編集ソフトを調べた
  • CSVから多彩なフォーマット、プログラミング言語向けに変換·Mr. Data Converter MOONGIFT

    Mr. Data ConverterはCSVフォーマットから各種プログラミング言語向けなどにデータを変換するソフトウェアです。 CSVファイルはシステム開発においてとてもよく使われるフォーマットです。XMLやHTMLなど同様の機能を提供するフォーマットもありますが、それでもやはりCSVは人気が高いです。そんなCSVデータを別フォーマットに変換してくれるソフトウェアがMr. Data Converterです。 XMLに変換しました Rubyです。 MySQLの場合はテーブル作成も入ります。 HTMLのテーブルもあります。 PHPです。 キーを小文字にしてみました。 Mr. Data ConverterはWebブラウザ上で動作し、CSV(またはTSV)を別フォーマットに変換します。変換先はActionScript、ASP、HTML、JSON、MySQLPHPPythonRuby、XMLと

    CSVから多彩なフォーマット、プログラミング言語向けに変換·Mr. Data Converter MOONGIFT
    tarchan
    tarchan 2012/08/29
  • 郵便番号データの落とし穴

    概要 MS-Access 上で郵便番号を住所変換するためには、住所入力支援機能が提供されている。 しかし、元になっている辞書ファイルのアップデートが遅れたり、用途に応じてカスタマイズするには限界があるなどの理由から、日郵政公社が配布している郵便番号データを利用して、オリジナルの郵便番号⇒住所変換機能を実装する方法も、広く知られている。 日郵政公社(執筆当時。現・郵便事業株式会社)が配布している郵便番号データは単純な CSV 形式のため、加工がしやすく、初・中級クラスの VBA の知識があれば簡単に応用が効く、というのが、私が見聞きした範囲での一般的な認知のようだ。 しかし最近になって、ふとしたことから実際にその CSV データを見る機会が有り、いくつかの疑問点・問題点が浮かび上がってきた。 はたして日郵政公社の CSV データは、当に使いやすいのだろうか? 仕様 まず、仕様を確認し

    tarchan
    tarchan 2012/08/10
    >官公庁自らが情報として劣化したデータのみしか提供してこなかったというのは、想像を絶する惨状だ。