【S3からS3へ】Node.js の Streaming API を使って Lambda Function のみで CSVファイルを JSON Lines ファイルへ変換する | DevelopersIO
CSV to JSON Lines fast-json のドキュメントを見ながら実装します。transform をうまく使えば実装できそうです。 const { EOL } = require（'os'）; const { parse } = require（'fast-csv'）; const stream = require（'stream'） // 入力CSVをまずはテキストで用意します const CSV_STRING = [ '回答ID,a1,a2,a3,a4,a5,a6,a7,a8,回答日時', 'classmethod_answer_0,2,9,1,7,5,5,4,Kesase dunwu it nisfen iwo vogal ako po giser hosjobik.,2020-05-15T14:01:12.299+09:00', 'classmethod_answer
正確でカスタマイズ可能な日本の祝日・休日判定処理を求めて | DevelopersIO
はじめに 業務システムで、曜日の判定はできても、祝日・休日の判定が難しいと思うことないですか。今年は特に、平成最後の年ということで祝日がイレギュラーですよね。 以前開発していたAlexaスキルで、祝日・休日の判定が必要な場面がありました。"JavaScript 祝日判定"などのキーワードで検索すると、『国民の祝日に関する法律』を基に祝日の判定処理をハードコードしたnpmパッケージやサンプルプログラムがたくさん見つかりますが、以下の点で問題がありました。 今年のような祝日の例外に対応できない 事業所休業日の反映など、お客様のご要望に合わせたカスタマイズができない 継続的な運用(情報の更新)が難しい これらを満たせる祝日・休日判定処理の実装と運用方法を考えてみました。 祝日データの取得 まずは、今年のような例外にも対応した、正確な祝日のデータが必要です。 祝日に関する事務を所掌するのは内閣府大
trdsqlというコマンドラインツールを作った - Qiita
trdsqlというコマンドラインツールを作りました。 Goで作ってます。 githubの trdsqlからダウンロード出来ます。 またLinux/Windows/macOSのバイナリもあります。 以下は、古くなっている内容もいくつかあります。 最新版に対応した、より詳細な内容は trdsql 目次 | Noboru Saito's page を参照して下さい。 これは何？ 簡単に言えばCSV(TSV含む)やLTSVに対してSQLを実行できるツールです。 同様のツールが q や textql 等いくつかあります。 trdsqlはPostgreSQLドライバとMySQLドライバを含んでいて実際にDBに接続することでSQLite以上の機能を使用できるようにしています。 PostgreSQLやMySQLの構文が使えるだけではなく、CSVファイルと実テーブルでJOINしたり、CSVファイルからテーブ
RailsのCSVのところをRustで処理したら早かった - Qiita
背景 RailsでCSVを返す時、10万データくらいのものを普通に処理するとメモリを食い潰したり、処理が遅かったりする。 そこで解決策を探していたら、RustでRailsの代わりにCSVを作るという素晴らしい記事に出会った。 この記事はPostgresやNginxを使ってたが、私はMySQLを使っており、Railsのアプリケーション内で完結したかったので、参考にしながら試験的に作って見た。 お断り Railsをすでに理解していることを前提に進めます。 初心者の方へ環境構築周りを最後の方におまけとして書いておきますので参考にしてください。 筆者はRust初心者ですのでアドバイスを頂けるととても助かります。 環境 Ruby 2.3.3 Rust 1.14.0 Rails 5.0.1 Gemfileは基本デフォルト source 'https://rubygems.org' git_source
CSVからモデルオブジェクトを生成する際に気をつけたこと - クックパッド開発者ブログ
こんにちは、クックパッド編集室の加々美です。 現在、食や暮らしのトレンドを発信するメディアであるクックパッドニュースの開発に携わっています。 クックパッドニュースは、1週間に100本以上の記事を配信しています。 このように比較的多くの記事コンテンツを作成する際、記事の基本的なパラメータ(例えば配信時間や記事の執筆者)をWebアプリケーション上で一つ一つ設定して記事を作成するのは時に煩雑な作業になりがちで、特に編集スタッフにとっては、スプレッドシート上で記事のパラメータを設定できた方が分かりやすく、作業がより確実になる場合があるかと思います。 (また、スプレッドシートであれば楽に複数人で編集できるというメリットもあります) 今回は、スプレッドシートからエクスポートしたcsvを用いて、モデルオブジェクトを生成する際に気をつけたことを紹介します。 ※ 本稿ではGoogle Driveのスプレッド
Generating and Streaming Potentially Large CSV files using Ruby on Rails
Generating and Streaming Potentially Large CSV files using Ruby on RailsMay 9, 2013 Most applications I’ve worked on at some point required that ‘Export’ feature so people would be able to play with the data using the familiar Excel interface. I’m sharing some code here from a recent work that did the following: Generate a CSV file for download with up to 100,000 rows in it. Since the contents of
URLを入力するだけ！コンテンツをスクレイピングしてデータ化してくれる無料ツール「import.io」
import.ioとは import.ioは、データ化したいページのURLを入力するだけで、自動でデータ箇所を判断して情報を集めてくれるスクレイピングサービスです。 無料で利用することができ、セットアップも、データ収集用のトレーニングなども必要ありません。 URLを入力して、ボタンを押すだけという簡単さから、誰にでも利用できるデータ収集ツールだと思います。 以下では、その簡単な使い方や、利用例などを紹介したいと思います。 定期的なサイトへのスクレイピングは相手サイトの負荷になるので、一日に何度も何度も同一サイトに使用するのはやめましょう。加えて、取得したデータを、そのまま何かに利用すると著作権違反になる恐れもあります。 基本的な使い方 import.ioの最大の特徴は、使い方の簡単さです。 以下では、その使い方の例として、IKEAのソファー検索結果ページのデータを取得してみたいと思います。
RailsでCSV/Excel/OpenOfficeのアップロード機能の実装方法 - Rails Webook
RailsでCSV/Excel/OpenOfficeのアップロード機能の実装方法について説明します。 動作確認 Ruby 2.1 Rails 4.1 Roo 1.13.2 目次 Railsプロジェクトの作成 CSVのインポート機能の実装 Excelのインポート機能の実装 1. Railsプロジェクトの作成まず、Raislのプロジェクトを作成します。 rails new csv_import_test cd csv_import_testそして、必要なコントローラー、ビュー、モデルを作成します。 rails g controller Products index rails g model Product name:string price:integer released_on:date rake db:migrate CSV出力するためのデータを作成します。 # db/seeds.rb
js-xlsx で js で excel のファイルを生成する - tokuhirom's blog
Excel ファイルの生成、めんどくさいですよね。CSV の生成めんどくさいですよね。HTML を出力した上でさらにやるのはだるい、というわけで、HTML の DOM を解析して JS で XLSX 生成してダウンロードさせたらいいんじゃね?と思ってそういうのやれるやつ探したら、js-xlsx ってのがあった。 これをつかって、HTML のレポートから XLSX を生成するコードを書いた。なかなかうまく動く感じしてる。 http://tokuhirom.github.io/js-xlsx-demo/ td タグに class を指定すると数字カラムになる、みたいな感じになってるのがいいかんじです。 js-xlsx で生成したXLSXは、FileSaver.js で保存させてます。 デモで利用している JS は以下のようなものである。簡単でしょ。 "use strict"; var data
CSV出力のまとめ - 昔の Ruby On Rails のブログ
対象はWindowsとみなし、SJISで。 モデルでCSVを作って、コントローラで文字コード変換。 コントローラ。format を使うんですね。 def index @projects = Project.all respond_to do |format| format.html # index.html.erb format.xml { render :xml => Project.all } format.csv { send_data NKF.nkf('-sW -Lw', Project.to_csv), :filename => 'projects.csv', :type => 'text/csv; charset=Shift_JIS' } end end nkf のオプションで改行コードを意識する。 モデル。ロジックはモデルにしました。 def self.to_csv head
Ruby標準添付ライブラリcsvのCSV.tableメソッドが最強な件について
─ 問題１ ─ data.csvファイルには、５人のプレイヤー（Alice, Bob, Jimmy, Kent, Ross）が二種類のゲーム（gameA, gameB）をプレイした結果が次のような形で格納されている。各ゲームの平均点を求めよ。 data.csv player,gameA,gameB Alice,84.0,79.5 Bob,20.0,56.5 Jimmy,80.0,31.0 Kent,90.5,15.5 Ross,68.0,33.0 data = File.read('data.csv') headers, *scores = data.lines.map { |line| line.chomp.split(',') } scores # => [["Alice", "84.0", "79.5"], ["Bob", "20.0", "56.5"], ["Jimmy", "80
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - mithrandie/csvq: SQL-like query language for csv
Sign in - Google Accounts
気象観測データを統計処理・取得できるウェブページを公開します - 気象庁 | 平成２５年報道発表資料