タグ

rubyとcsvに関するmanabouのブックマーク (4)

  • 【短命に終わった】国民の祝日.csvをパースして変換するRubyプログラムとコード解説動画 - Qiita

    はじめに 1週間ほど前、内閣府の「国民の祝日」CSVがひどい、みたいな話が話題になっていました。 参考: 【悲報】内閣府の「国民の祝日」CSVがひどいと話題に なぜ「ひどい」と言われていたのかというと、普通のプログラマが期待する「日付と名前が上から下に並ぶCSV」ではなく、「2016年の列 => 2017年の列 => 2018年の列」のように年単位で列方向(横方向)に繰り返すフォーマットになっていたからです。 (しかも一番下に「月日は表示するアプリケーションによって形式が異なる場合があります。」みたいな注意書きが入ってる!) まあ、ひどいと言えばひどいんですが、これを扱いやすいフォーマットに変換するプログラムを作るのはなかなか面白そうだなと思いました。 というわけで、そんなプログラムを作りました! 国民の祝日.csvをパースするプログラム、とりあえずコードは書いた。https://t.co

    【短命に終わった】国民の祝日.csvをパースして変換するRubyプログラムとコード解説動画 - Qiita
  • Shoryukenでつくるバッチ処理基盤 - トレタ開発者ブログ

    トレタのAPI開発を担当している芹沢です。 トレタでは、長時間かかるバッチ処理を複数台のサーバ上で処理させて短時間で処理できるバッチ処理基盤をAWS上で構築しました。この仕組みについて説明します。 目的 短期的には以下の課題を解決するため、長期的には似たような要件が再度発生した時に、同じ手法で解決できることを目的に作りました。 非同期でDBをデータソースとしたデータを加工してCSVファイルとして出力してS3にputしたい データソースはDBに入っているリアルタイムのデータであることが求められる CSVファイルの作成は決められた時間内に完了する必要がある 対象となるデータソースの量は日々増加し続けるが、常に決められた時間内にCSV作成が完了している必要がある 難点 今回の要件で技術的に難しい点は以下の2点です。 DBを直接参照しながら大量のデータを処理する 例えば、データソースとしてDBから

    Shoryukenでつくるバッチ処理基盤 - トレタ開発者ブログ
  • (あなたの周りでも見かけるかもしれない)インスタンス変数の間違った使い方 - Qiita

    (2021-8-28追記) この記事の改訂版を書いてみました。改訂版の方が易しい内容になっているので、プログラミング初心者の方はこちらを参考にしてみてください。 はじめに:「引数があるよりは、ない方が良い」? 先日、同僚の西見さん(@mah_lab)がこんな技術ブログを書いていました。 インスタンスメソッドとクラスメソッドはどのようにして使い分けるべきか?(Rubyの場合) 同じ内容を僕だったらどういうふうに書くかな~?と思って、ちょっと書き始めてみたんですが、わかりやすく実践的な説明をするのは意外と難しく、内容も西見さんのブログとほぼ同じになりそうだったので、途中で断念しました。 というわけで、インスタンスメソッドとクラスメソッドの使い分けが未だにあやふやだという方は、ぜひ西見さんのブログを読んでみてください! ・・・なんですが、1点だけ気になる点がありました。 それはインスタンスメソッ

    (あなたの周りでも見かけるかもしれない)インスタンス変数の間違った使い方 - Qiita
  • ラボの分析装置を hack して便利にした話――研究以外でもプログラマがどう研究に貢献できるか - biochem_fanのブログ

    以前所属していたラボで書いたプログラムの話をする。学問的な見所はほとんどないけれど、プログラマとしては愉快なタスクだったし、ラボの仕事の効率化に少なからず貢献できたと思っている。これらのプログラムは、今でもほぼ毎日使われているはずだ。エピソードは全部で3つ。最後に「まとめ」もつけた。 注意: 諸事情により細部を伏せたり変更している。実際のデータやスクリーンショットを出したほうが分かりやすいだろうが、これも出せない。申し訳ない。あと、自慢話うざいという人は読まない方がお互い幸せだと思う。 測定データを記録するバイナリファイルを解析した話 高速液体クロマトグラフィーという装置がある。装置は分離部と検出部からなる。前者はサンプルを分子量や電荷などによって分離する。後者は分離後一定の順序でチューブの中を流れてくるサンプルを、一秒間に数回ずつ検出する。結果は、横軸が時間、縦軸が測定値の折れ線グラフと

    ラボの分析装置を hack して便利にした話――研究以外でもプログラマがどう研究に貢献できるか - biochem_fanのブログ
  • 1