バッチ処理の一部で 30 分以上かかっていた処理を 14 秒で終わるようにした話 - @watson1978 の日記
Ubiregi Advent Calendar 2018 の 18 日目です。 ユビレジではたくさんのお客様の大量の POS データをお預かりしており、様々なバッチ処理も実行されています。今回は特定のケースでバッチ処理の一部が 30 分以上かかっていた処理を 14 秒で終わるようにした話について書きたいと思います。前回の Ruby 2.5 の SEGV と闘った話 - @watson1978 の日記 に引き続き DTrace を使った話になります。 はじめに ユビレジでは CSV ファイルでお客様が特定のデータをダウンロードしたりアップロードできる機能があります。CSV ファイルにエクスポートしたり、CSV ファイルから DB に取り込む処理を Worker を起動してバッチ処理しています。 大量のデータを保有しているアカウントと同量のデータを用意して手元の環境で試したところ時間がかかるこ
「ゼロからわかるRuby超入門」は本当にはじめてのプログラミングに適しているというお話 - すむとこ探し
こんにちは。ぷぽと言います。私は昔々、文系未経験からひょんなことでIT企業に入社し、うっかりエンジニアになってしまった人間です。今回は11/22発売の「ゼロからわかるRuby超入門」が、当時の自分に渡してあげられれば...と悶絶するくらい素晴らしい本でしたので紹介させてもらいます！ gihyo.jp 一言で表現するならば「ゼロからわかるRuby超入門は優しさでできている、その名に恥じない本である」です。なぜそう思ったか、どこが（誰に）オススメか、といったことをずらずら書き連ねていきます。 ※この先の文章ですが、もしかすると本当に初心者の方は「なんだその単語は？」って思う部分があるかもしれません。ただ、それは今後この本で学べば大丈夫()なので、今は雰囲気だけでも受け取っていただけると幸いです！ 本当に初心者の視点で書かれている Rubyというプログラミング言語に限らず、私は技術周りの本やWe
【Python・Ruby】コードで理解するオンライン上からデータを取得してCSVに書き出す方法 - Qiita
オンライン上のデータを取得するために、APIを利用したりスクレイピングをしたりして、CSVに書き出すことをする必要がある機会がちょこちょこあります。 その際以前に投稿した記事を参考にしたりして書くこともあるのですが、複数の記事に散らばっていたのでひとつにまとめておこうと思います。 個人的に、こういう場合PythonかRubyを使うことが多いのでこの言語について個人的なアプローチ方法を書きます。 過去記事 python お天気apiから近日の天気を取得する LDAによるトピックモデル with gensim ~ Qiitaのタグからユーザーの嗜好を考える ~ Rails スクレイピング手法 Mechanizeの使い方 Ruby CSVを扱うためのメモ 概要 この記事は基本的にはコードベースで説明します。 説明することは PythonでrequestsとBeautifulSoupを用いてデータ
RubyでWebを操作できるMechanizeの利用例を集めてみた | Scimpr Blog
公式mechanize.rubyforge.org/ 使い方などMechanize について 楽々スクレイピング! Ruby Mechanizeの使い方 楽々スクレイピング! Ruby Mechanizeの使い方(2) リンクmechanizeでどんなことができるのか色々知りたかったので、使い方でなく実用例ぽいものを集めてみた. リンク先のコードは古いのもあって動かないかも そもそも公式のグーグル検索がそのまま動かないという DoCoMoの請求書を毎月Evernoteに送信してチェックするカスペルスキーのサイトからウィルスレベルをスクレイピングして、つぶやく。RubyのMechanizeではてなブログへ投稿RailsCastsの動画をタグごとにダウンロードしてくるスクリプトニコニコ動画の動画をダウンロードauの請求書を取得ソフトバンクの請求書を取得ゆうちょ銀行のログインとか取得かrubyの
DoCoMoの請求書を毎月Evernoteに送信してチェックする - それマグで！
紙は死んだ？ 紙で明細が毎月印刷されて届く郵送サービスは偉大だと思う。 アプリで明細確認や、WEB明細はハッキリ言って見ない。 印刷を節約することでコスト削減・環境保護ってわかりやすいお題目だけど誰も得してない。 郵送をやめても環境保護にはならない。 だって郵便局のサービスとルート配送が、DoCoMoの請求書に関係なく動いているもの。 社会インフラ事業は利用者が多いほど環境負荷が減って、効率が良くなるものです。 紙請求書を復活して欲しいけれど、無理なのでPDFをEvernoteに擬似郵送する Evernoteに送信しておけば間違いなくPDFを見忘れない！ DoCoMoに請求書をPDF取得して保存するスクリプト gistに投げておいた→docomo.rb #!/usr/bin/env ruby #coding: utf-8 $KCODE='u' if RUBY_VERSION.to_f <
自動文書検査ツールRedPenをRubyから使えるredpen-rubyを書いてみました - Fuzoku実践入門ブログ
最近、RedPenという技術文書向け校正ツールを知りました。RedPenについては、RedPenを使って技術文書を手軽に校正しよう：連載｜gihyo.jp … 技術評論社に詳しい説明があります。 本格的に文章を書くようになり、こういったツールを求めていたため、早速試してみることにしたのですが、epubcheckをepub_validatorを使っている身としては、RedPenもRubyから使いたいなぁと思ったので、折角なので最近覚えたRubyを使ってepub_validatorのコードを参考にラッパーツールを作ってみることにしました。 RedPenRuby is a Ruby wrapper for redpen: a text inspection tool. akinomurasame/redpen_ruby redpen_ruby | RubyGems.org とりあえず、希望する動
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
