はてなブックマーク

Twitterをスクレイピングして過去のツイートを取得できる twitterscraper-ruby gem を作成しました。 このtwitterscraper-ruby gemを使えば「もっとも古いツイート」や「ある単語をツイートした最初の人」を簡単に見付けることができます。 告知 SNSデータを用いた分析、Ruby on Railsを用いたWeb開発について、ご依頼やご相談は @ts_3156 までお気軽にご連絡ください。 なぜいまさらスクレイピングなのか ツイートを大量に取得する方法は、大別するとTwitter Search API（無料版）、Twitter Search API（有料版）、Twitterのスクレイピングの3通りがあります。 Twitter Search API（無料版） おそらく世の中の99%の方はこの方法を使ってツイートを取得しています。ツイッターが提供しているA

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Sidekiqをモニタリングする 最終更新 2019/10/31 編集者 RKushnir 運用中のSidekiqプロセスを監視するツールを使用して、常に稼働しており、メモリやCPUを過度に使用していないことを確認することをお勧めします。 Inspeqtorを作ったのは、利用可能な既存のツール（たとえば、monit、god、bluepill）が気に入らなかったためです。 私のおすすめは、 UpstartまたはSystemdを使用してSidekiqを起動/停止する。 こうすることで、Ruby VMがクラッシュした場合、プロセスはすぐに再起動します。 Inspeqtorを使用してCPUとメモリの使用量を監視し、必要に応じてSidekiqを再起動する。 Web UI Sidekiqには、Sidekiqの現在の状態を表示できるWebアプリケーションが付属しています。 Rails 次のコードを co

RubyからGoogleが提供しているAPIを利用するにはgoogle-api-ruby-client gemを使う必要があるが、APIの前提知識、複雑な認証処理、Rubyっぽくないインターフェースなど、google-api-ruby-client gemを利用するためのハードルはなかなか高い。 毎年のように調べ直すことにさすがに疲れたので、来年に向けて、現時点で分かっているGoogle APIの利用方法を書き残しておく。 最終的なRubyのコードはこちら Google AnalyticsのAPIにRubyからアクセスするコードは下記の通り。 require 'googleauth' require 'googleauth/stores/file_token_store' require 'google/apis/analytics_v3' OOB_URI = 'urn:ietf:wg:o

複数EC2インスタンスからアクセス可能なキャッシュとしてEFSを利用し、数百GB以上のデータを定常的に運用している。その中でいくつかハマりポイントが見つかったので書いておく。 EFSとは えごったーでは、ツイッターAPIのデータのキャッシュとしてEFSを利用している。EFSは簡単に言うと、複数EC2インスタンスに同時にマウントできるEBS。その他の特徴は下記の通り。 複数EC2インスタンスに同時にマウントできる共有ストレージサービス 内部的にはNFS フルマネージド、複数AZへの冗長化あり アクセス速度は、ローカルストレージ（=EBS）よりは遅い、(使い方によるが)S3よりは早い EBS > EFS > S3 料金は、EBSよりも高い、S3よりはもちろん安い EFS > EBS > S3 保存するデータ量に応じてサイズが自動で増減する この中でも サイズが自動で増減する点が他にはない特徴か

RubyとPythonの開発者コミュニティを比較してみた。 Rubyの他の可視化としてgemの依存関係ネットワークを描画してみたも公開しています。よければこちらもご覧になってみてください。 2019/01/04 23時頃 追記 Qiitaへのコメントからご指摘をいただいた通り、各言語の開発を開始した時期と公開を開始した時期が必ずしも一致していない、各言語のコミット粒度が異なる、などに注意が必要なようです。これらの点を念頭に置いた上でご覧いただきますようお願いいたします。 各コミッター毎のコミット数の経年推移 下記の追いかけグラフでは、RubyとPythonのそれぞれで、全期間でのトータルコミット数が多い順から10名を選び、グラフにプロットしています。 集計上の注意点 集計に利用したデータは ruby.csv / python.csv に置いてあります コミットの集計はGithubのリポジト

相席ラウンジ 女性は無料、男性は有料で有名な相席居酒屋の高級版みたいなお店です。仕組みは相席居酒屋とほぼ同じで、「お店が高級なので相席居酒屋よりも良い女性が多い。」という点が相席居酒屋と比較したメリットのようです。料金は、おおよそ6000円/時の定額課金＋女性が食べた料理分の支払いとなるようです。 お店側の美辞麗句はさておき、いち見込み客として気になるのは、**本当に女性が多いのか？****どの時間帯に行くのが一番お得なのか？**という点に尽きます。街コン、相席居酒屋ともに、「もう流行は終わった。」と言われて久しい中、相席ラウンジには本当に女性が多いのか、Webスクレイピングを使って調査してみました。 方法 相席ラウンジでは、お店にいる男性と女性の数をリアルタイムにWeb上に公開しています。 今回は、このWebページを毎分スクレイピングすることで、曜日、時間帯ごとの男性と女性の人数の推移を