【Ruby】スクレイピングに精度を求めるならNokogiriではなくSeleniumだ - Rubyと筋肉とギターとわたし
どうもてぃです。 とある巨大ECサイト（通称熱帯雨林）をスクレイピングして遊んでいます。 今回は nokogiri で問題が発生したので記事にしました。 nokogiriのスクレイピング精度はあんまり良くないのを実体験で痛感しましたね。 environment Ubuntu 16.04.5 LTS（elementary OS 0.4.1 Loki） Ruby 2.5.0 Rails 5.2.1 issue ページネーション要素の取得です。 Nokogiriだと４〜６割の確率でページネーションを取得できない場合があります。 問題なのが、Seleniumだとページを読み込み終わるまで待つSelenium::WebDriver::Waitがあるのに対して、Nokogiriにはwaitが存在しません。 あと、NokogiriではJS等で動的に表示しているページは上手く取得できないことがあるとのこと
gem install mysql2エラー（Error installing mysql2） - Qiita
Building native extensions. This could take a while... ERROR: Error installing mysql2: ERROR: Failed to build gem native extension. current directory: /Users/aki/.rbenv/versions/2.7.0/lib/ruby/gems/2.7.0/gems/mysql2-0.5.3/ext/mysql2 /Users/aki/.rbenv/versions/2.7.0/bin/ruby -I /Users/aki/.rbenv/versions/2.7.0/lib/ruby/2.7.0 -r ./siteconf20200324-90394-m50btx.rb extconf.rb checking for rb_absint_si
MacでRailsにgem mysql2をインストールする時のトラブルシューティング - Qiita
はじめに 2019年10月現在MacでRailsアプリ開発時にDBにMySQLを選択する場合、デフォルトではmysql2というgemをインストールします。 その時にいくつかエラーに出会ったので、まとめておきます。 実行環境 macOS Mojave v10.14.6 ruby v2.6.4 Rails v6.0.0 MySQLのクライアントが必要 MacにMySQLクライアントをインストールしていない場合、以下のようなエラーが表示されます。 Fetching mysql2 0.5.2 Installing mysql2 0.5.2 with native extensions Gem::Ext::BuildError: ERROR: Failed to build gem native extension. current directory: /Users/hogehoge/sample
gem installでnokogiriとrmagickが失敗する場合
なぜ失敗するかというと、nokogiriとrmagickはシステムに特定のソフトウェアやライブラリが入っていることに依存しているからだ。依存しているソフトウェアやライブラリをPATHの通った場所に用意してやらなければビルドができない。 nokogiriで問題になるのは主にlibxml2だ。nokogiriは独自のパッチをあてたlibxml2をビルドして使う。libxml2のビルドに必要になるソフトウェアとライブラリがある。 具体的な方法は公式ドキュメントに情報がある。 Installing Nokogiri - Nokogiri 特に入っていない可能性が高いのはzlibとliblzmaだ。Debian系ならば以下のようにパッケージをインストールする必要がある。 apt install build-essential patch ruby-dev zlib1g-dev liblzma-dev
Hanami | The web, with simplicity
% gem install hanami Successfully installed hanami-2.1.0 3 gems installed % hanami new bookshelf Created bookshelf/ -> Within bookshelf/ -> # ... -> Running Bundler install... -> Running NPM install... -> Running Hanami install... % git init . && git add . && git commit -m "Initial commit" [main (root-commit) 629fc96] Initial commit 33 files changed, 1430 insertions(+) % heroku apps:create Creatin
Windows で Nokogiri のビルドエラー解決法 再び｜Ruby と iPhone と UI と
久しぶりにアクセスログを見たら、 nokogiri のインストール方法で検索してくる方が結構いらっしゃるようなので、 最新の情報を書いておこうと思います。 # nokogiri に限った問題ではないので、条件によっては他の gem であっても解決するかも。 2015/4/27 追記 本稿は、Ruby 2.1.X までを使用している方が対象です。 Ruby 2.2.X 以降の場合は、本稿は役に立ちません。たぶん。 TL;DR 原因 & 解決法まとめ 原因: 古いバージョンの rubygems に不具合があり、環境に適した gem を取得できないため [解決法1] 手動でインストールする gem をダウンロードする または [解決法2] rubygems をアップグレードする (おすすめ) [解決法1] 手動でインストールする gem をダウンロードする nokogiri | RubyGems
gemファイルを直接インストールする方法。 - RKTM’s diary
プロキシー経由でgemをインストールしようとすると色々と めんどうなことがあったりする（環境変数にプロキシー設定したり）ので、 直接gemファイルをインストールする方法をメモ。 下記サイトから直接gemファイルをゲットする。 http://gems.rubyforge.org/ そしてgemファイルのあるフォルダに移動して、コマンドプロンプトから下記を実行。 gem install -l xxx.gem でok。 rdocやriのインストールに時間がかかるのを避けたい場合は、 下記のようにオプションをつければOKです。 gem install --no-rdoc --no-ri -l xxx.gem
CVE-2015-3900 Request hijacking vulnerability in RubyGems 2.4.6 and earlier - RubyGems Blog
RubyGems provides the ability of a domain to direct clients to a separate host that is used to fetch gems and make API calls against. This mechanism is implemented via DNS, specificly a SRV record _rubygems._tcp under the original requested domain. For example, this is the one that users who use rubygems.org see: > dig _rubygems._tcp.rubygems.org SRV ;; ANSWER SECTION: _rubygems._tcp.rubygems.org.
karabiner | RubyGems.org | your community gem host
Versions: 0.4.0 - July 12, 2016 (28 KB) 0.3.1 - May 17, 2016 (26.5 KB) 0.3.0 - December 31, 2015 (26.5 KB) 0.2.1 - August 30, 2015 (26.5 KB) 0.2.0 - July 08, 2015 (26.5 KB) Show all versions (8 total)
BundlerでRubygemsとGitHubに公開してみる - Qiita
この文章は こちらからの転載です。 はじめに いつもお世話になっているRubygemsやGithubなどのエコシステムを体験してみたいという思いがありました。 RubygemsであればRubyのBundlerが楽だろうということで、 BundlerでRubygemsとGitHubでソフトウェアを公開するまでの流れを書いてみます。 何を作るか 何を作るか。 これが実は一番難しかったりするわけですが、今回は私自身が開発を行っていてたまに欲しくなるものにします。 普段、私はLinuxのサーバサイドのソフトウェアなどをよく開発しますが、その開発中にサーバ上で、あるツールやコマンドをバックグラウンドで起動させたり、任意のタイミングで停止させたり、デーモン化されていないものをデーモン化したいと思うことがあります。 例えば、サーバ上で負荷情報をモニタリングするときに、 vmstat で情報を書き出させ、
File: README — Documentation by YARD 0.8.1
selenium-webdriver This gem provides Ruby bindings for WebDriver and has been tested to work on MRI (1.8.7 through 1.9), JRuby and Rubinius. INSTALL gem install selenium-webdriver LINKS rubygems.org/gems/selenium-webdriver selenium.googlecode.com/svn/trunk/docs/api/rb/index.html code.google.com/p/selenium/wiki/RubyBindings code.google.com/p/selenium/issues/list LICENSE Copyright 2009-2012 Software
File: README — Documentation for mysql2 (0.5.6)
Mysql2 - A modern, simple and very fast MySQL library for Ruby - binding to libmysql GitHub Actions Travis CI Appveyor CI The Mysql2 gem is meant to serve the extremely common use-case of connecting, querying and iterating on results. Some database libraries out there serve as direct 1:1 mappings of the already complex C APIs available. This one is not. It also forces the use of UTF-8 [or binary]
Ruby LotusでWeb Appを作ってみる
注意 この記事はIBM製のコラボレーションソフトについてのページではありません。Rubyで書かれたLotusというWebフレームワークについての記事です。 内容 Lotusとは何か なぜRailsじゃなくLotusか One-fileアプリを作る Lotusとは何か Lotusは新しいRubyで書かれたWebフレームワークです。比較的少人数のlotusチームが開発しています。 2014年9月の時点ではまだ本番環境では使えませんが、簡単なアプリを作るには十分に動作します。 Lotusのプロジェクトページに書かれているスローガンを見たときに一瞬で一目惚れしました。 ページにはこう書いてあります。(かなり意訳です) Lotusは軽量で高速かつテストが容易なフレームワークです。Lotusはオブジェクト指向プログラミングのエッセンスを取り戻し、安定したAPI、最小限のDSLを提供してシンプルなオブジ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ruby/xmlrpc: The Ruby standard library package 'xmlrpc'
GitHub - turbolinks/turbolinks: Turbolinks makes navigating your web application faster
turbolinks | RubyGems.org | your community gem host
hanami | RubyGems.org | your community gem host
mysql2 | RubyGems.org | your community gem host
File: README — Documentation for mechanize (2.12.2)
RSpec
