Rails で、Controller に定義されている action を一度に取得する方法はありますか？ - QA@IT
平素よりQA＠ITをご利用いただき、誠にありがとうございます。 QA＠ITは「質問や回答を『共有』し『編集』していくことでベストなQAを蓄積できる、ITエンジニアのための問題解決コミュニティー」として約7年間運営をしてきました。これまでサービスを続けることができたのは、QA＠ITのコンセプトに共感をいただき、適切な質問や回答をお寄せいただいた皆さまのご支援があったからこそと考えております。重ねて御礼申し上げます。 しかしながら、エンジニアの情報入手方法の多様化やQAサービス市場の状況、＠ITの今後のメディア運営方針などを検討した結果、2020年2月28日（金）15:00をもちましてQA＠ITのサービスを終了することにしました。 これまでご利用をいただきました皆さまには残念なお知らせとなり、誠に心苦しく思っております。何とぞ、ご理解をいただけますと幸いです。 QA＠ITの7年間で皆さまの知識
ニコニコ動画のダウンロードツールをRubyで書いてみた。（その4） - いものやま。
Nicovideo DownloaderをRubyへポーティングしたはずなのに、なぜか正しくダウンロード出来ない。 ということで、今日はその調査と解決。 Cookieの確認 Forbiddenが出てるということは、認証で何か失敗しているということ。 そうなると、怪しいのはCookie。 とはいうものの、動画情報の取得とかは出来ているわけで、user_sessionの送信自体は問題なさそう。 なので、おそらく送信するCookieが足りないのかな、と。 実際、ログイン画面にアクセスしたとき、および、動画情報にアクセスしたときに送られてくるCookieを見てみると、nicosidというキーのCookieも送られてきてた。 そこで、試しにこのnicosidも送信。 ・・・が、やっぱりうまくいかない。 何がダメなんだろう？ 動画ページへのアクセス あと、元のNicovideo Downloaderと
RubyでCron処理みたいな事をしたい - Qiita
公開しているサーバーの負荷状況を仕事してる時にも知りたいと 思ってNotificationの出し方なんかを調べてたら何かが降りてきて数分毎にNotificationだそうとか考えた。 使ったGemとか Nokogiri スクレイピングの大御所 Menchanize Nokogiriを使いやすくしてくれる Clockwork Cronの代替。時間が来ると実行してくれる。 コード require 'clockwork' require 'mechanize' module Clockwork handler do |job| job.call end every( 1.minutes, lambda do url = 'http://path/to/site' items = [] agent = Mechanize.new page = agent.get(url) node = page.
RubyでHTML解析が超余裕なんです - 初心者エンジニアが何か書く
昨日ラーメン屋に行ってから，ずっと下痢気味＆頭痛い状態だったけど，今は割りと腹痛いだけで済んでいる． なんかRubyでHTML解析しようぜっという話が出てきたから，今日はその実装をしてみました． RubyのNokogiriというライブラリを使うと本当に簡単．超余裕です． んで，解析する対象となるページはこれ「http://umie.jp/news/event/」．神戸のイベント一覧が表示されたページ． イベント取得して，旅行者に提示してみるとかを今後やるつもり．（イベント数が多くないことは考えない） っというわけで以下は手順． 手順 1.このブログを読む． http://morizyun.github.io/blog/ruby-nokogiri-scraping-tutorial/#7 これ以上わかりやすい記事があるか，というぐらいわかりやすい良記事． ぶっちゃけこれだけ読めばHTMLの解
【Ruby】4Gifsの各ページをnokogiriでスクレイピング、GIFのURL取得 - ハイパーニートプログラマーへの道
【Ruby】4gifsのRSS取得、gifのURLを取り出す - ハイパーニートプログラマーへの道 この記事ではRSSのdescriptionからgifのURLを取り出した・・・つもりが動かないものだぞ！？ どうやらそのURLと、実際の個別記事のgifのURLは違うようだ。 要はRSSで表示された時のサムネイル的な画像なのかな？ （や、tumblrに投稿した時に動かないようだ。tumblr側で容量を圧縮しすぎてるからなのかな？ わからんですが） とにかく各個別記事にアクセスしてゲットせねばなるまい。ということで nokogiriインストール前の準備 OSX - Mac OS X Mavericksで”gem i nokogiri”失敗の解決方法 - Qiita こちらを見ていただくのが良いかと。 いざインストール、だが・・・ $ gem install nokogiri ERROR: Er
Mechanizeでページ遷移しながらスクレイピング - Qiita
ちょっとダルいポイントが有ったのでメモ程度に。 スクレイピング対象サイトとスクレイピングの流れは ページャで何ページか一覧ページがある 一覧ページのタイトルをクリックすると詳細ページが見れる 詳細ページの一部を使用 また他のタイトルをクリックしていく CSVで出力（別にいらないけどメモ代わりに。。） みたいな感じです。mechanizeだけでやります。 require 'mechanize' require 'csv' class ScrapingPages def initialize @agent = Mechanize.new @data = [] end def retrieve # 1ページ目から10ページ目までスクレイピングする (1..10).each do |i| page = @agent.get(url(i) each_section(page) do |section
[Ruby, Mac] Net::HTTPでSSL使用時にcertificate verify failed – 黒川仁の文具堂ブログ三昧
黒川仁の文具堂ブログ三昧 このブログでは、金沢市在住のプログラマ/サーバエンジニア 黒川 仁がWeb技術っぽい記事を書いています。 Mac + OpenSSL (homebrew) + rbenvという環境でNet::HTTP使ってSSLでの通信をしようと思ったらエラーがでた。 net/http.rb:917:in `connect': SSL_connect returned=1 errno=0 state=SSLv3 read server certificate B: certificate verify failed (OpenSSL::SSL::SSLError) たとえば、こんな感じのコードでhttpsなURLにアクセスする場合。 require 'net/https' require 'uri' url = URI.parse('https://www.google.co.j
RubyのNokogiriを使ってサイトをスクレイピングする - Think Big Act Local
Rubyのライブラリ「Nokogiri」を使ってみました。 Nokogiriとは HTMLやXMLをパースするためのRubyライブラリ XPathやCSSセレクタを使ったパースが可能 公式：http://nokogiri.org/ 試した環境 ruby 1.9.3 簡単なサンプル Qiitaにあがっていたものを拝借 - Nokogiriで文字化けを防ぐ - Qiita sample.rb # -- coding: utf-8 require "open-uri" require "rubygems" require "nokogiri" # スクレイピングするURL url = "https://www.walmart.com.br/" charset = nil html = open(url) do |f| charset = f.charset f.read end doc = No
Ruby で画像収集 - gan2 の Ruby 勉強日記
Rubyで画像収集ソフト的な物を作ってみた - チラシ裏日記上等！！を見て 面白そうだなぁと思い僕なりに少し書き換えてみた。 以下のスクリプトはまだ書きかけというか挙動があやしいのだけど とりあえず貼り付けておく。 最後の画像保存するところ (save_image_file) でなんか止まるんだよなぁ (´▽｀；) どうして止まっちゃうのかよく分からない。。 require 'rubygems' require 'hpricot' require 'open-uri' require 'kconv' require 'pp' def save_image_file(url, path) puts url puts path open(path, 'wb') do |file| open(url) do |data| file.write(data.read) end end end url
動画ページURL収集のRubyスクリプト
割とどうでもいいことも記事に起こすって目標があった記憶があるから 割とどうでもいい記事書きます。 最近仕事でPHPしているので プライベートでちょろっとだけRuby書いて遊んでます。 今日はその中のひとつであるURL収集用スクリプト。 ぶっちゃけ、あるサイトをスクレイビングしているだけなので超簡単。 #!/usr/bin/env ruby # スクレイビング用にMechanizeさんにお世話になる require 'mechanize' agent = Mechanize.new url = 'http://***********/' # 趣味がバレるのでURLは伏せる:p # get_urls.rb 20140404 # と実行したら # http://***********/20140404.html を取得するように url += ARGV[0] + ".html" if ARGV[
Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ
今まで何度もスクレイピングとかクローリングをしてきたので、マエショリストの端くれとしてコツを公開すべきかなあ、と思い、公開します。 今日の題材は、CNET Newsです。私はウェブ文書にタグ付けをするという研究をしているのですが、そのための教師データとしてクローリングをします。 photo by Sean MacEntee 要件定義 CNET Newsから全ニュースを保存し、その本文をデータベースに保存します。これは、次のようなフローに書き下すことができます。 全URLを取得し、データベースに保存 データベースにある全URLをダウンロードする 保存した全ページを解析して、本文をデータベースに保存する という流れです。これらは独立していますから、それぞれどの言語で解析しても構いません。しかし後述しますが、「あとから追いやすくする」「適材適所」といったあたりを気をつけて、言語選択をするべきだと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
