ruby + selenium webdriverチュートリアル | katsulog
本エントリーは、Selenium/Appium Advent Calendar 2019 25日目エントリーです。 いい感じのチュートリアルがないので自分で作ります 近頃、自動化とかRPA系のイベントで登壇とかしているせいか、私への弟子入り志願者が増えています。 私としてはとても嬉しいですし、育ってくれたら仕事を手伝っていただきたいという気持ちですが、 プログラミングの学習サービスは数あれど、seleniumに関するオンライン学習となるとなかなか良いものがありません。 毎回1から教えていると時間がいくらあっても足りません。 そもそも業務効率化の事業をしているのに、全然効率的ではない。 ある程度体系化したものを自分で作って、最初はそのチュートリアルをやってみてもらうということにしました。 この記事は私のnoteでも公開します。 https://note.mu/katsuyads/n/nb83
【無料】instagramのハッシュタグから画像を保存しまくるseleniumのコード｜Katsuya Oura
※seleniumを始めたい方向けにruby + selenium webdriverチュートリアルという記事もあります。。 こんにちわ。合同会社ベステンダンク代表の大浦です。 急に...急に... 急にTWICEの画像が大量に欲しくなりました！！！！ ・・・すみません、取り乱しました。 さて、皆さんも急に画像が大量に欲しくなることがあると思います。 そんな時にサクッと動かせるやつ作りました。50行足らずです。 構成はこんな感じ ・windows 10 ・ruby 2.3.3 ・chromedriver最新 ・selenium-webdriver最新 instagramはめちゃめちゃソースの変更があるので、明日には使えなくなるかもしれません。 class名とかのメンテナンスはご自分で行ってくださいね。 環境構築は私のブログに書いてあります。ご参考にどうぞ。 windowsならruby +
instagramで相互フォローか確認するやつ作りました｜Katsuya Oura｜note
※seleniumを始めたい方向けにruby + selenium webdriverチュートリアルという記事もあります。 こんにちわ。合同会社ベステンダンク代表の大浦です。 世間は年の瀬丸出しですね。ワクワクが止まりません。 インスタって相互フォローなのかどうかわかりづらいんですよね。 誰をフォローしてんだかわかんなくなりました。 というわけで片想い状態のアカウントをテキストファイルに出力するやつをseleniumでちょちょいって作りました。 かなり不安定な出来なのですが、これ以上時間かけられないので許してください。無料だし。 修正した安定版を誰かがうｐしてくれることを期待しています。 構成はこんな感じ ・windows 10 ・ruby 2.3.3 ・chromedriver最新 ・selenium-webdriver最新 instagramはめちゃめちゃソースの変更があるので、明日に
弊社業務自動化サービスは使った方がいい｜Katsuya Oura｜note
こんにちは。合同会社ベステンダンクCEOの大浦です。 近々ゴルフを始めようと思っています。 ゴルフを通じて仕事が取れるから絶対やった方がいいと友達の社長に推されて、確かにと思いました。 大学の体育の授業で最後までクラブにボールが当たらなかったくらいのセンスを持っているので将来有望です。 さて、今回は弊社の業務自動化サービスについて紹介したいと思います。 最近になって東証一部の老舗企業様などから受注が続いていて嬉しい悲鳴が起きています。 私は寝ている時に毛布をタイピングしているそうです。必死だな。 常に発生するルーチン作業は何人が何時間かけてやっていますか？企業様に実際のルーチン作業のお話を聞くと自動化できることがたくさんあります。 締め業務や発注業務、継続しているサービスの更新作業など、毎月必ず発生するルーチン作業がありますよね。 これ、サービスの規模が大きくなればなるほど膨大な時間をかけ
1週間で会社作れた！合同会社化したのでその手順｜Katsuya Oura｜note
こんにちわ。合同会社ベステンダンクCEOの大浦です。 そうです。CEOになりました。最高経営責任者です。社長です。 この度、合同会社として法人成りしました。お祝いのサポートお待ちしております！ 別に「社長になりたい」とかそういう夢があったわけではなく、 どう考えても法人化した方が有利という状況になったので、結果的に社長になりました。 まずは、なぜ法人化する必要があったかを説明し、 その後、合同会社を作る手順を私が行った実体験をもとに書きます。 興味のある部分だけ読んでいただければと思います。 なぜ法人化したか今年1月に独立し、個人事業主となり、受託とコンサル事業を行ってきました。 私の目標というか常に考えていることは社会貢献です。 今までやってきた受託開発だけでもそれは叶えることはできたのですが、 もっと自発的なアプローチで世の中にインパクトを与えるモノを生み出せるのではないかと思いました
私のnoteの方針がブレブレっぽい｜Katsuya Oura
こんにちは。ベステンダンク代表の大浦です。 私に弟子入りを志願してくれた山崎がプログラミング未経験から半年で仕事を取れて実際に実装から納品までできるようになった過程をシリーズ化して書いてもらっています。 プログラミング言語知識0からRuby+Seleniumを使用したブラウザ自動操作の実装を行えるようになるまで 彼は、普段プロドラマー（プ ロ ド ラ マ ー）として活躍しているのですが、プログラミングがやりたいという想いと学習を続ける根気良さがあったので、私の持っている全ての知識を段階を追って教えています。 人にこうして何かを教えるのは本当に大変ですが、彼が成長する姿を見るのがうれしいですし、自分の成長や自信にもつながります。 よく言われている教える側も成長するってやつです。 彼になぜこう言った出筆をさせようかと思ったかというと、 彼がどんな想いや記憶で今の状態になったのかを皆さんに共有で
環境構築不要で配布！ruby+seleniumのコードをexe化【chromedriver】 | katsulog
本エントリーは、Selenium/Appium Advent Calendar 2018 2日目エントリーです。 rubyのコードを配布するなら環境構築が必要 rubyで書いたコードを実行してもらうならrubyのインストールやらgemのインストールやら、 seleniumであればchrome driverの設置やpathを通すなど、相手の環境で設定することが必須です。 この環境構築が結構めんどくさいので、手順を説明するってよりは遠隔で操作して設定してあげたりします。 windowsならruby + selenium webdriverも環境設定は15分で終わる exe化すれば環境構築が要らない！コマンドラインの操作も要らない！ダブルクリックでそのまま実行！ windowsに限りますが、rbファイルをexe化してしまえば、コマンドラインの操作も要らずにダブルクリックだけで動作します。 今回は
【超入門】ruby+selenium webdriverでgoogleを表示する｜Katsuya Oura
※seleniumを始めたい方向けにruby + selenium webdriverチュートリアルという記事もあります。 こんにちわ、大浦です。 rubyとselenium webdriverでchromeを自動で動かすというテーマで超初心者向けの記事を書いていこうという連載をしていきます。 気になる方はフォローお願いします。 windowsでの環境構築は以下で紹介しているので参考にしてください。すぐ終わります。 【超入門】windowsならruby + selenium webdriverも環境設定は15分で終わる 中級者以上の方はブログをやっているのでそちらを是非。 selenium webdriver以外にgoogle apps scriptや開発環境なんかも扱っています。 katsulog.tech 今回はchromeでgoogleを開いてみようという内容でお送りします。 環境構
【超入門】windowsならruby + selenium webdriverも環境設定は15分で終わる｜Katsuya Oura
※seleniumを始めたい方向けにruby + selenium webdriverチュートリアルという記事もあります。 こんにちわ、大浦です。 過去に私のブログで書いたことがあったのですが、noteの方がSEO的に強そうなので、こちらにも載せようと思います。 rubyの環境構築とseleniumのインストールをご紹介します。 絶対誰でもできます。 seleniumってよく聞くけど何？そもそもseleniumって何よ？何ができるのよ？なんでみんな使ってるのよ？という方がたくさんいると思います。 「selenium webdriverとは」でググってみたところ以下のような記事が上位に出てきました。 Selenium WebDriver入門 – Qiita Selenium WebDriverでWebアプリのテストが変わる（前編）：iPhone／Android含むブラウザ自動テストの最終兵器
精神疾患で病んだ非プログラマーの私がプログラマーとして独立した全工程｜Katsuya Oura｜note
こんにちわ。大浦と申します。 2018年に「ベステンダンク」という屋号で独立開業しました。 主に業務効率化を技術で実現していくというミッションで日々仕事をしています。 主に受託開発ですが、コンサルやプロダクト開発も始めました。 かなりニッチな技術ブログもやっています。 ブログには詳しいプロフィールも載っています。 katsulog IT企業で非プログラマーとして8年間勤務し、 ある日、突然精神疾患でまともに生活できなくなってしまい、2年間の休職期間と1年間のリハビリ生活を経験しました。 そんな私がどんな過程でフリーランスとして独立できたかをつらつらと書いていこうと思っています。 ちなみに現在の収入はサラリーマン時代の1.5～2倍くらいです。 通勤も毎日の会議もない自由な生活の内容もご紹介します。 ・独立ってどうやるの？ ・独立しても生きていけるの？ ・どうやってプログラミング勉強したの？
【効率化】VS CODEでよく使う文字列をショートカットキーで登録 | katsulog
開発エディタAtom → VS CODEを使ってみてる 2年くらいAtomを使っていましたが、めっちゃ重くなったり、固まって落ちるということが頻発していました。 また、コマンドラインをエディタ上で使うためのPlatformin IDE TerminalがAtomのバージョンをあげると使えなくなったりと、 バージョンアップ毎にパッケージの更新を待たなければならないなどの事情があって、手動でAtomのロールバックを行わなければならないとか、、、 結構困っていることがありました。 Visual Studio Codeがとにかく良いという噂を聞いた 日々読んでいるフィードの中でVS CODEがとにかくよいという記事を見ました。 ・とにかく軽い。落ちたことなんてない。 ・コマンドラインツールがデフォルトでついている ・日本語化もデフォルトでできる こんな内容だったんですね。 もし本当ならAtomから
chromedriverのheadlessでファイルをダウンロードする | katsulog
headlessではないGUIでのコード まず通常モードでの実装です。 ダウンロード先のパスを指定するダイアログを表示しないようにして、 ダウンロード先のパスを指定します。 今回はコードと同ディレクトリの tmp フォルダを指定します。 prefs = { :download => { :prompt_for_download => false, :default_directory => File.absolute_path("./tmp") } } d = Selenium::WebDriver.for :chrome, prefs: prefs # この後にダウンロードリンクをクリックするコードを書く
リンクを別タブを開いてアクセスすればPageBackとか要らない | katsulog
Pythonで同じような記事がありました あずみ.net様はPythonでのSelenium記事が多数あるので、Pythonの方はオススメです。 【Python】Seleniumで別タブにページを 表示させる方法 | あずみ.net katsulogではRubyとJavaScriptで実装してみます あずみ.net様ではショートカットキーを利用して実装されていましたが、 当ブログではJavaScriptで新しいタブを開いてリンクを開いてみます。 もちろんrubyでもショートカットで開くという方法もありますが、敢えて別の方法でやってみましょう。 実装 では、ポイントを分けて説明していきます。 リンクを取得 要素からリンク先のURLを取得します。 require 'selenium-webdriver' driver = Selenium::WebDriver.for :chrome link
selenium webdriverでchromeのprofileを作成しログイン情報などを記憶 | katsulog
selenium webdriverで任意のchrome profileを作成し、ログイン情報などを記憶させる 2018年1月29日 driverを起動させる度にログインさせるのが面倒 selenium webdriverを使っていると、ログインが必要なサイトにアクセスする時に毎回ログイン情報を入力させてからサイトの中を動作させなければなりません。 複数のdriverを起動させる場合もdriver毎にログインしなければなりません。 ログイン機能のテストをしているのであれば良いのですが、できればログインを飛ばしてしまいたいと思うことはありませんか？ 通常のChromeであればログイン情報が保存されているのでログインや2段階認証が飛ばせる いつも使っているChromeでは、ブラウザを立ち上げる度にgoogleのログインが求められますか？2段階認証を求められるでしょうか？ そんなことはありません
ruby + selenium(RSpecなど)の例外処理には回数を指定すべきです | katsulog
エラーを捕捉してくれる例外処理(begin,rescue,retry) 自動テストなどでは、対象のアプリの不具合ではなく、コードやマシンなどのクライアント側のエラーが発生した場合のために例外処理を入れると運用がスムーズになります。 これ超便利。「なぜか時々ここでコケるんだよなぁ。。。」っていう場合にエラーを捕捉して、その処理をやり直してくれます。 こんな感じですね。
seleniumで要素を待つ時にsleepを使うのはオススメしない - Qiita
no such element: Unable to locate elementとかElement is not clickable at pointとかを回避するためのwait ruby + selenium webdriverを使っていれば誰もが見たことあるこれらのエラー。 動作が速すぎて要素が現れる前に処理が実行されてしまいこのエラーが出ちゃうことが多いですよね。 秒数を指定して動作を待つsleep このように書けば10秒待ってから次の処理を行うというコマンドです。 でも本当に10秒待てば次の要素は必ず現れるのでしょうか？ ネットワークや実行する環境によっては1秒で現れてくれるかもしれないし、12秒待っても現れてくれないかもしれません。 前者の場合は1秒で現れてくれるのだから9秒無駄になってしまい、sleepを書く度にその無駄な時間が積み重なっていきます。 後者の場合はもちろんエラ
rubyでSSL接続時のエラーやhttpsの画像が保存できない時の対処法 | katsulog
open-uriなどでcertificate verify failedと怒られる httpsのサイトにopen-uriなどで接続すると “certificate verify failed”というエラーが表示されてしまうことがあります。 「証明書検証に失敗しました」ってことですね。 seleniumやnokogiriで画像を保存しようとすると空のファイルが保存される selenium webdriverやnokogiriで画像を保存しようとすると以下のようになります。 require 'selenium-webdriver' require 'open-uri' driver = Selenium::WebDriver.for :chrome ###この辺にページでの処理### # 画像のURLを取得 url = driver.find_element(:id, 'gazo').find
CSVを作成する時にbom付きで保存して文字化けを解決！ | katsulog
csvファイルを作成すると文字化けする スクレイピングなんかをしているとデータをCSVに入れたくなりますよね。 でもそこにマルチバイト文字が混ざっているとエクセルで開いた時に文字化けしてしまったという経験があるのではないでしょうか。 bom付きで保存して解決 rubyに標準で入っているcsvライブラリのgenerateを使ってbom付きのCSVを作ってみましょう。 require 'csv' # bomを作成 bom = %w(EF BB BF).map { |e| e.hex.chr }.join # generateで引数にbomを渡してあげる csv_file = CSV.generate(bom) do |csv| csv << ["名前", "メールアドレス", "年齢"] end
[無料]Chrome headless + seleniumをherokuで定期実行 | katsulog
headless driverについて headlessでseleniumを実行すると言えばつい最近まではPhantomJSでしたが、 PhantomJSにはバグが多く存在しているにも関わらず、開発は終了してしまいました。 headlessで実行できるということはGPUを使用せずに実行できるということになります。 通常のwebdriverでは実行するとブラウザが立ち上がって処理を行っていきますが、 headlessではブラウザが立ち上がることなく処理が行われます。 GPUを使用しないということはjenkinsなどで仮想のデスクトップ環境を用意する必要もなくなるわけです。 前述したようにheadlessの代表格だったPhantomJSの多くのバグを残したまま開発が終わってしまいました。 そこで登場した期待の新星がChromeのheadlessモードです。 Chromeのheadlessも登場
GoogleSpreadSheetでのスクレイピング時にサイトにログインした後のソースを取得 | katsulog
[GAS]GoogleSpreadSheetでのスクレイピング時にサイトにログインした後のソースを取得 2017年10月16日 スクレイピングの手法 rubyでのスクレイピング 本ブログではruby + selenium webdriverをメインで扱っていますが、 この技術を使ってよくスクレイピングしています。 私はrubyでのスクレイピングではseleniumかgemのnokogiriを使っています。 ruby + selenium webdriver(windows)のセットアップ方法は以下の記事で紹介しています。 windowsならruby + selenium webdriverも環境設定は15分で終わる | katsulog nokogiriでのスクレイピングではブラウザなどが立ち上がることなく、コマンドライン上のみで完結します。 Tutorials – Nokogiri 鋸
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
