OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか？と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界
アソビュー！ Advent Calendar 2022の2日目（裏面）の記事です。 アソビューでQAをしている渡辺です。 前職ではエンジニア、およびQAをしておりましたが、10月よりアソビューにQAとして入社しました。 今回は、API呼び出しを含むE2Eテストの自動化を、他社ウェブサイトに仕様記載の無料公開APIで試してみた話となります。 アソビューのQAでは、開発スピードと品質向上の両立を図ることを重視しています。 そのためにも、シフトレフトやテスト自動化推進の取り組みは重要です。 現在QAとして参画中のプロジェクトでAPIの外部公開があり、E2EテストとしてAPIを含むテストの自動化はこれまでしていないので、APIを含むテストについて、Seleniumで簡単に自動化できないか試してみました。 なぜSeleniumか？ なぜPythonか？ 試してみるテストケース 天気予報APIの仕様
はじめに みなさん、こんにちは。 株式会社キカガクの機械学習講師 藏野です。 キカガクは、「AI を含めた先端技術の研修」を行っている会社です。 この記事は、「Web スクレイピングで特定のデータを取得して CSV で出力」までの実務的な内容を取り扱います。 スクレイピングの記事は多くありますが、活用を見据えてデータを取得し保存するところまで取り組みたいという方は、ぜひ参考にされてください。 この記事は、Python を活用しながら Web サイトのデータ収集を効率化（１）【環境構築編】の続きとなっています。 必ず読む必要はありませんが、スクレイピングの仕組みを復習したい方は一読をオススメします。 目次 スクレイピングの手法 環境構築 実践 おわりに お知らせ Web スクレイピングの手法 スクレイピングには、以下の 2 つの手法があります。 Selenium を使用して、ブラウザを自動操
【機械学習】機械学習を用いたin silico screening【AI創薬】~第2/5章 スクレイピングによる公共データベース（PDB)からの機械学習データを収集~ - LabCode
AI創薬とは？ AI創薬は、人工知能（AI）技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeeni
Software Design連載 2021年11月号 Robot FrameworkでE2Eテストを自動化する - MonotaRO Tech Blog
最初に少しイベントの宣伝 こんにちは。金谷です。 Software Designに連載させていただいております「Pythonモダン化計画」は、前半の4回で、それぞれの局面に合ったテスト手法を用いることで変更容易性を確保する話をしてきました。 前半の4回すべてに出てきたツールにJenkinsさんがいて、何らかのかたちで自動化されています。 モノタロウにおけるモダン化計画に不可欠な存在のJenkinsさん。 なんとこのたび、Jenkins Day Japan 2021というイベントで、Jenkinsの活用事例を発表させていただくことになりました。 「モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例」という内容で金谷が発表させていただきます。 詳細とお申込みは、下記のURLからご覧ください。 cloudbees.techmatrix.jp では本題に入ります。 本記事の初出は、
データアナリティクス事業本部のueharaです。 今回はAWS Lambda (Python)で、WebアプリケーションをテストするためのポータブルフレームワークであるSeleniumを使える環境を構築してみたいと思います。 バケットの準備 今回はLambda Layerを構築することになりますが、その資材をS3に配置するため、まずバケットを用意します。 AWSコンソールでサービスからS3を検索します。 「バケットを作成」から作業用のバケット「selenium-work」という名前のバケットを作成します。 その他の設定はデフォルトのままとします。 パッケージの用意 まず、Lambda (Python)でSeleniumを利用できるようにするために、各パッケージの用意を行います。 パッケージの用意には、無料で使えるサービスであるAWS CloudShellを利用します。 Seleniumのダ
はじめに メイン機以外で定期実行されるクローラを作りたいと思ったわけですが、その場合ローカル環境に全く依存しない形が取れれば最高だということで、Docker環境の構築に乗り出しました。 全体図 Python実行環境とSeleniumHQ/docker-seleniumはDocker Composeを利用して別のコンテナとして立てます。 そしてSeleniumHQ/docker-seleniumを通じてVNC接続することで、簡単にクローラの挙動をチェックできます。 ちなみに、SeleniumHQ/docker-seleniumがあれば、ChromeやChromeDriverのセットアップは不要です。 環境構築 Docker 最近はWindows10 Homeでも簡単にインストールできるようになったようです。 Dockerのインストーラの指示に従っていれば使える状態になります。 VSCode(
SeleniumとChromeDriver SeleniumはWebブラウザで行うクリック操作やキーボード入力などをプログラム上から自動で操作できるようにしたライブラリで ChromeDriverはChromeブラウザをプログラムで動かす為のドライバーです。 この2つを使うことで、SeleniumでChromeブラウザを操作してログインすることが可能です。 またこの2つを組み合わせて使うことで、次のことが可能になります。 ・スクレイピング ・ブラウザの自動操作(次へボタンや購入ボタンなどを自動で押すなど） ・システムの自動テスト ・非同期サイトのスクレイピング Seleniumのインストールは次のようにターミナルおよびコマンドプロントで打ち込み実行することで、インストール出来ます。 pip install selenium Chrome Driverのインストールは下記リンクから飛べます。
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Web スクレイピングで Python の勉強がもっと楽しくなる！ みなさん、こんにちは。 株式会社キカガクの機械学習講師 二ノ宮です。 突然ですが、初めて Python を学習をしているこんなことを感じませんか？ 「if 文や for 文など基本的な文法は学んだが、実際にどうやって活用していけばいいのかわからない」 語学の勉強で考えるとわかりやすいですが、基礎的な文法と実際に学んだことを活用していくシーンが紐付いていないと、学んでもどこに応用できるのかがわからず、使える知識になっていきません。 このような状況ですと、身につけた知識で具
はじめに お久しぶりです。就活が忙しくて、あんまり技術系の勉強が出来なかったですが、就活が無事終わったので、記事を書きます。実はバイト先の人に頼まれた、業務自動化に関して、ぶち当たった壁についてまとめます。 また、この記事のC♯バージョンとして、以下の記事を参考にしました。@yk109さんには本当に感謝しています。それに、Teratailの記事もとても参考になりました。URLを載せておきます。 ・参考記事：SeleniumのChromeDriverで起動済みのブラウザを操作する ・参考記事：Seleniumで既に開いているウィンドウ 誰向けの記事？ この記事は、 ・”起動済み”のブラウザを、Pythonで自動操作したい人(Windows上) ・pythonによるseleniumがとりあえず使える人 に向けた記事です。seleniumのインストールとかは省きます。他の記事を参考にしてください
はじめに Pythonプログラムで即業務に役立つサンプルプログラムとして、Webブラウザーの操作をPythonのSeleniumライブラリーを使って自動化する方法をご紹介します。 これによって、いわゆるRPA(Robotics Process Automation)を無料で構築できます。 動作環境 Visual Studio Code Python3.8.8 各種利用ライブラリー Selenium 3.141.0 chromedriver.exe ※ ※実行環境のパソコンにインストールされているGoogleChromeのバージョンにマッチしたchromedriver.exeをダウンロードしてPythonプログラムと同一フォルダに保存する必要があります。（詳しくはYouTube動画で解説しています） 処理概要: PythonでSeleniumを使って、YahooのホームページやGoogle検
Python: Selenium: Dockerで、Chromeブラウザ最新版が動く仮想環境を立てて、24時間自動WEBサーフィンさせる環境の基礎を作る - Qiita
Selenium は、プログラムコードでWEBブラウザを自動操縦できるソフトウェアです。 ただSeleniumを使ってWEBブラウザを自動操縦するにしても、そのままでは、実行するのにPCやMacが必要です。あなたが寝てる間もPCやMacを起動しっぱなしにするのは不毛ですよね。 そこで有用なのが docker-selenium です。 ブラウザが動く仮想環境をDockerで好きなように立てられる便利なOSSです。 docker-selenium を使えば、AWSなどクラウド環境を利用して24時間自動WEB巡回や自動テストを実行させる環境を構築できます。 ところで、WEBブラウザは色々ありますよね。 その中でもメジャーなのはやはりGoogle Chrome。 Chromeを使いたい。 ただそのままでは、最新版Chromeが動くDockerイメージ selenium/node-chrome（v4
GitHub Actionsを利用したE2E自動化テストの実現 ～ Achieving E2E Automated Testing with GitHub Actions ～ 利用GitHub Actions实现E2E自动化测试 - スタディサプリ Product Team Blog
こんにちは。スタディサプリのQAチームです。 今回のBlogではスタディサプリで実施している自動化テストの一部の取り組みについて紹介させていただきます。 なお、スタディサプリQAチームの特性を活かし、本記事については日英中３言語で記載します。より多くのオーディエンスに読んで頂ければ嬉しいです。 自動化する動機 まず、なぜ自動化テストを導入するのでしょうか。 1. 新規機能が追加される度に、既存機能への影響を確認するための回帰テストをしなければなりません。 2. 繰り返し同じテストを手動実行することにより、テストコストが増加します。 3. 人間が実施すると、人為的ミスによる不具合の検出漏れが発生してしまう可能性が否定できません。 そのため、品質を担保した上でより早くリリースすることを目的とし自動化を導入しました。 現在の開発およびテストフロー QAが回帰テストの自動化テストスクリプトをGit
Chromeのユーザープロファイル Chromeのユーザー毎のデータ（履歴、ブックマーク、パスワード等）は、ユーザープロファイルに保存されます。 SeleniumでChromeDriverを動かす場合、デフォルトではユーザープロファイルは一時ディレクトリに作成され、終了後にクリアされます。ログイン情報を引き継ぎたい場合は、使用するユーザープロファイルを指定する必要があります。 ユーザープロファイルは、Chrome起動時のオプションで指定します。 –user-data-dirユーザープロファイルの保存先を指定–profile-directory使用するユーザープロファイルを指定 現在使用しているプロファイルは、chrome://versionで見ることができます。 上の画像では –user-data-dir：C:\Users\xxxxx\AppData\Local\Google\Chrome
はじめに みなさんIPOへの申し込みは行っていますか？ 私はSBI証券で数年前からポチポチしていたんですが、まぁこの確認が非常に面倒・・・。 通常は以下を定期的に確認する必要があります。 1.WEBブラウザを開く 2.IDとPWを入力する 3.国内株式＞IPO・PO をクリック 4.新規上場ブックビルディング/購入意思表示 をクリック 5.[申込]ボタンがあるか確認 これを自動化したい！という記事です。 事前準備や1〜2までの手順は以下の記事にまとめましたので今回は3-5を中心に記載します。 環境 Python3.9 macOS Catalina10.15.7 Chrome 93.0.4577.63 プログラム 前半は前の記事をご確認ください。 後半はLineの通知先だけ変えれば使えると思います。 from selenium import webdriver ID = open('/Use
一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT)
一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT) 自社サービスの最新情報にもとづくサポートボットを作りたいというのはよくある話だとおもいます。これを openai.embedding+pinecone+SlashGPTでサクッと実現する方法を紹介します。 準備 SlashGPT repo のclone https://github.com/snakajima/SlashGPT OpenAI API KEY open ai でアカウントを作成後下記でAPI-Keyを発行します https://platform.openai.com/account/api-keys 無料枠は5$までです https://openai.com/pricing pinecone API KEY vector DB SaaS をつかうととて
python×selenium！つい勢いでbenefit stationの自動ログインスクリプトを作ってしまった！ - かずきち。の日記
benefit stationとは？ 知っている方も多いと思いますが、企業が導入している福利厚生サイトです。 飲食店やレジャー施設の割引情報が掲載されている。 がしかし、ログインが必要なのである。 引用：https://bs.benefit-one.co.jp/bs/pages/bs/top/top.faces こんなインターフェースでトップ画面にログイン画面がある。 人間がIDとパスワードを入力しないといけないわけだ。 大問題である。 ここのログインを突破して、中の福利厚生情報を全部抜きたい。 このログイン、スクリプトで突破しましょう。 使ったライブラリなどは import time # スリープを使うために必要 from selenium import webdriver # Webブラウザを自動操作する（python -m pip install selenium) import c
概要 Pythonのスクレイピングについて1からまとまっている記事等がみつからなかったので自分で作成することにした。 今回は特にseleniumについての内容だが、この記事を通して一通りpythonのスクレイピングが出来るようになる。 (スクレイピングで学んだことがあるたびに追加していきます！) (エラーハンドリングについて近々追記予定) 目次 1. 初期設定 ライブラリのimport 初期optionの設定 driverのセットアップ はじめのurlへジャンプ 2. seleniumの基本動作 要素の取得 要素のテキストを取得 要素のattributeを取得 文字列を送信する クリックする javascriptの実行 タブ移動 3.seleniumの応用動作 ログイン ページネーション 無限スクロール Tips Current browser version is ・・・ time.sl
![[スクレイピング] Pythonでwebサイトの情報を丸裸にしよう！！ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/fbf9d169aa0d54d63a305814648bfd52b2853c86/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkYwJTJGNjU2MTU4JTJGcHJvZmlsZS1pbWFnZXMlMkYxNjc1MTc3ODM0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz05MDdiMGMwYmQxYjg3ZTM2YjI3ODdjZjYzMzUxZjk2Yw%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D7b2950d0c4eaabbeb5ddc7594a0e2c4f%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUUzJTgyJUI5JUUzJTgyJUFGJUUzJTgzJUFDJUUzJTgyJUE0JUUzJTgzJTk0JUUzJTgzJUIzJUUzJTgyJUIwJTVEJTIwUHl0aG9uJUUzJTgxJUE3d2ViJUUzJTgyJUI1JUUzJTgyJUE0JUUzJTgzJTg4JUUzJTgxJUFFJUU2JTgzJTg1JUU1JUEwJUIxJUUzJTgyJTkyJUU0JUI4JUI4JUU4JUEzJUI4JUUzJTgxJUFCJUUzJTgxJTk3JUUzJTgyJTg4JUUzJTgxJTg2JUVGJUJDJTgxJUVGJUJDJTgxJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YzQ2YWYzOGNjMmMwODgyZTFlMGRlZGRmMTRmNzUwMjI%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBtYXJ1NDAxJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9MWFkYjRkZDBiNGQ0NDQ2YjUwODg5ZjE3ZDIzZjk4MWU%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D7d93efb3f03991034940561e60790827)
Python/SeleniumでGoogle Chromeブラウザを自動操作したくてこんなふうにコードをかいて、 Pythonimport chromedriver_binary from selenium import webdriver driver = webdriver.Chrome() driver.get('https://google.com')動かしてみたら、4行目のwebdriver.Chrome()でこんな↓エラーが出た時の対処方です。 selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 80 Current browser version
Pythonで作れる代表的なプログラムとしてWebスクレイピングが挙げられます。これは主にライブラリを活用して実行するので、Pythonを覚えたての初心者でも簡単に作ることが出来ます。 今回はPythonを使い、Googleの検索結果に表示された記事のタイトル・URLをExcelに書き出すプログラムの作り方を紹介します。 Webスクレイピングとは？ Webスクレイピングとは、Web上のサイトから任意の情報を自動で取得する技術のこと。出したデータを加工してファイルとして出力したり、データベース上にデータを溜めることもできます。 一般的にはホームページから大量の情報を取得したい時に使われますが、今回のように検索エンジンの結果一覧にもスクレイピングを実行することが可能です。 ブログやホームページを運営するうえで欠かせない作業が、ターゲットキーワードによる検索結果の把握です。上位表示されている競合
TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する｜シマ
TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する かつて無料で提供されていたTwitter APIは、イーロン・マスクによる買収などなんやかんやあって有料化されました。有料プランもあるにはありますが、そこそこの価格とそこそこの制限がかかっており、趣味レベルで手を出すのはちょっと憚られる感じのプランになっています。 そこで、TwitterAPIの代替手段として、Yahoo!リアルタイム検索をPythonでスクレイピングすることでツイート推移のデータを取得することにしました。この記事では、その手法（とコード）について書いていこうと思います。 Yahoo!リアルタイム検索とはYahoo!リアルタイム検索は、Yahoo!が提供しているTwitterの検索サービスです。ツイート検索やトレンドなどを確認することができます。とて
Python × Selenium × ChromeDriverで、select/optionタグで構成されるドロップダウン(プルダウン)リストを選択状態にしたり・値を取得する方法をまとめました。 SeleniumのSelectモジュールを使うと簡単に操作できます。 こんなHTMLを前提として書いていきます。 HTML<!DOCTYPE html> <html> <select name="test" id="dropdown"> <option value="1">1番目</option> <option value="2">2番目</option> <option value="3">3番目</option> <option value="4">4番目</option> <option value="5">5番目</option> <option value="6">6番目</opti
データアナリティクス事業本部のueharaです。 今回はGoogle ColaboratoryでPythonからSeleniumを使うための設定方法を紹介したいと思います。 はじめに 2023年5月時点では、Google Colaboratory上で単純に!apt install chromium-chromedriverでchromedriverをインストールした後、Seleniumを実行しようとしても以下のようなエラーが発生し強制終了してしまいます。 WebDriverException: Message: Service /usr/bin/chromedriver unexpectedly exited. Status code was: 1 これは、今年の1/18にColabのデフォルトのランタイムが（数年ぶりに）Ubuntu 18.04 LTSからUbuntu 20.04 LTS
FROM python:3.8.8-buster WORKDIR /usr/src/app # Webブラウザ「google-chrome」をインストールする。 # 当然 google-chrome のバージョンに応じて手順は異なるので、随時手順を確認すること. RUN wget --no-check-certificate https://dl-ssl.google.com/linux/linux_signing_key.pub RUN apt-key add linux_signing_key.pub RUN sh -c 'echo "deb http://dl.google.com/linux/chrome/deb/ stable main " >> /etc/apt/sources.list' RUN apt-get update -y RUN apt-get install go
【Network pharmacology】PubChemを用いた漢方成分の抽出【In silico創薬】 - LabCode
4. ChromeDriverのインストール（Macユーザー向け） brew install chromedriver このコマンドは Mac のユーザーが selenium を使うために必要なドライバ chromedriver をインストールします。 brew はMac用のパッケージ管理ソフトです。 chromedriver は、SeleniumがGoogle Chromeを操作するために必要な「仲介役」です。 注意：Chrome本体のバージョンとドライバのバージョンを合わせる必要があります。 Windowsの場合は、公式サイトからChromeDriverをダウンロードしてパスを通す必要があります。 5. 必要なライブラリのインストール② pip install selenium pandas tqdm 一部重複していますが問題ありません（すでに入っていればスキップされます）。ここでは
こんにちは、山本です。 みなさんはプリパラというアニメをご存知でしょうか？ プリパラは2014年から2017年までの4年間放送されていた少女向けアニメで、主人公「真中らぁら」とそのトモダチが切磋琢磨してアイドルの頂点に上り詰めていく様が描かれた王道アイドルモノです。 放送が終了した現在でも根強い人気を誇り、新曲が作成されたり、毎年数回のライブ公演が行われたりしております。先日も幕張イベントホールでライブが行なわれました。 感染症対策で声を出してのコールなどはできませんでしたが、とても楽しかったです。 そして、ライブで新シリーズ「アイドルランドプリパラ」のアニメ制作が発表されました。予想外の発表過ぎて参加者のオタクみんな泣いてました。僕も泣いてました。 さて、ここから延々とプリパラのすばらしさ語り布教活動をしていってもいいのですが、それはプリハラ（プリパラハラスメント）になるので、テックの話
Selenium Python クロームドライバー（chromedriver.exe）の自動インストール - Qiita
環境：WIndows10 pythonバージョン：3.8.32 chromedriver.exeの自動インストール(更新も自動) 以下の本にchromedriver.exeの自動インストールの方法があったので自分の環境に合わせてメモします。↓ chromedriver.exeにパスが通ってなくても、プログラムをexeファイル化しても、自動でインストールされました。 スクレイピング・ハッキングラボ：アマゾンのページ webdriver_manager webdriver_manager webdriver_managerを使うとchromedriver.exeを自動でインストールしてくれます。 chromedriver.exeを自動でインストールしてヤフーに接続するサンプル from selenium import webdriver from selenium.webdriver.chro
TL;DR seleniumの使い方 Chromeで起動方法 WebDriverインストール chromeの設定画面でchromeのバージョンを確認します。 こちらからChromeのWebDriverをダウンロードします。 先程確認したバージョンを同じものを選びます。 OSで選ぶ。 プログラミング ライブラリインストール from time import sleep from selenium import webdriver def main(): options = webdriver.ChromeOptions() driver_path = "./chromedriver" driver = webdriver.Chrome(executable_path=driver_path, options=options) driver.get("https://www.yahoo.co.
こんにちは。Holmesでエンジニアをしている山本です。 社内でATDDの話題が出たことがありました。受け入れテストと言えばCucumber、というイメージがあったのですが、他にないか調べたところ、Gaugeという、Markdownを仕様としてテスト実行できるツールがあったので、試してみました。 実行環境 Gaugeの概要 なぜGaugeを試そうと思ったのか 環境構築 Gaugeのインストール Intellij IDEAにGaugeプラグインを追加 Intellij IDEAからGaugeプロジェクトの作成 Visual Studio CodeにGaugeプラグインを追加 Visual Studio CodeからGaugeプロジェクトの作成 Gaugeの実行確認 Intellij IDEAでのプロジェクトインポート 実装 テスト仕様の記述 テスト実装の記述 実行と結果の確認 感想 最後に
WEB+DB PRESS という雑誌はご存知かと思います。 WEB+DB PRESSは2021年7月にvol.120を記念し、それまでの全号をダウンロードできる特典がついた総集編が刊行されました。 WEB+DB PRESS総集編[Vol.1~120] (WEB+DB PRESSプラスシリーズ) これまでの全ての記事が3000円で読めるならばと思い、私も先日Amazonでポチってしまいましたが、有効な使い方いまいち分からず放置してしまっています。 そこで最近勉強し始めたSeleniumを使って記事タイトルを取得してExcelで表にしちゃおう！というのが今回の記事内容です。 環境 Python 3.9 selenium 4.2.0 openpyxl 3.0.9 コード to_excel 関数内のExcel の出力先ディレクトリと、CHROMEDRIVERを変えれば動くと思います。 import
これは、Selenium + Python で Chrome を自動操作してファイルをダウンロードしようと思ったときの話です。テストでは上手くいくのに本番環境にいくとダウンロードされない。エラーも発生しない。ぜんぜん分からず調べること数時間…。 結局原因はヘッドレスモードでした。本番時にのみ--headlessオプションをつけていたことが仇になりました。Chrome の初期設定では（セキュリティのためか）ヘッドレスモードではファイルをダウンロードできないようです。それならそれでエラーで落としてほしいものです。 Webにあった情報を参考にプログラムを修正したら解決。無事にダウンロードができました。 ヘッドレスモードでのダウンロード方法 まずは必要なパッケージのインポート。 from selenium import webdriver from selenium.webdriver.chrom
[Python]Page Object Modelパターンを用いたSelenium テストの記述方法メモ - Qiita
Page Object Modelパターンを利用したSeleniumテストの記述方法についてメモする。 POM(Page Object Model)とは ページをクラスオブジェクトとして扱うブラウザ自動化テストのデザインパターンの一つ。 主な概念 テストクラス * 対象ページのテストケース。 ページオブジェクト * 各Webページオブジェクトを作成することを目的としたクラス。 * テスト用コードとWebページアクセス用コードを分離。 ロケータ * ページ要素を取得させる。 利点 可読性の高いテストケースを書くことができる。 複数のテストケース間で共有できる再利用可能なコードを作ることができる※コード重複を防ぐことができる。 構成 root - TestBase.py |_ test_GoogleSearch.py |_ chromedriver.exe |_ Pages -- google
![[Python]Page Object Modelパターンを用いたSelenium テストの記述方法メモ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d022cf7b75a39f4bd1034d251f68413207a521d0/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnBicy50d2ltZy5jb20lMkZwcm9maWxlX2ltYWdlcyUyRjEyMjg1NTU3MDgxMTI2MjE1NjglMkZsVy1KMm5wbl9iaWdnZXIuanBnP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1jN2ViZjY0ODNlMWQ0ZGUyMmVlYjg4ZjVjY2EyZDkzYQ%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Dd1cd3d0424fbee5aeeb8592ca173518f%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTIwJTVCUHl0aG9uJTVEUGFnZSUyME9iamVjdCUyME1vZGVsJUUzJTgzJTkxJUUzJTgyJUJGJUUzJTgzJUJDJUUzJTgzJUIzJUUzJTgyJTkyJUU3JTk0JUE4JUUzJTgxJTg0JUUzJTgxJTlGU2VsZW5pdW0lMjAlRTMlODMlODYlRTMlODIlQjklRTMlODMlODglRTMlODElQUUlRTglQTglOTglRTglQkYlQjAlRTYlOTYlQjklRTYlQjMlOTUlRTMlODMlQTElRTMlODMlQTImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz04ODhkNGU4MzgxZGNiY2I1ZjYwYWMwNGI0M2JhY2MzZg%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBLV1NfMDkwMSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWJjMDQ4OWRkZDZiMjU0MDM0NjhmYTlmNDdiYmFiZWVl%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D5f8ffdc14e06a921074fa8e403b3f789)
Pythonスクレイピング：JavaScriptによる動的ページ、静的ページ、キャプチャ取得のそれぞれの手法をサンプルコード付きで解説
Pythonスクレイピング：JavaScriptによる動的ページ、静的ページ、キャプチャ取得のそれぞれの手法をサンプルコード付きで解説 2020年4月16日 プログラミング takatan69 PythonはWebスクレイピングするのに大変便利な言語です。ライブラリーが充実しているため、簡単にWeb上のデータを取得することができるのです。今回はPythonで可能な2種類のスクレイピングの手法についてまとめてみました。 目次 Webスクレイピングを実施するために知っておくべきこと静的なhtmlからデータを取得する（BeautifulSoup4）動的にJavaScriptで出力されるhtmlのデータを取得する（Selenium & ChromeDriver ）Webサイトのキャプチャを取得するには？まとめ 1. スクレイピングを実施するために知っておくべきこと まずスクレイピングをする前に知っ
株式会社シナプス技術部ネットワーク課の杉原です。 これから、Linux の CUI 環境で Google Chromeを動かす方法についてご説明いたします。 GUI と CUI について GUI(Graphical User Interface) GUIとは、画面上に視覚的な画像や図形が用いられているインターフェイスのことです。 キーボードとマウスを使って画面上のテキストフォームやボタンなどのパーツを動かすことで、プログラムを実行します。 普段、みなさんが使っているPCやスマートフォンの画面がGUIにあたります。 CUI(Character User Interface) CUIは画面上に文字情報のみが表示されるインターフェイスのことです。 マウスを使わずキーボードでコマンドラインを入力することで操作を行います。 現在、ネットワーク装置やUNIX系サーバーはCUIでの操作が主流になってます
Python + Selenium (Chromedriver)を使って、Webを巡回する仕組みを作ったりしています。 Webサイトにログイン、情報を読み取って保存、属性も併せて保存など、ひととおり自動化できて便利です。 しかしSeleniumは起動したその都度初期化され、状態は保存されません。 次の起動時にはログイン状態も初期化され、何度も繰り返しログインすることになるのです。 サイト側に不審なアクセスと判断されないかとか、心配になったりするわけです。 今回、TweetDeckで流れていくタイムラインの情報を保存、クラスタリングして遊べないかなと試行錯誤していたのですが、TweetDeckってログインするたびに「新しい環境からのログインがありました」とスマホに通知がくるので、心配になりました。その流れで、pickleを使うと簡単にcookieを保存しておくことができ、またそれをリストアす
Python seleniumでAWSコンソールのログインを自動化する（PythonでWeb画面のスクレイピングする） - Qiita
タイトルの通りですが、Pythonでseleniumを使ってAWSコンソールのログイン処理を自動化したので投稿します。 最近、AWSアカウントを複数利用する（個人用／会社用／顧客用などなど）ケースが増えてきており、さらにパスワードポリシーが様々で大混乱中のため自動化しました(^^;) いわゆるPythonにseleniumをインストールしてWebスクレイピングする編です。 想定読者 AWSコンソールのログインが面倒に感じている人 Pythonが気になっている人 Webの自動化に取り組みたい人 作業時間 約15分 参考ページ こちらのページのseleniumの基本操作で実現出来ました(^^) 作業手順 ブラウザのドライバダウンロード Pythonにseleniumをインストール 実装 それでは1つ１つ手順を説明します。 1.ブラウザのドライバダウンロード seleniumはブラウザのドライバ
When I tried to use Selenium on RaspberryPi whose OS is Ubuntu, I couldn't do it because any image of SeleniumHQ/docker-selenium doesn't support arm64. I tried another way, which is downloading chromedriver from https://chromedriver.chromium.org/downloads, but it didn't work. I was completely exhausted. That's why I'm writing how to manage to do Selenium on the device . Seleniarm Run a container I
Python × Selenium × ChromeDriverでGoogle Chromeを起動すると、通常だと拡張機能はまっさらな状態で起動してしまいます。 でも、↓こんなふうに「拡張機能も同時に起動したい」ということがあったので、方法をメモしておきます。 ChromeDriverに"拡張機能実行オプション"を与えることで、実現できました。 【Selenium】ChromeDriverを拡張機能あり状態で起動する起動する拡張機能のIDを調べる拡張機能が保存されているフォルダーパスを調べる"拡張機能起動オプション"を与えてコード実行この3ステップです。順番に説明していきます。 1. 起動する拡張機能のIDを調べるまず、chrome拡張機能のIDを確認しましょう。 chromeを開き、右上三点マーク > その他のツール > 拡張機能 をクリック。 拡張機能ページが開くので、右上の「デベロッ
import sys import time import datetime from selenium import webdriver from selenium.webdriver.support.ui import Select import pandas from selenium.webdriver.chrome.options import Options from bs4 import BeautifulSoup import csv def connect_smbc(SHITEN,KOUZA,PASSWORD,name): options = Options() # ヘッドレスモード(chromeを表示させないモード) options.add_argument('--headless') driver = webdriver.Chrome(options=options,
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
各業界でのデータサイエンスの活用について調べてみた（随時追加） – かものはしの分析ブログ
SeleniumによるAPI呼び出しを含むE2Eテスト自動化 - asoview! Tech Blog
Python を活用しながら Web サイトのデータ収集を効率化（２）【実装編】 - Qiita
AWS Lambda PythonでSeleniumを使える環境を構築する | DevelopersIO
DockerでPython-Seleniumスクレイピング環境を立てた - Qiita
Selenium入門 Pythonでブラウザを自動化したい方必読！ - AI Academy Media
Python を活用しながら Web サイトのデータ収集を効率化（１）【環境構築編】 - Qiita
PythonのSeleniumを使って、起動済みのブラウザを操作する。 - Qiita
PythonでSeleniumライブラリーを使って、Webブラウザー操作を自動化！ - Qiita
SeleniumでChromeのプロファイルを使う | Seleniumワールド
【Python】SBI証券でIPOの申し込みがある場合にLine通知してみた - Qiita
[スクレイピング] Pythonでwebサイトの情報を丸裸にしよう！！ - Qiita
【Python/Selenium】ChromeDriverバージョンエラー対処法 - ゆうきのせかい
WebスクレイピングでGoogleの検索結果を取得しよう！（Python）
【Selenium】ドロップダウン/selectタグ選択,取得方法まとめ - ゆうきのせかい
Google ColaboratoryでSeleniumを使うための設定方法 | DevelopersIO
Docker を活用して即座に Python Selenium 実行環境を作る - Qiita
無限にプリパラがみた～～～い！！ （Pythonでやってみる）
Pythonでseleniumを使う！ - Qiita
Gaugeを使ってMarkdownで書いたテスト仕様を動かしてみる - ContractS開発者ブログ
WEB+DB PRESS 総集編を有効活用するためのPythonスクレイピング - Qiita
Chrome+Seleniumでファイルをダウンロードできない【解決済】 - いっさいがっさい
Linux の CUI 環境で Google Chromeを動かす - シナプス技術者ブログ
Python + Seleniumで何度もログインするのを避けたい - 日記とか、工作記録とか
Docker + Selenium + arm64 - Just a Note for Hobby
【Selenium】Chromeの拡張機能を起動する方法(Python) - ゆうきのせかい
SMBC日興証券の注文中リストをPythonでCSVとして取り込む | ミカログ