OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita
今回やりたかったこと 目標：ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の slack への自動投稿 bot を作成しました。 処理は大きく2つに分かれています。 ウォーキングイベントサイトから歩数をスクレイピング＆スプシへアップロード スプシの GAS で投稿文字列作成＆ slack へ自動投稿 今回 ChatGPT でやったのは1の方です。 2は前回半年前開催分のコードをほぼそのまま流用しました。 運良く（？）今回のタイミングでウォーキングイベントのサービスサイトが変わり、 HTML がまるっと変わり1のスクレイピングコードは作り直しが必
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか？と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界
Selenium, AWS Lambda, AWS Fargate, AWS Developer Tools を使ったサーバーレスなUIテスト | Amazon Web Services
Amazon Web Services ブログ Selenium, AWS Lambda, AWS Fargate, AWS Developer Tools を使ったサーバーレスなUIテスト (この記事は、 Serverless UI testing using Selenium, AWS Lambda, AWS Fargate, and AWS Developer Tools を翻訳したものです。) 以前、Using AWS CodePipeline, AWS CodeBuild, and AWS Lambda for Serverless Automated UI Testing (日本語版 ) を公開してから、Chrome headless とFirefox headless が各ブラウザでネイティブにサポートされるようになったことで、事態は大きく変わりました。 AWS Lambda
はじめに こんにちは、IT 戦略部システム基盤グループの井戸です。 当グループは社内向けに様々なサービス（GitHub、Jira、Confluence など）を提供し、それらの運用を担当しています。最近では社内向けサービスに SaaS を活用する機会が増え、その数も増加しています。 SaaS を利用することは、従来のオンプレミスのサービスと比較していくつかのメリットがあると言われており、概ねその通りだと思います。 物理サーバーを購入する必要がないため、導入コストが低い 月額利用が一般的なため、利用開始や解約のハードルが低い ベンダーがセキュリティ対策を担当するため、ユーザーはセキュリティを意識する必要がない クラウド上でサーバーの管理が行われるため、物理的なスペースを確保する必要がない 障害時の対応はベンダーが行うため、自ら対応する必要がない ただし、「障害時の対応はベンダーが行うため、自
Microsoft Power Automate DesktopでRPAを実現してみる | 🌴 officeの杜 🥥
自分自身の個人的意見としては、エンドユーザコンピューティングは大いに結構だと思ってるけれど、一方で日本でジリジリと熱さが消えつつある国内の有象無象のRPAについては滅んだほうが良いとも思ってる。理由は後述するとして、本日良いニュースが発表されました。Power Automate Desktopについて追加費用無し無償で利用可能になるとのこと。これは既にあるMicrosoft365のEnterpriseプランなどに標準で利用できてるPower Automateのデスクトップ版のようで、Windows10に標準でついてくるようになるとのこと。 ということで、現時点のMicrosoft365で使えてるPower Automate Desktopを使ってみて、どんな感じなのか？またリリース後にその違いなどをここに記述していこうかなと思っています。また、Seleniumベースのウェブ自動化についても
アソビュー！ Advent Calendar 2022の2日目（裏面）の記事です。 アソビューでQAをしている渡辺です。 前職ではエンジニア、およびQAをしておりましたが、10月よりアソビューにQAとして入社しました。 今回は、API呼び出しを含むE2Eテストの自動化を、他社ウェブサイトに仕様記載の無料公開APIで試してみた話となります。 アソビューのQAでは、開発スピードと品質向上の両立を図ることを重視しています。 そのためにも、シフトレフトやテスト自動化推進の取り組みは重要です。 現在QAとして参画中のプロジェクトでAPIの外部公開があり、E2EテストとしてAPIを含むテストの自動化はこれまでしていないので、APIを含むテストについて、Seleniumで簡単に自動化できないか試してみました。 なぜSeleniumか？ なぜPythonか？ 試してみるテストケース 天気予報APIの仕様
差分指向テスト（DOT: Difference Oriented Testing）という考え方 - MNTSQ Techブログ
はじめに MNTSQ(モンテスキュー)株式会社 フロントエンド担当の安積です。 入社して4ヶ月とちょっと。 コードに取り組もうと入社して、まさに日々格闘しております。 私の後ろの席にはこんなバズ記事書く人や、こんなイカつい記事書く人が座ってまして、そんなプレッシャー期待の中からお送りいたします。 tech.mntsq.co.jp tech.mntsq.co.jp 昨日はこんな記事も公開されています。 tech.mntsq.co.jp はじめに 現在のステータス またはMNTSQ考古学 リファクタリングやるぜっっ！ 仕様書大事だよね 差分指向テストとは テスト環境の概要 テストデータ ブラウザ操作自動化 スクリーンショット比較 Playwriteの操作 ちょっとコードのサンプル 最後に この記事を書いた人 現在のステータス またはMNTSQ考古学 コードベースから見たMNTSQのフロントエン
Software Design連載 2021年11月号 Robot FrameworkでE2Eテストを自動化する - MonotaRO Tech Blog
最初に少しイベントの宣伝 こんにちは。金谷です。 Software Designに連載させていただいております「Pythonモダン化計画」は、前半の4回で、それぞれの局面に合ったテスト手法を用いることで変更容易性を確保する話をしてきました。 前半の4回すべてに出てきたツールにJenkinsさんがいて、何らかのかたちで自動化されています。 モノタロウにおけるモダン化計画に不可欠な存在のJenkinsさん。 なんとこのたび、Jenkins Day Japan 2021というイベントで、Jenkinsの活用事例を発表させていただくことになりました。 「モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例」という内容で金谷が発表させていただきます。 詳細とお申込みは、下記のURLからご覧ください。 cloudbees.techmatrix.jp では本題に入ります。 本記事の初出は、
以前、本連載ではSeleniumを使ってブラウザを自動操縦する方法を紹介した。とても便利だがブラウザごとのドライバが必要でセットアップが面倒という側面もあった。しかし最近では自動インストールの方法が確立されて便利になった。そこで改めてブラウザの自動操縦を試してみよう。 ブラウザを自動操縦して画像をダウンロードしたところ Seleniumについて SeleniumとはWebブラウザを自動操縦するためのライブラリだ。もともとブラウザを使って自動テストを行うためのライブラリだが、今ではWeb巡回(クローリング)からデータ抽出(スクレイピング)までいろいろな自動処理に使われている。 Seleniumで可能なのは次のような処理だ。 ブラウザを自動操縦して任意のページを表示する ページ内の任意の要素を抽出する(id属性やclass属性、CSSセレクタで抽出できる) ページのスクリーンショットが取得でき
データ収集から機械学習まで全て行って競馬の予測をしてみた
概要 ※ Qiitaから移行して、一部追記しました(さらに追記の項を参照) 元タイトル：データ収集からディープラーニングまで全て行って競馬の予測をしてみた 某T大学で情報系を専攻している学生です。Qiitaの記事を色々見ていたら、こんな記事を発見。 ディープラーニングさえあれば、競馬で回収率100%を超えられる この記事の回収率100%達成に関しては、購入シミュレーションした馬券の数が少ないので、他の期間でも成立するのかはわかりません。ソースコードも有料なのでどうやっているのかの詳細もわかりません。しかし、自分で競馬予測をしてみても面白そうだと思ったので、勉強するつもりで実際にやってみました。 データ収集・分析・予測のすべてを行うことになるのでかなり勉強になります。 なぜ競馬なのか？ もしかしたらお金になるかもしれないという欲もありましたが、競馬は控除率が高いらしいのであまり期待はできませ
How to Bypass Cloudflare in 2023: The 8 Best Methods - ZenRows
About 1/5 of websites you need to scrape use Cloudflare, a hardcore anti-bot protection system that gets you blocked easily. So what can you do? 😥 We spent a million dollars figuring out how to bypass Cloudflare in 2023 so that you don't have to and wrote the most complete guide (you're reading it!). These are some of the techniques you'll get home today: Method 1: Get around Cloudflare CDN. Meth
データアナリティクス事業本部のueharaです。 今回はAWS Lambda (Python)で、WebアプリケーションをテストするためのポータブルフレームワークであるSeleniumを使える環境を構築してみたいと思います。 バケットの準備 今回はLambda Layerを構築することになりますが、その資材をS3に配置するため、まずバケットを用意します。 AWSコンソールでサービスからS3を検索します。 「バケットを作成」から作業用のバケット「selenium-work」という名前のバケットを作成します。 その他の設定はデフォルトのままとします。 パッケージの用意 まず、Lambda (Python)でSeleniumを利用できるようにするために、各パッケージの用意を行います。 パッケージの用意には、無料で使えるサービスであるAWS CloudShellを利用します。 Seleniumのダ
SeleniumとChromeDriver SeleniumはWebブラウザで行うクリック操作やキーボード入力などをプログラム上から自動で操作できるようにしたライブラリで ChromeDriverはChromeブラウザをプログラムで動かす為のドライバーです。 この2つを使うことで、SeleniumでChromeブラウザを操作してログインすることが可能です。 またこの2つを組み合わせて使うことで、次のことが可能になります。 ・スクレイピング ・ブラウザの自動操作(次へボタンや購入ボタンなどを自動で押すなど） ・システムの自動テスト ・非同期サイトのスクレイピング Seleniumのインストールは次のようにターミナルおよびコマンドプロントで打ち込み実行することで、インストール出来ます。 pip install selenium Chrome Driverのインストールは下記リンクから飛べます。
For web automation/testing, Selenium has been the de facto "standard" since forever. It's simple to get started with and supports almost every programming language. My problem with it has been: It's good enough, but nothing more. It doesn't work that well with modern, Javascript framework heavy sites (Angular, React etc). I'm not saying it doesn't work-- just not too well. Another issue: While Sel
業務自動化これ一本!? KNIME 初心者への完全ガイド！ KNIMEの使い方 入門から応用まで - デジタル推進課
本ブログでは、KNIME 初心者のための完全ガイドを作成しています。 KNIME初心者でもこれだけやれば、「KNIMEなんて簡単！」「自動化？まかせて！」「まだExcelでレポート作ってるの？」と言えるような人になれるようになることを想定しています。 Excelしか使ったことない・使う気のない方々に、KNIMEを使ってもらえるよう、私が実際に某外資系企業で教えているノウハウを惜しみなく掲載中です。 自動化ツールKNIMEを社員全員が使える、ハイテク企業を目指しましょう！ KNIME 社内研修用動画、公開しました！ Udemy Business でも受講可能になりました！ 【KNIME入門】 業務自動化これ一本!? 公式認定講師が教えるKNIME使い方完全ガイド！ | Udemy 社内トレーニング用動画として使用いただければと思います！ v5系~の最新操作画面に対応しており、Excelの自動
はじめに 処理の流れ スクレイピングのコード スクレイピングプログラムが動作している様子 取得したcsvファイルの可視化 最後に はじめに この記事ではPythonによるスクレイピングを使って、メルカリでの特定の商品の取引相場を調べるツールを作成する方法を書いていきます。 メルカリで出品されている商品の価格帯を知りたいときは、メルカリのページの検索ボックスにキーワードを入れて検索しますよね。 試しに「iphone se simフリー」で検索してみます。 するとこんな感じで商品の画像と値段が表示されてきます。 この検索結果を見ていって大体の値段相場を把握する感じが通常だと思います。 ここでは既に売り切れたものにしぼって商品価格を調べる想定とします。 販売状況のところで「売り切れ」にチェックが入っている状態ですね。 手作業で簡単に実施できるとはいえ、出品されている数が多い商品だったりすると検索
はじめに お久しぶりです。就活が忙しくて、あんまり技術系の勉強が出来なかったですが、就活が無事終わったので、記事を書きます。実はバイト先の人に頼まれた、業務自動化に関して、ぶち当たった壁についてまとめます。 また、この記事のC♯バージョンとして、以下の記事を参考にしました。@yk109さんには本当に感謝しています。それに、Teratailの記事もとても参考になりました。URLを載せておきます。 ・参考記事：SeleniumのChromeDriverで起動済みのブラウザを操作する ・参考記事：Seleniumで既に開いているウィンドウ 誰向けの記事？ この記事は、 ・”起動済み”のブラウザを、Pythonで自動操作したい人(Windows上) ・pythonによるseleniumがとりあえず使える人 に向けた記事です。seleniumのインストールとかは省きます。他の記事を参考にしてください
GitHub Actionsを利用したE2E自動化テストの実現 ～ Achieving E2E Automated Testing with GitHub Actions ～ 利用GitHub Actions实现E2E自动化测试 - スタディサプリ Product Team Blog
こんにちは。スタディサプリのQAチームです。 今回のBlogではスタディサプリで実施している自動化テストの一部の取り組みについて紹介させていただきます。 なお、スタディサプリQAチームの特性を活かし、本記事については日英中３言語で記載します。より多くのオーディエンスに読んで頂ければ嬉しいです。 自動化する動機 まず、なぜ自動化テストを導入するのでしょうか。 1. 新規機能が追加される度に、既存機能への影響を確認するための回帰テストをしなければなりません。 2. 繰り返し同じテストを手動実行することにより、テストコストが増加します。 3. 人間が実施すると、人為的ミスによる不具合の検出漏れが発生してしまう可能性が否定できません。 そのため、品質を担保した上でより早くリリースすることを目的とし自動化を導入しました。 現在の開発およびテストフロー QAが回帰テストの自動化テストスクリプトをGit
Chromeのユーザープロファイル Chromeのユーザー毎のデータ（履歴、ブックマーク、パスワード等）は、ユーザープロファイルに保存されます。 SeleniumでChromeDriverを動かす場合、デフォルトではユーザープロファイルは一時ディレクトリに作成され、終了後にクリアされます。ログイン情報を引き継ぎたい場合は、使用するユーザープロファイルを指定する必要があります。 ユーザープロファイルは、Chrome起動時のオプションで指定します。 –user-data-dirユーザープロファイルの保存先を指定–profile-directory使用するユーザープロファイルを指定 現在使用しているプロファイルは、chrome://versionで見ることができます。 上の画像では –user-data-dir：C:\Users\xxxxx\AppData\Local\Google\Chrome
一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT)
一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT) 自社サービスの最新情報にもとづくサポートボットを作りたいというのはよくある話だとおもいます。これを openai.embedding+pinecone+SlashGPTでサクッと実現する方法を紹介します。 準備 SlashGPT repo のclone https://github.com/snakajima/SlashGPT OpenAI API KEY open ai でアカウントを作成後下記でAPI-Keyを発行します https://platform.openai.com/account/api-keys 無料枠は5$までです https://openai.com/pricing pinecone API KEY vector DB SaaS をつかうととて
python×selenium！つい勢いでbenefit stationの自動ログインスクリプトを作ってしまった！ - かずきち。の日記
benefit stationとは？ 知っている方も多いと思いますが、企業が導入している福利厚生サイトです。 飲食店やレジャー施設の割引情報が掲載されている。 がしかし、ログインが必要なのである。 引用：https://bs.benefit-one.co.jp/bs/pages/bs/top/top.faces こんなインターフェースでトップ画面にログイン画面がある。 人間がIDとパスワードを入力しないといけないわけだ。 大問題である。 ここのログインを突破して、中の福利厚生情報を全部抜きたい。 このログイン、スクリプトで突破しましょう。 使ったライブラリなどは import time # スリープを使うために必要 from selenium import webdriver # Webブラウザを自動操作する（python -m pip install selenium) import c
概要 Pythonのスクレイピングについて1からまとまっている記事等がみつからなかったので自分で作成することにした。 今回は特にseleniumについての内容だが、この記事を通して一通りpythonのスクレイピングが出来るようになる。 (スクレイピングで学んだことがあるたびに追加していきます！) (エラーハンドリングについて近々追記予定) 目次 1. 初期設定 ライブラリのimport 初期optionの設定 driverのセットアップ はじめのurlへジャンプ 2. seleniumの基本動作 要素の取得 要素のテキストを取得 要素のattributeを取得 文字列を送信する クリックする javascriptの実行 タブ移動 3.seleniumの応用動作 ログイン ページネーション 無限スクロール Tips Current browser version is ・・・ time.sl
![[スクレイピング] Pythonでwebサイトの情報を丸裸にしよう！！ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/fbf9d169aa0d54d63a305814648bfd52b2853c86/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkYwJTJGNjU2MTU4JTJGcHJvZmlsZS1pbWFnZXMlMkYxNjc1MTc3ODM0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz05MDdiMGMwYmQxYjg3ZTM2YjI3ODdjZjYzMzUxZjk2Yw%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D7b2950d0c4eaabbeb5ddc7594a0e2c4f%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUUzJTgyJUI5JUUzJTgyJUFGJUUzJTgzJUFDJUUzJTgyJUE0JUUzJTgzJTk0JUUzJTgzJUIzJUUzJTgyJUIwJTVEJTIwUHl0aG9uJUUzJTgxJUE3d2ViJUUzJTgyJUI1JUUzJTgyJUE0JUUzJTgzJTg4JUUzJTgxJUFFJUU2JTgzJTg1JUU1JUEwJUIxJUUzJTgyJTkyJUU0JUI4JUI4JUU4JUEzJUI4JUUzJTgxJUFCJUUzJTgxJTk3JUUzJTgyJTg4JUUzJTgxJTg2JUVGJUJDJTgxJUVGJUJDJTgxJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YzQ2YWYzOGNjMmMwODgyZTFlMGRlZGRmMTRmNzUwMjI%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBtYXJ1NDAxJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9MWFkYjRkZDBiNGQ0NDQ2YjUwODg5ZjE3ZDIzZjk4MWU%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D7d93efb3f03991034940561e60790827)
Python/SeleniumでGoogle Chromeブラウザを自動操作したくてこんなふうにコードをかいて、 Pythonimport chromedriver_binary from selenium import webdriver driver = webdriver.Chrome() driver.get('https://google.com')動かしてみたら、4行目のwebdriver.Chrome()でこんな↓エラーが出た時の対処方です。 selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 80 Current browser version
Pythonで作れる代表的なプログラムとしてWebスクレイピングが挙げられます。これは主にライブラリを活用して実行するので、Pythonを覚えたての初心者でも簡単に作ることが出来ます。 今回はPythonを使い、Googleの検索結果に表示された記事のタイトル・URLをExcelに書き出すプログラムの作り方を紹介します。 Webスクレイピングとは？ Webスクレイピングとは、Web上のサイトから任意の情報を自動で取得する技術のこと。出したデータを加工してファイルとして出力したり、データベース上にデータを溜めることもできます。 一般的にはホームページから大量の情報を取得したい時に使われますが、今回のように検索エンジンの結果一覧にもスクレイピングを実行することが可能です。 ブログやホームページを運営するうえで欠かせない作業が、ターゲットキーワードによる検索結果の把握です。上位表示されている競合
はじめに ニコ生のタイムシフトをダウンロードしたかったんです。高画質のために深夜に見るのも辛いし。でも探しても全然ダウンローダーが無い。 なのでGoogleChromeのDevToolとか見ながら夜業して作りました。websocketとかの勉強になったかな？ 悪用厳禁。ニコニコ動画でダウンロード可能な動画は投稿者により明示的に許可されたものに限ります。 早くコードを見せろという方用にGithubのリンクを貼っときます。 https://github.com/kairi003/nicolive-dl 参考文献 いきなり参考文献というのもどうかと思うのですが、@mueruさんの「ニコ生の配信を分析し、動画として保存するために頑張った話」を大変参考にさせていただきました。 今回私が書いたのはこれの発展ですね。GoogleChrome+Seleniumなしで動くように頑張りました。 あとは@tor
Selenium Python クロームドライバー（chromedriver.exe）の自動インストール - Qiita
環境：WIndows10 pythonバージョン：3.8.32 chromedriver.exeの自動インストール(更新も自動) 以下の本にchromedriver.exeの自動インストールの方法があったので自分の環境に合わせてメモします。↓ chromedriver.exeにパスが通ってなくても、プログラムをexeファイル化しても、自動でインストールされました。 スクレイピング・ハッキングラボ：アマゾンのページ webdriver_manager webdriver_manager webdriver_managerを使うとchromedriver.exeを自動でインストールしてくれます。 chromedriver.exeを自動でインストールしてヤフーに接続するサンプル from selenium import webdriver from selenium.webdriver.chro
TL;DR seleniumの使い方 Chromeで起動方法 WebDriverインストール chromeの設定画面でchromeのバージョンを確認します。 こちらからChromeのWebDriverをダウンロードします。 先程確認したバージョンを同じものを選びます。 OSで選ぶ。 プログラミング ライブラリインストール from time import sleep from selenium import webdriver def main(): options = webdriver.ChromeOptions() driver_path = "./chromedriver" driver = webdriver.Chrome(executable_path=driver_path, options=options) driver.get("https://www.yahoo.co.
WEB+DB PRESS という雑誌はご存知かと思います。 WEB+DB PRESSは2021年7月にvol.120を記念し、それまでの全号をダウンロードできる特典がついた総集編が刊行されました。 WEB+DB PRESS総集編[Vol.1~120] (WEB+DB PRESSプラスシリーズ) これまでの全ての記事が3000円で読めるならばと思い、私も先日Amazonでポチってしまいましたが、有効な使い方いまいち分からず放置してしまっています。 そこで最近勉強し始めたSeleniumを使って記事タイトルを取得してExcelで表にしちゃおう！というのが今回の記事内容です。 環境 Python 3.9 selenium 4.2.0 openpyxl 3.0.9 コード to_excel 関数内のExcel の出力先ディレクトリと、CHROMEDRIVERを変えれば動くと思います。 import
これは、Selenium + Python で Chrome を自動操作してファイルをダウンロードしようと思ったときの話です。テストでは上手くいくのに本番環境にいくとダウンロードされない。エラーも発生しない。ぜんぜん分からず調べること数時間…。 結局原因はヘッドレスモードでした。本番時にのみ--headlessオプションをつけていたことが仇になりました。Chrome の初期設定では（セキュリティのためか）ヘッドレスモードではファイルをダウンロードできないようです。それならそれでエラーで落としてほしいものです。 Webにあった情報を参考にプログラムを修正したら解決。無事にダウンロードができました。 ヘッドレスモードでのダウンロード方法 まずは必要なパッケージのインポート。 from selenium import webdriver from selenium.webdriver.chrom
Python × Selenium × ChromeDriverでGoogle Chromeを起動すると、通常だと拡張機能はまっさらな状態で起動してしまいます。 でも、↓こんなふうに「拡張機能も同時に起動したい」ということがあったので、方法をメモしておきます。 ChromeDriverに"拡張機能実行オプション"を与えることで、実現できました。 【Selenium】ChromeDriverを拡張機能あり状態で起動する起動する拡張機能のIDを調べる拡張機能が保存されているフォルダーパスを調べる"拡張機能起動オプション"を与えてコード実行この3ステップです。順番に説明していきます。 1. 起動する拡張機能のIDを調べるまず、chrome拡張機能のIDを確認しましょう。 chromeを開き、右上三点マーク > その他のツール > 拡張機能 をクリック。 拡張機能ページが開くので、右上の「デベロッ
import sys import time import datetime from selenium import webdriver from selenium.webdriver.support.ui import Select import pandas from selenium.webdriver.chrome.options import Options from bs4 import BeautifulSoup import csv def connect_smbc(SHITEN,KOUZA,PASSWORD,name): options = Options() # ヘッドレスモード(chromeを表示させないモード) options.add_argument('--headless') driver = webdriver.Chrome(options=options,
はじめに 以前、Google画像検索からサムネ画像をダウンロードする方法を書きましたが、 この度、画像を詳細表示（検索結果を1度クリックした状態）すれば、元画像のリンクがページソース上に記載される、ということが判明しました。 この仕様を生かしてオリジナル画像をダウンロードしていきましょう（Googleがつよいからって負担はかけすぎないように注意しましょう。） プログラムの流れ SeleniumでGoogle画像検索 ↓ 1つ目の画像を詳細表示後、右カーソルキーを押下しまくる ↓ オリジナル画像のリンクを取得 ↓ ダウンロード 実装 Selenium, requestsあたりはインストールしてなかったらしてください。 ChromeDriverは実行パスにある設定になってるんで、適宜書き換えてください（インポート文のすぐ下）。 リファクタリングとかはしてないので汚いですが勘弁。 from se
import logging import os import sys import time import chromedriver_binary from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.ui import WebDriverWait SLIDE_URL = "test-auto-upload" FILE_PATH = "/home/user/Downloads/test-aut
ChatGPT時代に必要かも!? Pythonで実行するファイルパース（HTML編） | DevelopersIO
コアとしては、GPL 3ライセンスではhtml2text、trafilatura、それ以外のライセンスでは、BeautifulSoup4、unstructured(lxml)、Readability.jsが挙げられます。 ラッパーを含みで一つずつ動かしてみたいと思います。 試してみた 準備 pip install llama-index html2text trafilatura langchain unstructured requests pip install git+https://github.com/alan-turing-institute/ReadabiliPy.git@master#egg=readabilipy readabilipyは、pip install readabilipyで入るバージョン0.2.0がWindowsの文字コードに対応できていなかったので、git
簡単なブラウザ操作(特定の画面開いてスクリーンショット撮るだけとか) を自動化するために、自分のPC上にPython+Selenium+Chromeの動作環境を整えて 手動でPythonでSelemiumを実行していたのですが 実行を夜間にスケジューリングして、実行も自動化したいなー と思ったので、今回はサーバ上にSeleniumの動作環境を構築して実際に実行するところまでやってみます。 Python+Selenium+Chromeの動作環境構築 検証環境 CentOS Linux release 7.8 Python3系のインストール まずPythonの3系をインストールしていきます。 CentOSにPython3系をインストールする際、以前は以下の参考サイトのように Python3系用のリポジトリを準備して、そこからインストールする必要がありましたが 参考：CentOS7にPython
自動操作を行う場合、id、name、classなどを利用して要素を指定することになるので、属性値をメモしておきましょう。 ５．同様にボタンについても属性を調べます。その結果は以下のようになります。 <input class="gNO89b" value="Google 検索" aria-label="Google 検索" name="btnK" type="submit" data-ved="0ahUKEwiC0u6iu4nlAhXwyIsBHWwTBHcQ4dUDCAo"> 属性 値 ここで調べた属性を利用して要素を特定して自動操作を行うことになります。。 また、今回はChromeでのやり方を紹介しましたが、他のブラウザでも同様のことが可能です。同じWebアプリケーションを使用していてもブラウザによって出力される内容が異なる可能性もあるので、自動操作を行うブラウザを使用して要素を調べるよ
2023年9月28日: Recruiting Opsをやっていく 2を公開しました。 はじめに 自己紹介 株式会社エクサウィザーズでエンジニア・デザイナーポジションの採用をしている者です マーケティング/PRがバックグラウンドで、現在は採用人事をメインにしています 技術者だったことはありません (予防線) Recruiting Opsってなに なんでしょうね... 要約 レポーティングを自動化した その結果どういうことができるようになったか 今後やっていきたいこと(ダッシュボード化、より高次のインサイトの抽出etc) 課題 1.採用は自動化されていないオペレーションだらけ オペレーションの重要性が高い一方で、よりよい活動のためには個別化(パーソナライズ)が必須という状況。モチベーションとしては適切なオペレーションの自動化を通して、個別化を限界までしたいわけです。 2.エクサウィザーズは採用
レンタル掲示板 teacup.のデータを救出する
レンタル掲示板のteacup.が8月1日で終了 90年代からインターネットを始めた人なら見かけたことはあると思う掲示板。 様々なサービスの黎明期にあって、残っていた老舗がサービス終了になるようです。 お知らせはわかったけど、バックアップは？ 【重要なお知らせ】teacup. byGMOのサービス終了につきまして※追記あり（2022/3/25）(3月01日 14時00分) いつもteacup.をご利用いただき、誠にありがとうございます。 長年にわたりご愛顧いただきましたteacup.ですが、2022年8月1日（月）13:00をもちまして、サービスを終了させていただくこととなりました。 昔からある掲示板に書き込んだログと送信した写真を取得するツールや方法は、特に用意されていないようで、自力で行うようですね。 掲示版の記事を他のサイトに移行したい 誠に恐れ入りますが、掲示板記事のデータ移行する機
Track Awesome List Updates DailyWe track over 500 awesome list updates, and you can also subscribe to daily or weekly updates via RSS or News Letter. This repo is generated by trackawesomelist-source, visit it Online or with Github. 📅 Weekly · 🔍 Search · 🔥 Feed · 📮 Subscribe · ❤️ Sponsor · 😺 Github · 🌐 Website · 📝 07/29 · ✅ 07/29 Table of Contents Recently Updated Top 50 Awesome List All Tr
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
各業界でのデータサイエンスの活用について調べてみた（随時追加） – かものはしの分析ブログ
DeNA 流 SaaS の外形監視手法 | BLOG - DeNA Engineering
SeleniumによるAPI呼び出しを含むE2Eテスト自動化 - asoview! Tech Blog
ゼロからはじめるPython(93) Pythonでブラウザ自動化 - 画像を丸ごとダウンロードしよう
AWS Lambda PythonでSeleniumを使える環境を構築する | DevelopersIO
Selenium入門 Pythonでブラウザを自動化したい方必読！ - AI Academy Media
Web Automation: Don't Use Selenium, Use Playwright
Pythonのスクレイピングでメルカリの価格相場を調べる方法 - 77Lifeworkベータ版
PythonのSeleniumを使って、起動済みのブラウザを操作する。 - Qiita
SeleniumでChromeのプロファイルを使う | Seleniumワールド
[スクレイピング] Pythonでwebサイトの情報を丸裸にしよう！！ - Qiita
【Python/Selenium】ChromeDriverバージョンエラー対処法 - ゆうきのせかい
WebスクレイピングでGoogleの検索結果を取得しよう！（Python）
ニコ生(タイムシフト)ダウンローダーを書く - Qiita
Pythonでseleniumを使う！ - Qiita
WEB+DB PRESS 総集編を有効活用するためのPythonスクレイピング - Qiita
Chrome+Seleniumでファイルをダウンロードできない【解決済】 - いっさいがっさい
【Selenium】Chromeの拡張機能を起動する方法(Python) - ゆうきのせかい
SMBC日興証券の注文中リストをPythonでCSVとして取り込む | ミカログ
【Python】Google画像検索からオリジナル画像を根こそぎダウンロード - Qiita
Speaker Deckのスライド更新はPythonにやらせよう - Qiita
CentOS7でPython+Selenium+Chromeの動作環境の作成 - DENET 技術ブログ
Webアプリケーションを自動で操作してみよう | へっぽこ実験ブログ
Recruiting Opsをやっていく - Qiita
Track Awesome List Updates Daily