OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか？と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界
アソビュー！ Advent Calendar 2022の2日目（裏面）の記事です。 アソビューでQAをしている渡辺です。 前職ではエンジニア、およびQAをしておりましたが、10月よりアソビューにQAとして入社しました。 今回は、API呼び出しを含むE2Eテストの自動化を、他社ウェブサイトに仕様記載の無料公開APIで試してみた話となります。 アソビューのQAでは、開発スピードと品質向上の両立を図ることを重視しています。 そのためにも、シフトレフトやテスト自動化推進の取り組みは重要です。 現在QAとして参画中のプロジェクトでAPIの外部公開があり、E2EテストとしてAPIを含むテストの自動化はこれまでしていないので、APIを含むテストについて、Seleniumで簡単に自動化できないか試してみました。 なぜSeleniumか？ なぜPythonか？ 試してみるテストケース 天気予報APIの仕様
Software Design連載 2021年11月号 Robot FrameworkでE2Eテストを自動化する - MonotaRO Tech Blog
最初に少しイベントの宣伝 こんにちは。金谷です。 Software Designに連載させていただいております「Pythonモダン化計画」は、前半の4回で、それぞれの局面に合ったテスト手法を用いることで変更容易性を確保する話をしてきました。 前半の4回すべてに出てきたツールにJenkinsさんがいて、何らかのかたちで自動化されています。 モノタロウにおけるモダン化計画に不可欠な存在のJenkinsさん。 なんとこのたび、Jenkins Day Japan 2021というイベントで、Jenkinsの活用事例を発表させていただくことになりました。 「モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例」という内容で金谷が発表させていただきます。 詳細とお申込みは、下記のURLからご覧ください。 cloudbees.techmatrix.jp では本題に入ります。 本記事の初出は、
データアナリティクス事業本部のueharaです。 今回はAWS Lambda (Python)で、WebアプリケーションをテストするためのポータブルフレームワークであるSeleniumを使える環境を構築してみたいと思います。 バケットの準備 今回はLambda Layerを構築することになりますが、その資材をS3に配置するため、まずバケットを用意します。 AWSコンソールでサービスからS3を検索します。 「バケットを作成」から作業用のバケット「selenium-work」という名前のバケットを作成します。 その他の設定はデフォルトのままとします。 パッケージの用意 まず、Lambda (Python)でSeleniumを利用できるようにするために、各パッケージの用意を行います。 パッケージの用意には、無料で使えるサービスであるAWS CloudShellを利用します。 Seleniumのダ
SeleniumとChromeDriver SeleniumはWebブラウザで行うクリック操作やキーボード入力などをプログラム上から自動で操作できるようにしたライブラリで ChromeDriverはChromeブラウザをプログラムで動かす為のドライバーです。 この2つを使うことで、SeleniumでChromeブラウザを操作してログインすることが可能です。 またこの2つを組み合わせて使うことで、次のことが可能になります。 ・スクレイピング ・ブラウザの自動操作(次へボタンや購入ボタンなどを自動で押すなど） ・システムの自動テスト ・非同期サイトのスクレイピング Seleniumのインストールは次のようにターミナルおよびコマンドプロントで打ち込み実行することで、インストール出来ます。 pip install selenium Chrome Driverのインストールは下記リンクから飛べます。
はじめに お久しぶりです。就活が忙しくて、あんまり技術系の勉強が出来なかったですが、就活が無事終わったので、記事を書きます。実はバイト先の人に頼まれた、業務自動化に関して、ぶち当たった壁についてまとめます。 また、この記事のC♯バージョンとして、以下の記事を参考にしました。@yk109さんには本当に感謝しています。それに、Teratailの記事もとても参考になりました。URLを載せておきます。 ・参考記事：SeleniumのChromeDriverで起動済みのブラウザを操作する ・参考記事：Seleniumで既に開いているウィンドウ 誰向けの記事？ この記事は、 ・”起動済み”のブラウザを、Pythonで自動操作したい人(Windows上) ・pythonによるseleniumがとりあえず使える人 に向けた記事です。seleniumのインストールとかは省きます。他の記事を参考にしてください
GitHub Actionsを利用したE2E自動化テストの実現 ～ Achieving E2E Automated Testing with GitHub Actions ～ 利用GitHub Actions实现E2E自动化测试 - スタディサプリ Product Team Blog
こんにちは。スタディサプリのQAチームです。 今回のBlogではスタディサプリで実施している自動化テストの一部の取り組みについて紹介させていただきます。 なお、スタディサプリQAチームの特性を活かし、本記事については日英中３言語で記載します。より多くのオーディエンスに読んで頂ければ嬉しいです。 自動化する動機 まず、なぜ自動化テストを導入するのでしょうか。 1. 新規機能が追加される度に、既存機能への影響を確認するための回帰テストをしなければなりません。 2. 繰り返し同じテストを手動実行することにより、テストコストが増加します。 3. 人間が実施すると、人為的ミスによる不具合の検出漏れが発生してしまう可能性が否定できません。 そのため、品質を担保した上でより早くリリースすることを目的とし自動化を導入しました。 現在の開発およびテストフロー QAが回帰テストの自動化テストスクリプトをGit
Chromeのユーザープロファイル Chromeのユーザー毎のデータ（履歴、ブックマーク、パスワード等）は、ユーザープロファイルに保存されます。 SeleniumでChromeDriverを動かす場合、デフォルトではユーザープロファイルは一時ディレクトリに作成され、終了後にクリアされます。ログイン情報を引き継ぎたい場合は、使用するユーザープロファイルを指定する必要があります。 ユーザープロファイルは、Chrome起動時のオプションで指定します。 –user-data-dirユーザープロファイルの保存先を指定–profile-directory使用するユーザープロファイルを指定 現在使用しているプロファイルは、chrome://versionで見ることができます。 上の画像では –user-data-dir：C:\Users\xxxxx\AppData\Local\Google\Chrome
一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT)
一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT) 自社サービスの最新情報にもとづくサポートボットを作りたいというのはよくある話だとおもいます。これを openai.embedding+pinecone+SlashGPTでサクッと実現する方法を紹介します。 準備 SlashGPT repo のclone https://github.com/snakajima/SlashGPT OpenAI API KEY open ai でアカウントを作成後下記でAPI-Keyを発行します https://platform.openai.com/account/api-keys 無料枠は5$までです https://openai.com/pricing pinecone API KEY vector DB SaaS をつかうととて
python×selenium！つい勢いでbenefit stationの自動ログインスクリプトを作ってしまった！ - かずきち。の日記
benefit stationとは？ 知っている方も多いと思いますが、企業が導入している福利厚生サイトです。 飲食店やレジャー施設の割引情報が掲載されている。 がしかし、ログインが必要なのである。 引用：https://bs.benefit-one.co.jp/bs/pages/bs/top/top.faces こんなインターフェースでトップ画面にログイン画面がある。 人間がIDとパスワードを入力しないといけないわけだ。 大問題である。 ここのログインを突破して、中の福利厚生情報を全部抜きたい。 このログイン、スクリプトで突破しましょう。 使ったライブラリなどは import time # スリープを使うために必要 from selenium import webdriver # Webブラウザを自動操作する（python -m pip install selenium) import c
概要 Pythonのスクレイピングについて1からまとまっている記事等がみつからなかったので自分で作成することにした。 今回は特にseleniumについての内容だが、この記事を通して一通りpythonのスクレイピングが出来るようになる。 (スクレイピングで学んだことがあるたびに追加していきます！) (エラーハンドリングについて近々追記予定) 目次 1. 初期設定 ライブラリのimport 初期optionの設定 driverのセットアップ はじめのurlへジャンプ 2. seleniumの基本動作 要素の取得 要素のテキストを取得 要素のattributeを取得 文字列を送信する クリックする javascriptの実行 タブ移動 3.seleniumの応用動作 ログイン ページネーション 無限スクロール Tips Current browser version is ・・・ time.sl
![[スクレイピング] Pythonでwebサイトの情報を丸裸にしよう！！ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/fbf9d169aa0d54d63a305814648bfd52b2853c86/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkYwJTJGNjU2MTU4JTJGcHJvZmlsZS1pbWFnZXMlMkYxNjc1MTc3ODM0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz05MDdiMGMwYmQxYjg3ZTM2YjI3ODdjZjYzMzUxZjk2Yw%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D7b2950d0c4eaabbeb5ddc7594a0e2c4f%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUUzJTgyJUI5JUUzJTgyJUFGJUUzJTgzJUFDJUUzJTgyJUE0JUUzJTgzJTk0JUUzJTgzJUIzJUUzJTgyJUIwJTVEJTIwUHl0aG9uJUUzJTgxJUE3d2ViJUUzJTgyJUI1JUUzJTgyJUE0JUUzJTgzJTg4JUUzJTgxJUFFJUU2JTgzJTg1JUU1JUEwJUIxJUUzJTgyJTkyJUU0JUI4JUI4JUU4JUEzJUI4JUUzJTgxJUFCJUUzJTgxJTk3JUUzJTgyJTg4JUUzJTgxJTg2JUVGJUJDJTgxJUVGJUJDJTgxJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9YzQ2YWYzOGNjMmMwODgyZTFlMGRlZGRmMTRmNzUwMjI%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBtYXJ1NDAxJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9MWFkYjRkZDBiNGQ0NDQ2YjUwODg5ZjE3ZDIzZjk4MWU%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D7d93efb3f03991034940561e60790827)
Python/SeleniumでGoogle Chromeブラウザを自動操作したくてこんなふうにコードをかいて、 Pythonimport chromedriver_binary from selenium import webdriver driver = webdriver.Chrome() driver.get('https://google.com')動かしてみたら、4行目のwebdriver.Chrome()でこんな↓エラーが出た時の対処方です。 selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 80 Current browser version
Pythonで作れる代表的なプログラムとしてWebスクレイピングが挙げられます。これは主にライブラリを活用して実行するので、Pythonを覚えたての初心者でも簡単に作ることが出来ます。 今回はPythonを使い、Googleの検索結果に表示された記事のタイトル・URLをExcelに書き出すプログラムの作り方を紹介します。 Webスクレイピングとは？ Webスクレイピングとは、Web上のサイトから任意の情報を自動で取得する技術のこと。出したデータを加工してファイルとして出力したり、データベース上にデータを溜めることもできます。 一般的にはホームページから大量の情報を取得したい時に使われますが、今回のように検索エンジンの結果一覧にもスクレイピングを実行することが可能です。 ブログやホームページを運営するうえで欠かせない作業が、ターゲットキーワードによる検索結果の把握です。上位表示されている競合
Selenium Python クロームドライバー（chromedriver.exe）の自動インストール - Qiita
環境：WIndows10 pythonバージョン：3.8.32 chromedriver.exeの自動インストール(更新も自動) 以下の本にchromedriver.exeの自動インストールの方法があったので自分の環境に合わせてメモします。↓ chromedriver.exeにパスが通ってなくても、プログラムをexeファイル化しても、自動でインストールされました。 スクレイピング・ハッキングラボ：アマゾンのページ webdriver_manager webdriver_manager webdriver_managerを使うとchromedriver.exeを自動でインストールしてくれます。 chromedriver.exeを自動でインストールしてヤフーに接続するサンプル from selenium import webdriver from selenium.webdriver.chro
TL;DR seleniumの使い方 Chromeで起動方法 WebDriverインストール chromeの設定画面でchromeのバージョンを確認します。 こちらからChromeのWebDriverをダウンロードします。 先程確認したバージョンを同じものを選びます。 OSで選ぶ。 プログラミング ライブラリインストール from time import sleep from selenium import webdriver def main(): options = webdriver.ChromeOptions() driver_path = "./chromedriver" driver = webdriver.Chrome(executable_path=driver_path, options=options) driver.get("https://www.yahoo.co.
こんにちは。Holmesでエンジニアをしている山本です。 社内でATDDの話題が出たことがありました。受け入れテストと言えばCucumber、というイメージがあったのですが、他にないか調べたところ、Gaugeという、Markdownを仕様としてテスト実行できるツールがあったので、試してみました。 実行環境 Gaugeの概要 なぜGaugeを試そうと思ったのか 環境構築 Gaugeのインストール Intellij IDEAにGaugeプラグインを追加 Intellij IDEAからGaugeプロジェクトの作成 Visual Studio CodeにGaugeプラグインを追加 Visual Studio CodeからGaugeプロジェクトの作成 Gaugeの実行確認 Intellij IDEAでのプロジェクトインポート 実装 テスト仕様の記述 テスト実装の記述 実行と結果の確認 感想 最後に
WEB+DB PRESS という雑誌はご存知かと思います。 WEB+DB PRESSは2021年7月にvol.120を記念し、それまでの全号をダウンロードできる特典がついた総集編が刊行されました。 WEB+DB PRESS総集編[Vol.1~120] (WEB+DB PRESSプラスシリーズ) これまでの全ての記事が3000円で読めるならばと思い、私も先日Amazonでポチってしまいましたが、有効な使い方いまいち分からず放置してしまっています。 そこで最近勉強し始めたSeleniumを使って記事タイトルを取得してExcelで表にしちゃおう！というのが今回の記事内容です。 環境 Python 3.9 selenium 4.2.0 openpyxl 3.0.9 コード to_excel 関数内のExcel の出力先ディレクトリと、CHROMEDRIVERを変えれば動くと思います。 import
これは、Selenium + Python で Chrome を自動操作してファイルをダウンロードしようと思ったときの話です。テストでは上手くいくのに本番環境にいくとダウンロードされない。エラーも発生しない。ぜんぜん分からず調べること数時間…。 結局原因はヘッドレスモードでした。本番時にのみ--headlessオプションをつけていたことが仇になりました。Chrome の初期設定では（セキュリティのためか）ヘッドレスモードではファイルをダウンロードできないようです。それならそれでエラーで落としてほしいものです。 Webにあった情報を参考にプログラムを修正したら解決。無事にダウンロードができました。 ヘッドレスモードでのダウンロード方法 まずは必要なパッケージのインポート。 from selenium import webdriver from selenium.webdriver.chrom
Python + Selenium (Chromedriver)を使って、Webを巡回する仕組みを作ったりしています。 Webサイトにログイン、情報を読み取って保存、属性も併せて保存など、ひととおり自動化できて便利です。 しかしSeleniumは起動したその都度初期化され、状態は保存されません。 次の起動時にはログイン状態も初期化され、何度も繰り返しログインすることになるのです。 サイト側に不審なアクセスと判断されないかとか、心配になったりするわけです。 今回、TweetDeckで流れていくタイムラインの情報を保存、クラスタリングして遊べないかなと試行錯誤していたのですが、TweetDeckってログインするたびに「新しい環境からのログインがありました」とスマホに通知がくるので、心配になりました。その流れで、pickleを使うと簡単にcookieを保存しておくことができ、またそれをリストアす
Python × Selenium × ChromeDriverでGoogle Chromeを起動すると、通常だと拡張機能はまっさらな状態で起動してしまいます。 でも、↓こんなふうに「拡張機能も同時に起動したい」ということがあったので、方法をメモしておきます。 ChromeDriverに"拡張機能実行オプション"を与えることで、実現できました。 【Selenium】ChromeDriverを拡張機能あり状態で起動する起動する拡張機能のIDを調べる拡張機能が保存されているフォルダーパスを調べる"拡張機能起動オプション"を与えてコード実行この3ステップです。順番に説明していきます。 1. 起動する拡張機能のIDを調べるまず、chrome拡張機能のIDを確認しましょう。 chromeを開き、右上三点マーク > その他のツール > 拡張機能 をクリック。 拡張機能ページが開くので、右上の「デベロッ
import sys import time import datetime from selenium import webdriver from selenium.webdriver.support.ui import Select import pandas from selenium.webdriver.chrome.options import Options from bs4 import BeautifulSoup import csv def connect_smbc(SHITEN,KOUZA,PASSWORD,name): options = Options() # ヘッドレスモード(chromeを表示させないモード) options.add_argument('--headless') driver = webdriver.Chrome(options=options,
import logging import os import sys import time import chromedriver_binary from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.ui import WebDriverWait SLIDE_URL = "test-auto-upload" FILE_PATH = "/home/user/Downloads/test-aut
簡単なブラウザ操作(特定の画面開いてスクリーンショット撮るだけとか) を自動化するために、自分のPC上にPython+Selenium+Chromeの動作環境を整えて 手動でPythonでSelemiumを実行していたのですが 実行を夜間にスケジューリングして、実行も自動化したいなー と思ったので、今回はサーバ上にSeleniumの動作環境を構築して実際に実行するところまでやってみます。 Python+Selenium+Chromeの動作環境構築 検証環境 CentOS Linux release 7.8 Python3系のインストール まずPythonの3系をインストールしていきます。 CentOSにPython3系をインストールする際、以前は以下の参考サイトのように Python3系用のリポジトリを準備して、そこからインストールする必要がありましたが 参考：CentOS7にPython
2023年9月28日: Recruiting Opsをやっていく 2を公開しました。 はじめに 自己紹介 株式会社エクサウィザーズでエンジニア・デザイナーポジションの採用をしている者です マーケティング/PRがバックグラウンドで、現在は採用人事をメインにしています 技術者だったことはありません (予防線) Recruiting Opsってなに なんでしょうね... 要約 レポーティングを自動化した その結果どういうことができるようになったか 今後やっていきたいこと(ダッシュボード化、より高次のインサイトの抽出etc) 課題 1.採用は自動化されていないオペレーションだらけ オペレーションの重要性が高い一方で、よりよい活動のためには個別化(パーソナライズ)が必須という状況。モチベーションとしては適切なオペレーションの自動化を通して、個別化を限界までしたいわけです。 2.エクサウィザーズは採用
自動操作を行う場合、id、name、classなどを利用して要素を指定することになるので、属性値をメモしておきましょう。 ５．同様にボタンについても属性を調べます。その結果は以下のようになります。 <input class="gNO89b" value="Google 検索" aria-label="Google 検索" name="btnK" type="submit" data-ved="0ahUKEwiC0u6iu4nlAhXwyIsBHWwTBHcQ4dUDCAo"> 属性 値 ここで調べた属性を利用して要素を特定して自動操作を行うことになります。。 また、今回はChromeでのやり方を紹介しましたが、他のブラウザでも同様のことが可能です。同じWebアプリケーションを使用していてもブラウザによって出力される内容が異なる可能性もあるので、自動操作を行うブラウザを使用して要素を調べるよ
Historically, this is the most common error beginning Selenium users get when trying to run code for the first time: Java Python CSharp Ruby The path to the driver executable must be set by the webdriver.chrome.driver system property; for more information, see https://chromedriver.chromium.org/. The latest version can be downloaded from https://chromedriver.chromium.org/downloads Likely causeThrou
やろうとしてること 指定の検索ワードで、画像を検索し、規則ファイル名で自動保存 なぜこんなことをしようと思ったか 上記の学習のための素材集めのため 「ナルト」「ルフィー」それぞれの訓練用データを10枚ずつ集める必要がありました。 また、学習用データ10枚ずつだといずれにせよ少ないので、学習用データ収集の自動化は必須 書いたコード from selenium import webdriver from selenium.webdriver.common.keys import Keys import urllib.request import time # 検索ワード search_word = 'ルフィー 顔 画像' # 画像保存先のフォルダ save_dir = './luffy_faces/' # webdriverのパス webdriver_path = './chromedrive
この記事を書いた理由 1年半前に使ったものを見つけたので整理(年末に向けたお掃除) なんちゃって分析レベルでも分析大事だなと再認識したので書きながら記憶を呼び起こしたい 当時の状況 当時、一般ユーザー向けのサービスを担当していて、ユーザーがどんなシチュエーションの時にどういう行動を取るのか見たかった (大人の事情で詳しく書けない) 天気とか気温が関係する(と考えられている)サービスだったから気象データと紐付けて分析すれば何かわかるのでは？という考えがあった 分析タイミングは不定期だったので必要なタイミングで手動で叩いて取得していた データ分析例 仮に1ヶ月の間にAさんがランチをどこで食べるのかを集計。 実際に分析したものじゃないです (ここでは お店の名前、お店に訪れた日時、お店の場所 を保持してるものとする。) 集計したものを見たところ、職場から離れた飲食店に行くこともあれば近くの飲食店
話を戦略に戻しましょう。 戦略は、「ブラウザを使ってTwitterを見るように、スクレイピングを行う」です。 よって、本当にブラウザを動かす必要があります。 そのためには、Seleniumが必須です。 Seleniumなしでは、Twitterをスクレイピングはできません。 技術的には可能かもしれませんが、かなり面倒になるでしょう。 なぜ、Seleniumが必須なのか？ それは、以下の理由です。 JavaScriptにより動的コンテンツを表示しているスクロールにより追加コンテンツを表示している（改ページの概念がない） 動的コンテンツは、Seleniumなしでも何とかなります。 でも、スクロール処理はSeleniumの力が必要です。 他には、Node.jsと言う手があるかもしれませんけどね。 では、Seleniumを使ってTwitterを攻略していきます。 上記であげた2点がポイントです。 J
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
各業界でのデータサイエンスの活用について調べてみた（随時追加） – かものはしの分析ブログ
SeleniumによるAPI呼び出しを含むE2Eテスト自動化 - asoview! Tech Blog
AWS Lambda PythonでSeleniumを使える環境を構築する | DevelopersIO
Selenium入門 Pythonでブラウザを自動化したい方必読！ - AI Academy Media
PythonのSeleniumを使って、起動済みのブラウザを操作する。 - Qiita
SeleniumでChromeのプロファイルを使う | Seleniumワールド
[スクレイピング] Pythonでwebサイトの情報を丸裸にしよう！！ - Qiita
【Python/Selenium】ChromeDriverバージョンエラー対処法 - ゆうきのせかい
WebスクレイピングでGoogleの検索結果を取得しよう！（Python）
Pythonでseleniumを使う！ - Qiita
Gaugeを使ってMarkdownで書いたテスト仕様を動かしてみる - ContractS開発者ブログ
WEB+DB PRESS 総集編を有効活用するためのPythonスクレイピング - Qiita
Chrome+Seleniumでファイルをダウンロードできない【解決済】 - いっさいがっさい
Python + Seleniumで何度もログインするのを避けたい - 日記とか、工作記録とか
【Selenium】Chromeの拡張機能を起動する方法(Python) - ゆうきのせかい
SMBC日興証券の注文中リストをPythonでCSVとして取り込む | ミカログ
Speaker Deckのスライド更新はPythonにやらせよう - Qiita
CentOS7でPython+Selenium+Chromeの動作環境の作成 - DENET 技術ブログ
Recruiting Opsをやっていく - Qiita
Webアプリケーションを自動で操作してみよう | へっぽこ実験ブログ
Unable to Locate Driver Error
Pythonで画像自動検索＆規則ファイル名で自動保存 - Qiita
気象データが欲しくなって過去にスクレイピングで入手した話 - Qiita
SeleniumでTwitterをスクレイピングする【Python】