python selenium webdriverwait expected_conditionsの検索結果1 - 14 件 / 14件

• あとで読む

  データ収集から機械学習まで全て行って競馬の予測をしてみた

  • 19 users
  • zenn.dev/kami
  • テクノロジー
  • 2021/05/09

  概要 ※ Qiitaから移行して、一部追記しました(さらに追記の項を参照) 元タイトル：データ収集からディープラーニングまで全て行って競馬の予測をしてみた 某T大学で情報系を専攻している学生です。Qiitaの記事を色々見ていたら、こんな記事を発見。 ディープラーニングさえあれば、競馬で回収率100%を超えられる この記事の回収率100%達成に関しては、購入シミュレーションした馬券の数が少ないので、他の期間でも成立するのかはわかりません。ソースコードも有料なのでどうやっているのかの詳細もわかりません。しかし、自分で競馬予測をしてみても面白そうだと思ったので、勉強するつもりで実際にやってみました。 データ収集・分析・予測のすべてを行うことになるのでかなり勉強になります。 なぜ競馬なのか？ もしかしたらお金になるかもしれないという欲もありましたが、競馬は控除率が高いらしいのであまり期待はできませ

  • 競馬
  • study
  • データ
  • 学習
  • ai
  • 開発
  • あとで読む

  
• あとで読む

  [スクレイピング] Pythonでwebサイトの情報を丸裸にしよう！！ - Qiita

  • 5 users
  • qiita.com/maru401
  • テクノロジー
  • 2021/02/05

  概要 Pythonのスクレイピングについて1からまとまっている記事等がみつからなかったので自分で作成することにした。 今回は特にseleniumについての内容だが、この記事を通して一通りpythonのスクレイピングが出来るようになる。 (スクレイピングで学んだことがあるたびに追加していきます！) (エラーハンドリングについて近々追記予定) 目次 1. 初期設定 ライブラリのimport 初期optionの設定 driverのセットアップ はじめのurlへジャンプ 2. seleniumの基本動作 要素の取得 要素のテキストを取得 要素のattributeを取得 文字列を送信する クリックする javascriptの実行 タブ移動 3.seleniumの応用動作 ログイン ページネーション 無限スクロール Tips Current browser version is ・・・ time.sl

  • Python

  
• あとで読む

  TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する｜シマ

  • 4 users
  • note.com/shima_manga
  • 世の中
  • 2023/10/18

  TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する かつて無料で提供されていたTwitter APIは、イーロン・マスクによる買収などなんやかんやあって有料化されました。有料プランもあるにはありますが、そこそこの価格とそこそこの制限がかかっており、趣味レベルで手を出すのはちょっと憚られる感じのプランになっています。 そこで、TwitterAPIの代替手段として、Yahoo!リアルタイム検索をPythonでスクレイピングすることでツイート推移のデータを取得することにしました。この記事では、その手法（とコード）について書いていこうと思います。 Yahoo!リアルタイム検索とはYahoo!リアルタイム検索は、Yahoo!が提供しているTwitterの検索サービスです。ツイート検索やトレンドなどを確認することができます。とて

  • Yahoo
  • API
  • Python
  • Twitter

  
• あとで読む

  [Python] Docker+Python+Seleniumでスクレイピング - Qiita

  • 4 users
  • qiita.com/y_kitchens
  • テクノロジー
  • 2021/10/31

  はじめに 前回の記事でDockerコンテナでPython環境を作成しSeleniumを操作してみました。 今回はWebページのフォームで値を入力し、その結果の表示確認をしてみます。 SeleniumでWebページを操作する基本のような部分を備忘録として残すために記載したので見づらいかもしれませんが、そこはご了承ください。 実施すること 今回は下記の項目を実施してみようと思います。 Seleniumを使用しChromeを起動する。 Webページを表示する。 ページ内のボタン要素をクリックし、ページ遷移する。 遷移後のページで必要な要素が表示されるまで待機する。 ページのp要素からテキストを取得する。 ページ内のボタン要素をクリックし、ダイアログボックスを表示させる。 ダイアログボックス内のinput要素に値を入力する。 ダイアログボックス内のdropdownメニューから値をセレクトする。 ダ

  
• あとで読む

  【Network pharmacology】PubChemを用いた漢方成分の抽出【In silico創薬】 - LabCode

  • 4 users
  • labo-code.com
  • テクノロジー
  • 2025/09/16

  4. ChromeDriverのインストール（Macユーザー向け） brew install chromedriver このコマンドは Mac のユーザーが selenium を使うために必要なドライバ chromedriver をインストールします。 brew はMac用のパッケージ管理ソフトです。 chromedriver は、SeleniumがGoogle Chromeを操作するために必要な「仲介役」です。 注意：Chrome本体のバージョンとドライバのバージョンを合わせる必要があります。 Windowsの場合は、公式サイトからChromeDriverをダウンロードしてパスを通す必要があります。 5. 必要なライブラリのインストール② pip install selenium pandas tqdm 一部重複していますが問題ありません（すでに入っていればスキップされます）。ここでは
• あとで読む

  自動購入Bot完成まで

  • 4 users
  • kacchanblog.com
  • 暮らし
  • 2021/06/11

  簡単な動作説明 取りたいチケットのURLを入力 開始時間を入力 PCとインターネット時報のズレを検出し修正 2分前にサイトにログイン 開始時間に購入 とまーざっくりですがこんな感じですね コード とりあえず完成したコードの一部を公開します。 作れたことを載せたいのであってこのコードを使えば誰でもできるって訳では無いです。 あくまでも参考程度になればと思ってます。 大半はコピペでいいですが、Amazonだったり楽天だったり自動購入する目的のサイトによってもコードは変わります。 自分は今回は地下アイドルのチケットの購入に使いました。 整理番号1番を取ることもできました ボタンをクリックや文字を入力などのサイトによって変わるようなものは1部端折ってます。 （載せてても結局サイトによって変わるため） 具体的に変える部分としてはdef()の中身です。 基本動作などほかの記事にしてるため参考にしてみて

  • あとで読む

  
• あとで読む

  【python】メンドクサイを自動にさせてみた３【SlackBot編】 - Qiita

  • 3 users
  • qiita.com/ouranosu
  • テクノロジー
  • 2021/11/27

  この記事について 最近iOSアプリで20円ばかり儲けた凄腕プログラマー（自称）がサラリーマンしている仕事の一部がめんどくさかったり、誰かの人的ミスのせいでなんか怒られたりと嫌になりそうなことを、プログラムを作ってサクッと解決★ 今回は送迎の有無をpythonを使って判別し、slackに放り投げて通知を送ることで、見落としミスがなくなるようにしました。 背景には、今時宿泊者名簿をイチイチ紙に出力して、今日の送迎の有無を確認しているのですが、その出力するシステムがツギハギだらけのもので、予期せぬ動作をすることがあります。 今回は、送迎あり・なしのラジオボタンがあるのですが、ありのボタンを押しても、その下にある備考欄が空欄だと、紙に出力されないというわけわかんない不具合がありました。 何言ってるのかわからないかと思いますが、私にもわかりません。 何をした？ １．pythonを使います。 ２．se

  
• あとで読む

  selenium4 で スクレイピング - Qiita

  • 3 users
  • qiita.com/ma7ma7pipipi
  • テクノロジー
  • 2023/02/11

  yum -y install libX11 GConf2 fontconfig yum -y install ipa-gothic-fonts ipa-mincho-fonts ipa-pgothic-fonts ipa-pmincho-fonts fc-cache -fv yum -y install google-chrome-stable libOSMesa python3 -m pip install selenium python3 -m pip install webdriver-manager from selenium import webdriver from selenium.webdriver import ChromeOptions from selenium.webdriver.support.ui import WebDriverWait from seleni

  • 開発
  • プログラミング

  
• あとで読む

  Speaker Deckのスライド更新はPythonにやらせよう - Qiita

  • 3 users
  • qiita.com/shimo_s3
  • テクノロジー
  • 2023/07/15

  import logging import os import sys import time import chromedriver_binary from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.ui import WebDriverWait SLIDE_URL = "test-auto-upload" FILE_PATH = "/home/user/Downloads/test-aut

  
• あとで読む

  Teamsの個人チャットへ自動送信する（２段階認証回避） - Qiita

  • 3 users
  • qiita.com/mimuro_syunya
  • テクノロジー
  • 2021/10/03

  はじめに お久しぶりです。プロコン間に合いませんでした。次はきっと間に合わせます（次があったら）。 今回の記事は、Teamsの個人チャットへ、メッセージを自動送信するプログラムの作成について書いたものです。バイト先で必要になったので、作りました。 意外と躓きポイントがあったので大変でした。躓いたのは、ログイン（2段階認証）と、seleniumの要素の取得（classでfindする時に空白を含んではいけない）です。一応、githubにプログラムを公開しておきます。使う人がいればですが、好きに使ってください。 概要 本記事で解説する手法は、「Teamsの個人チャットへメッセージを自動送信する」ものである。 従来のTeasmへ自動送信する手段としてIncoming Webhook[1]というツールがあるが、チーム単位でしか操作できない特徴があり、自動送信される相手はそのチームに参加する必要がある

  
• あとで読む

  e-tax マイナンバーカードなし - Python転職初心者向けエンジニアリングブログ

  • 3 users
  • pythonjp.ikitai.net
  • テクノロジー
  • 2024/02/13

  ## e-tax マイナンバーカードなし e-tax（電子申告）を利用する際、マイナンバーカードを利用できない場合には、代替手段としてe-taxの利用登録情報を使用してログインする方法があります。この記事では、e-taxをマイナンバーカードなしで利用する方法について詳しく説明します。 1. e-tax 利用登録情報でログインする e-taxの利用登録情報は、ユーザーIDとパスワードで構成されています。マイナンバーカードが利用できない場合でも、この利用登録情報を使用してログインすることができます。以下の手順でログインを行います。 e-taxのログインページにアクセスします。 「利用登録情報でログインする」を選択します。 ユーザーIDとパスワードを入力してログインします。 2. サンプルコードの実行結果 以下は、e-taxの利用登録情報を使用してログインするPythonコードのサンプルです。

  
• あとで読む

  Python Twitter APIを使わずにツイートを収集 2023年最新版 - Qiita

  • 3 users
  • qiita.com/katafuchix
  • テクノロジー
  • 2023/03/20

  ツイート収集用の各ライブラリ ほぼ使えなくなったので自力で収集する方がいいです。 事前準備 Google Colaboratory で ツイートを収集してみます。 Google Colaboratory でTwitterの画像をダウンロード の通りにGoogle Colaboratory に chrome, selenium をインストールしてください。 ツイート収集 ツイートを収集したいアカウントにアクセスして、下までスクロールします。 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait

  
• あとで読む

  Pythonでブログのコメント自動収集 - Qiita

  • 3 users
  • qiita.com/yaanai
  • テクノロジー
  • 2023/06/17

  はじめに Pythonによるブログのコメント収集の自動化をしました。 以前の記事で紹介した本文抽出との違いは、 アメブロのコメントがJavaScriptで動的に作成されるコンテンツであり、 htmlで読み込んでもデータを取得できないことです。 そこで、Seleniumというツールを使って、ブラウザを制御してWebページの操作をしながら情報を収集しました。 コード 必要なライブラリの読み込み #ファイル操作 import os import pandas as pd import shutil import datetime from itertools import zip_longest #パース解析 import requests from bs4 import BeautifulSoup import re from urllib.parse import urljoin impor

  
• あとで読む

  SeleniumでTwitterをスクレイピングする【Python】

  • 3 users
  • self-development.info
  • テクノロジー
  • 2021/03/30

  話を戦略に戻しましょう。 戦略は、「ブラウザを使ってTwitterを見るように、スクレイピングを行う」です。 よって、本当にブラウザを動かす必要があります。 そのためには、Seleniumが必須です。 Seleniumなしでは、Twitterをスクレイピングはできません。 技術的には可能かもしれませんが、かなり面倒になるでしょう。 なぜ、Seleniumが必須なのか？ それは、以下の理由です。 JavaScriptにより動的コンテンツを表示しているスクロールにより追加コンテンツを表示している（改ページの概念がない） 動的コンテンツは、Seleniumなしでも何とかなります。 でも、スクロール処理はSeleniumの力が必要です。 他には、Node.jsと言う手があるかもしれませんけどね。 では、Seleniumを使ってTwitterを攻略していきます。 上記であげた2点がポイントです。 J

  • python
  • Twitter