ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita
今回やりたかったこと 目標：ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の slack への自動投稿 bot を作成しました。 処理は大きく2つに分かれています。 ウォーキングイベントサイトから歩数をスクレイピング＆スプシへアップロード スプシの GAS で投稿文字列作成＆ slack へ自動投稿 今回 ChatGPT でやったのは1の方です。 2は前回半年前開催分のコードをほぼそのまま流用しました。 運良く（？）今回のタイミングでウォーキングイベントのサービスサイトが変わり、 HTML がまるっと変わり1のスクレイピングコードは作り直しが必
ハローワークの求人情報をスクレイピング（Python + Selenium + BeautifulSoup） - ai_makerの日記
この記事は、以下のハローワークインターネットサービスから求人情報を自動で取得する試みを記録したものです: www.hellowork.mhlw.go.jp まずは、ソースコードと実行結果をお見せし、後ほどこの記事を書いた経緯などを話します。 ソースコード：HelloWork_Scraping_ST.py from selenium import webdriver from selenium.webdriver.support.ui import Select import time from bs4 import BeautifulSoup import re # ハローワークインターネットサービスのURL url = "https://www.hellowork.mhlw.go.jp/" # 以下からご自分で使用しているChromeのバージョンに合ったChromeDriverをダウンロ
はじめに こんにちは、IT 戦略部システム基盤グループの井戸です。 当グループは社内向けに様々なサービス（GitHub、Jira、Confluence など）を提供し、それらの運用を担当しています。最近では社内向けサービスに SaaS を活用する機会が増え、その数も増加しています。 SaaS を利用することは、従来のオンプレミスのサービスと比較していくつかのメリットがあると言われており、概ねその通りだと思います。 物理サーバーを購入する必要がないため、導入コストが低い 月額利用が一般的なため、利用開始や解約のハードルが低い ベンダーがセキュリティ対策を担当するため、ユーザーはセキュリティを意識する必要がない クラウド上でサーバーの管理が行われるため、物理的なスペースを確保する必要がない 障害時の対応はベンダーが行うため、自ら対応する必要がない ただし、「障害時の対応はベンダーが行うため、自
データ収集から機械学習まで全て行って競馬の予測をしてみた
概要 ※ Qiitaから移行して、一部追記しました(さらに追記の項を参照) 元タイトル：データ収集からディープラーニングまで全て行って競馬の予測をしてみた 某T大学で情報系を専攻している学生です。Qiitaの記事を色々見ていたら、こんな記事を発見。 ディープラーニングさえあれば、競馬で回収率100%を超えられる この記事の回収率100%達成に関しては、購入シミュレーションした馬券の数が少ないので、他の期間でも成立するのかはわかりません。ソースコードも有料なのでどうやっているのかの詳細もわかりません。しかし、自分で競馬予測をしてみても面白そうだと思ったので、勉強するつもりで実際にやってみました。 データ収集・分析・予測のすべてを行うことになるのでかなり勉強になります。 なぜ競馬なのか？ もしかしたらお金になるかもしれないという欲もありましたが、競馬は控除率が高いらしいのであまり期待はできませ
最近趣味でPython のSeleniumを使ってスクレイピングしているんだが なぜか要素が取得できないことがある。 技術的な原因としては 以下2点のことがあるみたい。 取得したい要素にiframeが使われている 取得したい要素がshadow-rootで囲まれている この内、「1.iframeが含まれている場合のスクレイピング」については ネットでググれば大抵のこと書いてあるから割愛したい。 ここでは「2. shadow-rootが使われた場合のスクレイピング」についてまとめる。 ちなみに私自身、ITエンジニアでもないタダのド素人だから 素人目にみてわかるように書きたいと思う。 ※玄人の人は許してね ちなみにshadow-root攻略に3日かかった そのくらい希少価値があるものだと思いたい。 1. shadow-rootについて 2.shadow-root内のスクレイピング方法 下準備 3
TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する｜シマ
TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する かつて無料で提供されていたTwitter APIは、イーロン・マスクによる買収などなんやかんやあって有料化されました。有料プランもあるにはありますが、そこそこの価格とそこそこの制限がかかっており、趣味レベルで手を出すのはちょっと憚られる感じのプランになっています。 そこで、TwitterAPIの代替手段として、Yahoo!リアルタイム検索をPythonでスクレイピングすることでツイート推移のデータを取得することにしました。この記事では、その手法（とコード）について書いていこうと思います。 Yahoo!リアルタイム検索とはYahoo!リアルタイム検索は、Yahoo!が提供しているTwitterの検索サービスです。ツイート検索やトレンドなどを確認することができます。とて
Python × Selenium × ChromeDriverで、select/optionタグで構成されるドロップダウン(プルダウン)リストを選択状態にしたり・値を取得する方法をまとめました。 SeleniumのSelectモジュールを使うと簡単に操作できます。 こんなHTMLを前提として書いていきます。 HTML<!DOCTYPE html> <html> <select name="test" id="dropdown"> <option value="1">1番目</option> <option value="2">2番目</option> <option value="3">3番目</option> <option value="4">4番目</option> <option value="5">5番目</option> <option value="6">6番目</opti
TL;DR seleniumの使い方 Chromeで起動方法 WebDriverインストール chromeの設定画面でchromeのバージョンを確認します。 こちらからChromeのWebDriverをダウンロードします。 先程確認したバージョンを同じものを選びます。 OSで選ぶ。 プログラミング ライブラリインストール from time import sleep from selenium import webdriver def main(): options = webdriver.ChromeOptions() driver_path = "./chromedriver" driver = webdriver.Chrome(executable_path=driver_path, options=options) driver.get("https://www.yahoo.co.
株式会社シナプス技術部ネットワーク課の杉原です。 これから、Linux の CUI 環境で Google Chromeを動かす方法についてご説明いたします。 GUI と CUI について GUI(Graphical User Interface) GUIとは、画面上に視覚的な画像や図形が用いられているインターフェイスのことです。 キーボードとマウスを使って画面上のテキストフォームやボタンなどのパーツを動かすことで、プログラムを実行します。 普段、みなさんが使っているPCやスマートフォンの画面がGUIにあたります。 CUI(Character User Interface) CUIは画面上に文字情報のみが表示されるインターフェイスのことです。 マウスを使わずキーボードでコマンドラインを入力することで操作を行います。 現在、ネットワーク装置やUNIX系サーバーはCUIでの操作が主流になってます
この記事について 最近iOSアプリで20円ばかり儲けた凄腕プログラマー（自称）がサラリーマンしている仕事の一部がめんどくさかったり、誰かの人的ミスのせいでなんか怒られたりと嫌になりそうなことを、プログラムを作ってサクッと解決★ 今回は送迎の有無をpythonを使って判別し、slackに放り投げて通知を送ることで、見落としミスがなくなるようにしました。 背景には、今時宿泊者名簿をイチイチ紙に出力して、今日の送迎の有無を確認しているのですが、その出力するシステムがツギハギだらけのもので、予期せぬ動作をすることがあります。 今回は、送迎あり・なしのラジオボタンがあるのですが、ありのボタンを押しても、その下にある備考欄が空欄だと、紙に出力されないというわけわかんない不具合がありました。 何言ってるのかわからないかと思いますが、私にもわかりません。 何をした？ １．pythonを使います。 ２．se
はじめに お久しぶりです。プロコン間に合いませんでした。次はきっと間に合わせます（次があったら）。 今回の記事は、Teamsの個人チャットへ、メッセージを自動送信するプログラムの作成について書いたものです。バイト先で必要になったので、作りました。 意外と躓きポイントがあったので大変でした。躓いたのは、ログイン（2段階認証）と、seleniumの要素の取得（classでfindする時に空白を含んではいけない）です。一応、githubにプログラムを公開しておきます。使う人がいればですが、好きに使ってください。 概要 本記事で解説する手法は、「Teamsの個人チャットへメッセージを自動送信する」ものである。 従来のTeasmへ自動送信する手段としてIncoming Webhook[1]というツールがあるが、チーム単位でしか操作できない特徴があり、自動送信される相手はそのチームに参加する必要がある
やろうとしてること 指定の検索ワードで、画像を検索し、規則ファイル名で自動保存 なぜこんなことをしようと思ったか 上記の学習のための素材集めのため 「ナルト」「ルフィー」それぞれの訓練用データを10枚ずつ集める必要がありました。 また、学習用データ10枚ずつだといずれにせよ少ないので、学習用データ収集の自動化は必須 書いたコード from selenium import webdriver from selenium.webdriver.common.keys import Keys import urllib.request import time # 検索ワード search_word = 'ルフィー 顔 画像' # 画像保存先のフォルダ save_dir = './luffy_faces/' # webdriverのパス webdriver_path = './chromedrive
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DeNA 流 SaaS の外形監視手法 | BLOG - DeNA Engineering
【Python Selenium】#shadow-rootのスクレイピング方法 - まろブログ
【Selenium】ドロップダウン/selectタグ選択,取得方法まとめ - ゆうきのせかい
Pythonでseleniumを使う！ - Qiita
Linux の CUI 環境で Google Chromeを動かす - シナプス技術者ブログ
【python】メンドクサイを自動にさせてみた３【SlackBot編】 - Qiita
Teamsの個人チャットへ自動送信する（２段階認証回避） - Qiita
Pythonで画像自動検索＆規則ファイル名で自動保存 - Qiita