ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita
今回やりたかったこと 目標：ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の slack への自動投稿 bot を作成しました。 処理は大きく2つに分かれています。 ウォーキングイベントサイトから歩数をスクレイピング＆スプシへアップロード スプシの GAS で投稿文字列作成＆ slack へ自動投稿 今回 ChatGPT でやったのは1の方です。 2は前回半年前開催分のコードをほぼそのまま流用しました。 運良く（？）今回のタイミングでウォーキングイベントのサービスサイトが変わり、 HTML がまるっと変わり1のスクレイピングコードは作り直しが必
この記事で伝えたいこと（ポイント） ブラウザを操作する方法はたくさんある Microsoftの製品だけ生成AIによるブラウザ操作ができる 生成AIを使ったWebブラウザの自動操作はいろんな技術で可能 MCPやA2Aでも作り方次第でWebブラウザの自動操作はいけちゃう はじめに この記事ではAIによるWebブラウザ操作を実現する方法について 過去の登壇内容を交えて解説する記事です。 まずはブラウザ操作について説明し、次にAIを使った場合をチェックしていきます。 そして、どんなOSSがあったかを振り返りつつ、 MicrosoftのOSSだけでAIによるWebブラウザ操作や他のクラウド使ったブラウザ操作を実現する方法について解説します。 最後に最近話題のMCPやA2Aを取り入れた方法についてもみていきます。（余談程度） 定義：ブラウザ操作とは Webオートメーションの分野でさまざまな文脈がありま
一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT)
一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT) 自社サービスの最新情報にもとづくサポートボットを作りたいというのはよくある話だとおもいます。これを openai.embedding+pinecone+SlashGPTでサクッと実現する方法を紹介します。 準備 SlashGPT repo のclone https://github.com/snakajima/SlashGPT OpenAI API KEY open ai でアカウントを作成後下記でAPI-Keyを発行します https://platform.openai.com/account/api-keys 無料枠は5$までです https://openai.com/pricing pinecone API KEY vector DB SaaS をつかうととて
When I tried to use Selenium on RaspberryPi whose OS is Ubuntu, I couldn't do it because any image of SeleniumHQ/docker-selenium doesn't support arm64. I tried another way, which is downloading chromedriver from https://chromedriver.chromium.org/downloads, but it didn't work. I was completely exhausted. That's why I'm writing how to manage to do Selenium on the device . Seleniarm Run a container I
stable-diffusion-webuiのtxt2imgをAPIでランダムワード生成自動化 - Qiita
と追記して webui-user.bat を起動すると使えるようになります。 stable-diffusion-webuiに連続生成する機能があるそうです。 ご指摘頂きありがとうございます。 この記事は、Waifu DiffusionやNovelAI Diffusion等でランダムなPromptワードを指定してイラストを自動生成する場合や、APIの使い方の参考にしてください。 はじめに AUTOMATIC1111/stable-diffusion-webuiでは、固定されたPromptワードで毎回ボタンをクリックして生成するため、自動生成する方法を考えました。 SeleniumとWebDriverを使用する方法も考えましたがGradioでUIが生成され ていたため、AUTOMATIC1111/stable-diffusion-webuiからフォークされたリポジトリを使用しました。 かんたん
Chrome DevTools Protocolを用いるPlaywrightを活用した広告表示の監視について - MicroAd Developers Blog
京都研究所・TechLabの石浦です。マイクロアドでは、広告配信システムの監視の整備に取り組んでいます。 最近では、社内にある監視基盤を活用し、広告配信システムから実際に配信されている広告そのものを監視対象にしながら配信が正常かをチェックするようにしています。 なお、監視基盤については以前ブログで紹介していますので、ご参照ください*1 外形監視と広告実配信 広告が表示されるまでには様々な手続きが行われていますが、その詳細は伏せて最終的な広告表示が正常に表示されているかだけをチェックしたいことがあります。 このようにシステムの内部状態を直接確認するのではなく、システムの外部から入力と出力の関係性に焦点を当てて監視するアプローチを外形監視と言います。 去年、自社の広告配信システムに対して、外形監視を行う仕組みを導入しました。 本番の配信を経由しなければ見つけられない不具合があるという問題に取り
はじめに お久しぶりです。プロコン間に合いませんでした。次はきっと間に合わせます（次があったら）。 今回の記事は、Teamsの個人チャットへ、メッセージを自動送信するプログラムの作成について書いたものです。バイト先で必要になったので、作りました。 意外と躓きポイントがあったので大変でした。躓いたのは、ログイン（2段階認証）と、seleniumの要素の取得（classでfindする時に空白を含んではいけない）です。一応、githubにプログラムを公開しておきます。使う人がいればですが、好きに使ってください。 概要 本記事で解説する手法は、「Teamsの個人チャットへメッセージを自動送信する」ものである。 従来のTeasmへ自動送信する手段としてIncoming Webhook[1]というツールがあるが、チーム単位でしか操作できない特徴があり、自動送信される相手はそのチームに参加する必要がある
自動操作を行う場合、id、name、classなどを利用して要素を指定することになるので、属性値をメモしておきましょう。 ５．同様にボタンについても属性を調べます。その結果は以下のようになります。 <input class="gNO89b" value="Google 検索" aria-label="Google 検索" name="btnK" type="submit" data-ved="0ahUKEwiC0u6iu4nlAhXwyIsBHWwTBHcQ4dUDCAo"> 属性 値 ここで調べた属性を利用して要素を特定して自動操作を行うことになります。。 また、今回はChromeでのやり方を紹介しましたが、他のブラウザでも同様のことが可能です。同じWebアプリケーションを使用していてもブラウザによって出力される内容が異なる可能性もあるので、自動操作を行うブラウザを使用して要素を調べるよ
この記事を書いた理由 1年半前に使ったものを見つけたので整理(年末に向けたお掃除) なんちゃって分析レベルでも分析大事だなと再認識したので書きながら記憶を呼び起こしたい 当時の状況 当時、一般ユーザー向けのサービスを担当していて、ユーザーがどんなシチュエーションの時にどういう行動を取るのか見たかった (大人の事情で詳しく書けない) 天気とか気温が関係する(と考えられている)サービスだったから気象データと紐付けて分析すれば何かわかるのでは？という考えがあった 分析タイミングは不定期だったので必要なタイミングで手動で叩いて取得していた データ分析例 仮に1ヶ月の間にAさんがランチをどこで食べるのかを集計。 実際に分析したものじゃないです (ここでは お店の名前、お店に訪れた日時、お店の場所 を保持してるものとする。) 集計したものを見たところ、職場から離れた飲食店に行くこともあれば近くの飲食店
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【生成AI】AIによるWebブラウザの自動操作を実現するには - Qiita
Docker + Selenium + arm64 - Just a Note for Hobby
Teamsの個人チャットへ自動送信する（２段階認証回避） - Qiita
Webアプリケーションを自動で操作してみよう | へっぽこ実験ブログ
気象データが欲しくなって過去にスクレイピングで入手した話 - Qiita