OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita
今回やりたかったこと 目標：ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の slack への自動投稿 bot を作成しました。 処理は大きく2つに分かれています。 ウォーキングイベントサイトから歩数をスクレイピング＆スプシへアップロード スプシの GAS で投稿文字列作成＆ slack へ自動投稿 今回 ChatGPT でやったのは1の方です。 2は前回半年前開催分のコードをほぼそのまま流用しました。 運良く（？）今回のタイミングでウォーキングイベントのサービスサイトが変わり、 HTML がまるっと変わり1のスクレイピングコードは作り直しが必
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか？と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界
はじめに こんにちは、IT 戦略部システム基盤グループの井戸です。 当グループは社内向けに様々なサービス（GitHub、Jira、Confluence など）を提供し、それらの運用を担当しています。最近では社内向けサービスに SaaS を活用する機会が増え、その数も増加しています。 SaaS を利用することは、従来のオンプレミスのサービスと比較していくつかのメリットがあると言われており、概ねその通りだと思います。 物理サーバーを購入する必要がないため、導入コストが低い 月額利用が一般的なため、利用開始や解約のハードルが低い ベンダーがセキュリティ対策を担当するため、ユーザーはセキュリティを意識する必要がない クラウド上でサーバーの管理が行われるため、物理的なスペースを確保する必要がない 障害時の対応はベンダーが行うため、自ら対応する必要がない ただし、「障害時の対応はベンダーが行うため、自
アソビュー！ Advent Calendar 2022の2日目（裏面）の記事です。 アソビューでQAをしている渡辺です。 前職ではエンジニア、およびQAをしておりましたが、10月よりアソビューにQAとして入社しました。 今回は、API呼び出しを含むE2Eテストの自動化を、他社ウェブサイトに仕様記載の無料公開APIで試してみた話となります。 アソビューのQAでは、開発スピードと品質向上の両立を図ることを重視しています。 そのためにも、シフトレフトやテスト自動化推進の取り組みは重要です。 現在QAとして参画中のプロジェクトでAPIの外部公開があり、E2EテストとしてAPIを含むテストの自動化はこれまでしていないので、APIを含むテストについて、Seleniumで簡単に自動化できないか試してみました。 なぜSeleniumか？ なぜPythonか？ 試してみるテストケース 天気予報APIの仕様
以前、本連載ではSeleniumを使ってブラウザを自動操縦する方法を紹介した。とても便利だがブラウザごとのドライバが必要でセットアップが面倒という側面もあった。しかし最近では自動インストールの方法が確立されて便利になった。そこで改めてブラウザの自動操縦を試してみよう。 ブラウザを自動操縦して画像をダウンロードしたところ Seleniumについて SeleniumとはWebブラウザを自動操縦するためのライブラリだ。もともとブラウザを使って自動テストを行うためのライブラリだが、今ではWeb巡回(クローリング)からデータ抽出(スクレイピング)までいろいろな自動処理に使われている。 Seleniumで可能なのは次のような処理だ。 ブラウザを自動操縦して任意のページを表示する ページ内の任意の要素を抽出する(id属性やclass属性、CSSセレクタで抽出できる) ページのスクリーンショットが取得でき
データ収集から機械学習まで全て行って競馬の予測をしてみた
概要 ※ Qiitaから移行して、一部追記しました(さらに追記の項を参照) 元タイトル：データ収集からディープラーニングまで全て行って競馬の予測をしてみた 某T大学で情報系を専攻している学生です。Qiitaの記事を色々見ていたら、こんな記事を発見。 ディープラーニングさえあれば、競馬で回収率100%を超えられる この記事の回収率100%達成に関しては、購入シミュレーションした馬券の数が少ないので、他の期間でも成立するのかはわかりません。ソースコードも有料なのでどうやっているのかの詳細もわかりません。しかし、自分で競馬予測をしてみても面白そうだと思ったので、勉強するつもりで実際にやってみました。 データ収集・分析・予測のすべてを行うことになるのでかなり勉強になります。 なぜ競馬なのか？ もしかしたらお金になるかもしれないという欲もありましたが、競馬は控除率が高いらしいのであまり期待はできませ
How to Bypass Cloudflare in 2023: The 8 Best Methods - ZenRows
About 1/5 of websites you need to scrape use Cloudflare, a hardcore anti-bot protection system that gets you blocked easily. So what can you do? 😥 We spent a million dollars figuring out how to bypass Cloudflare in 2023 so that you don't have to and wrote the most complete guide (you're reading it!). These are some of the techniques you'll get home today: Method 1: Get around Cloudflare CDN. Meth
はじめに 処理の流れ スクレイピングのコード スクレイピングプログラムが動作している様子 取得したcsvファイルの可視化 最後に はじめに この記事ではPythonによるスクレイピングを使って、メルカリでの特定の商品の取引相場を調べるツールを作成する方法を書いていきます。 メルカリで出品されている商品の価格帯を知りたいときは、メルカリのページの検索ボックスにキーワードを入れて検索しますよね。 試しに「iphone se simフリー」で検索してみます。 するとこんな感じで商品の画像と値段が表示されてきます。 この検索結果を見ていって大体の値段相場を把握する感じが通常だと思います。 ここでは既に売り切れたものにしぼって商品価格を調べる想定とします。 販売状況のところで「売り切れ」にチェックが入っている状態ですね。 手作業で簡単に実施できるとはいえ、出品されている数が多い商品だったりすると検索
GitHub Actionsを利用したE2E自動化テストの実現 ～ Achieving E2E Automated Testing with GitHub Actions ～ 利用GitHub Actions实现E2E自动化测试 - スタディサプリ Product Team Blog
こんにちは。スタディサプリのQAチームです。 今回のBlogではスタディサプリで実施している自動化テストの一部の取り組みについて紹介させていただきます。 なお、スタディサプリQAチームの特性を活かし、本記事については日英中３言語で記載します。より多くのオーディエンスに読んで頂ければ嬉しいです。 自動化する動機 まず、なぜ自動化テストを導入するのでしょうか。 1. 新規機能が追加される度に、既存機能への影響を確認するための回帰テストをしなければなりません。 2. 繰り返し同じテストを手動実行することにより、テストコストが増加します。 3. 人間が実施すると、人為的ミスによる不具合の検出漏れが発生してしまう可能性が否定できません。 そのため、品質を担保した上でより早くリリースすることを目的とし自動化を導入しました。 現在の開発およびテストフロー QAが回帰テストの自動化テストスクリプトをGit
Chromeのユーザープロファイル Chromeのユーザー毎のデータ（履歴、ブックマーク、パスワード等）は、ユーザープロファイルに保存されます。 SeleniumでChromeDriverを動かす場合、デフォルトではユーザープロファイルは一時ディレクトリに作成され、終了後にクリアされます。ログイン情報を引き継ぎたい場合は、使用するユーザープロファイルを指定する必要があります。 ユーザープロファイルは、Chrome起動時のオプションで指定します。 –user-data-dirユーザープロファイルの保存先を指定–profile-directory使用するユーザープロファイルを指定 現在使用しているプロファイルは、chrome://versionで見ることができます。 上の画像では –user-data-dir：C:\Users\xxxxx\AppData\Local\Google\Chrome
一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT)
一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT) 自社サービスの最新情報にもとづくサポートボットを作りたいというのはよくある話だとおもいます。これを openai.embedding+pinecone+SlashGPTでサクッと実現する方法を紹介します。 準備 SlashGPT repo のclone https://github.com/snakajima/SlashGPT OpenAI API KEY open ai でアカウントを作成後下記でAPI-Keyを発行します https://platform.openai.com/account/api-keys 無料枠は5$までです https://openai.com/pricing pinecone API KEY vector DB SaaS をつかうととて
python×selenium！つい勢いでbenefit stationの自動ログインスクリプトを作ってしまった！ - かずきち。の日記
benefit stationとは？ 知っている方も多いと思いますが、企業が導入している福利厚生サイトです。 飲食店やレジャー施設の割引情報が掲載されている。 がしかし、ログインが必要なのである。 引用：https://bs.benefit-one.co.jp/bs/pages/bs/top/top.faces こんなインターフェースでトップ画面にログイン画面がある。 人間がIDとパスワードを入力しないといけないわけだ。 大問題である。 ここのログインを突破して、中の福利厚生情報を全部抜きたい。 このログイン、スクリプトで突破しましょう。 使ったライブラリなどは import time # スリープを使うために必要 from selenium import webdriver # Webブラウザを自動操作する（python -m pip install selenium) import c
Python/SeleniumでGoogle Chromeブラウザを自動操作したくてこんなふうにコードをかいて、 Pythonimport chromedriver_binary from selenium import webdriver driver = webdriver.Chrome() driver.get('https://google.com')動かしてみたら、4行目のwebdriver.Chrome()でこんな↓エラーが出た時の対処方です。 selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 80 Current browser version
Pythonで作れる代表的なプログラムとしてWebスクレイピングが挙げられます。これは主にライブラリを活用して実行するので、Pythonを覚えたての初心者でも簡単に作ることが出来ます。 今回はPythonを使い、Googleの検索結果に表示された記事のタイトル・URLをExcelに書き出すプログラムの作り方を紹介します。 Webスクレイピングとは？ Webスクレイピングとは、Web上のサイトから任意の情報を自動で取得する技術のこと。出したデータを加工してファイルとして出力したり、データベース上にデータを溜めることもできます。 一般的にはホームページから大量の情報を取得したい時に使われますが、今回のように検索エンジンの結果一覧にもスクレイピングを実行することが可能です。 ブログやホームページを運営するうえで欠かせない作業が、ターゲットキーワードによる検索結果の把握です。上位表示されている競合
Selenium Python クロームドライバー（chromedriver.exe）の自動インストール - Qiita
環境：WIndows10 pythonバージョン：3.8.32 chromedriver.exeの自動インストール(更新も自動) 以下の本にchromedriver.exeの自動インストールの方法があったので自分の環境に合わせてメモします。↓ chromedriver.exeにパスが通ってなくても、プログラムをexeファイル化しても、自動でインストールされました。 スクレイピング・ハッキングラボ：アマゾンのページ webdriver_manager webdriver_manager webdriver_managerを使うとchromedriver.exeを自動でインストールしてくれます。 chromedriver.exeを自動でインストールしてヤフーに接続するサンプル from selenium import webdriver from selenium.webdriver.chro
TL;DR seleniumの使い方 Chromeで起動方法 WebDriverインストール chromeの設定画面でchromeのバージョンを確認します。 こちらからChromeのWebDriverをダウンロードします。 先程確認したバージョンを同じものを選びます。 OSで選ぶ。 プログラミング ライブラリインストール from time import sleep from selenium import webdriver def main(): options = webdriver.ChromeOptions() driver_path = "./chromedriver" driver = webdriver.Chrome(executable_path=driver_path, options=options) driver.get("https://www.yahoo.co.
WEB+DB PRESS という雑誌はご存知かと思います。 WEB+DB PRESSは2021年7月にvol.120を記念し、それまでの全号をダウンロードできる特典がついた総集編が刊行されました。 WEB+DB PRESS総集編[Vol.1~120] (WEB+DB PRESSプラスシリーズ) これまでの全ての記事が3000円で読めるならばと思い、私も先日Amazonでポチってしまいましたが、有効な使い方いまいち分からず放置してしまっています。 そこで最近勉強し始めたSeleniumを使って記事タイトルを取得してExcelで表にしちゃおう！というのが今回の記事内容です。 環境 Python 3.9 selenium 4.2.0 openpyxl 3.0.9 コード to_excel 関数内のExcel の出力先ディレクトリと、CHROMEDRIVERを変えれば動くと思います。 import
Python × Selenium × ChromeDriverでGoogle Chromeを起動すると、通常だと拡張機能はまっさらな状態で起動してしまいます。 でも、↓こんなふうに「拡張機能も同時に起動したい」ということがあったので、方法をメモしておきます。 ChromeDriverに"拡張機能実行オプション"を与えることで、実現できました。 【Selenium】ChromeDriverを拡張機能あり状態で起動する起動する拡張機能のIDを調べる拡張機能が保存されているフォルダーパスを調べる"拡張機能起動オプション"を与えてコード実行この3ステップです。順番に説明していきます。 1. 起動する拡張機能のIDを調べるまず、chrome拡張機能のIDを確認しましょう。 chromeを開き、右上三点マーク > その他のツール > 拡張機能 をクリック。 拡張機能ページが開くので、右上の「デベロッ
import sys import time import datetime from selenium import webdriver from selenium.webdriver.support.ui import Select import pandas from selenium.webdriver.chrome.options import Options from bs4 import BeautifulSoup import csv def connect_smbc(SHITEN,KOUZA,PASSWORD,name): options = Options() # ヘッドレスモード(chromeを表示させないモード) options.add_argument('--headless') driver = webdriver.Chrome(options=options,
import logging import os import sys import time import chromedriver_binary from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.ui import WebDriverWait SLIDE_URL = "test-auto-upload" FILE_PATH = "/home/user/Downloads/test-aut
自動操作を行う場合、id、name、classなどを利用して要素を指定することになるので、属性値をメモしておきましょう。 ５．同様にボタンについても属性を調べます。その結果は以下のようになります。 <input class="gNO89b" value="Google 検索" aria-label="Google 検索" name="btnK" type="submit" data-ved="0ahUKEwiC0u6iu4nlAhXwyIsBHWwTBHcQ4dUDCAo"> 属性 値 ここで調べた属性を利用して要素を特定して自動操作を行うことになります。。 また、今回はChromeでのやり方を紹介しましたが、他のブラウザでも同様のことが可能です。同じWebアプリケーションを使用していてもブラウザによって出力される内容が異なる可能性もあるので、自動操作を行うブラウザを使用して要素を調べるよ
レンタル掲示板 teacup.のデータを救出する
レンタル掲示板のteacup.が8月1日で終了 90年代からインターネットを始めた人なら見かけたことはあると思う掲示板。 様々なサービスの黎明期にあって、残っていた老舗がサービス終了になるようです。 お知らせはわかったけど、バックアップは？ 【重要なお知らせ】teacup. byGMOのサービス終了につきまして※追記あり（2022/3/25）(3月01日 14時00分) いつもteacup.をご利用いただき、誠にありがとうございます。 長年にわたりご愛顧いただきましたteacup.ですが、2022年8月1日（月）13:00をもちまして、サービスを終了させていただくこととなりました。 昔からある掲示板に書き込んだログと送信した写真を取得するツールや方法は、特に用意されていないようで、自力で行うようですね。 掲示版の記事を他のサイトに移行したい 誠に恐れ入りますが、掲示板記事のデータ移行する機
やろうとしてること 指定の検索ワードで、画像を検索し、規則ファイル名で自動保存 なぜこんなことをしようと思ったか 上記の学習のための素材集めのため 「ナルト」「ルフィー」それぞれの訓練用データを10枚ずつ集める必要がありました。 また、学習用データ10枚ずつだといずれにせよ少ないので、学習用データ収集の自動化は必須 書いたコード from selenium import webdriver from selenium.webdriver.common.keys import Keys import urllib.request import time # 検索ワード search_word = 'ルフィー 顔 画像' # 画像保存先のフォルダ save_dir = './luffy_faces/' # webdriverのパス webdriver_path = './chromedrive
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
各業界でのデータサイエンスの活用について調べてみた（随時追加） – かものはしの分析ブログ
DeNA 流 SaaS の外形監視手法 | BLOG - DeNA Engineering
SeleniumによるAPI呼び出しを含むE2Eテスト自動化 - asoview! Tech Blog
ゼロからはじめるPython(93) Pythonでブラウザ自動化 - 画像を丸ごとダウンロードしよう
Pythonのスクレイピングでメルカリの価格相場を調べる方法 - 77Lifeworkベータ版
SeleniumでChromeのプロファイルを使う | Seleniumワールド
【Python/Selenium】ChromeDriverバージョンエラー対処法 - ゆうきのせかい
WebスクレイピングでGoogleの検索結果を取得しよう！（Python）
Pythonでseleniumを使う！ - Qiita
WEB+DB PRESS 総集編を有効活用するためのPythonスクレイピング - Qiita
【Selenium】Chromeの拡張機能を起動する方法(Python) - ゆうきのせかい
SMBC日興証券の注文中リストをPythonでCSVとして取り込む | ミカログ
Speaker Deckのスライド更新はPythonにやらせよう - Qiita
Webアプリケーションを自動で操作してみよう | へっぽこ実験ブログ
Pythonで画像自動検索＆規則ファイル名で自動保存 - Qiita