OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita
今回やりたかったこと 目標：ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の slack への自動投稿 bot を作成しました。 処理は大きく2つに分かれています。 ウォーキングイベントサイトから歩数をスクレイピング＆スプシへアップロード スプシの GAS で投稿文字列作成＆ slack へ自動投稿 今回 ChatGPT でやったのは1の方です。 2は前回半年前開催分のコードをほぼそのまま流用しました。 運良く（？）今回のタイミングでウォーキングイベントのサービスサイトが変わり、 HTML がまるっと変わり1のスクレイピングコードは作り直しが必
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか？と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界
Selenium, AWS Lambda, AWS Fargate, AWS Developer Tools を使ったサーバーレスなUIテスト | Amazon Web Services
Amazon Web Services ブログ Selenium, AWS Lambda, AWS Fargate, AWS Developer Tools を使ったサーバーレスなUIテスト (この記事は、 Serverless UI testing using Selenium, AWS Lambda, AWS Fargate, and AWS Developer Tools を翻訳したものです。) 以前、Using AWS CodePipeline, AWS CodeBuild, and AWS Lambda for Serverless Automated UI Testing (日本語版 ) を公開してから、Chrome headless とFirefox headless が各ブラウザでネイティブにサポートされるようになったことで、事態は大きく変わりました。 AWS Lambda
こんにちは。データサイエンティストの堀部です。 この記事は Enigmo Advent Calendar 2020 の9日目の記事です。 何か社外のデータを使っていい感じのことができないかなと思っていたところ、3日目の竹本さんの記事がおもしろく、パクリ二次創作しました。 短期間で実装したので汚いコードで見苦しいかもしれないですがご了承ください。ちなみに、私は競馬は簡単なルールを知っているくらいでズブの素人です。 目次 使用したライブラリ データ取得 前処理 学習 予測・評価 VSオッズ低い順 VS競馬必勝本 感想 参考資料 使用したライブラリ import urllib.parse import urllib.request as req from time import sleep import category_encoders as ce import lightgbm as lgb
【機械学習】機械学習を用いたin silico screening【AI創薬】~第2/5章 スクレイピングによる公共データベース（PDB)からの機械学習データを収集~ - LabCode
AI創薬とは？ AI創薬は、人工知能（AI）技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeeni
差分指向テスト（DOT: Difference Oriented Testing）という考え方 - MNTSQ Techブログ
はじめに MNTSQ(モンテスキュー)株式会社 フロントエンド担当の安積です。 入社して4ヶ月とちょっと。 コードに取り組もうと入社して、まさに日々格闘しております。 私の後ろの席にはこんなバズ記事書く人や、こんなイカつい記事書く人が座ってまして、そんなプレッシャー期待の中からお送りいたします。 tech.mntsq.co.jp tech.mntsq.co.jp 昨日はこんな記事も公開されています。 tech.mntsq.co.jp はじめに 現在のステータス またはMNTSQ考古学 リファクタリングやるぜっっ！ 仕様書大事だよね 差分指向テストとは テスト環境の概要 テストデータ ブラウザ操作自動化 スクリーンショット比較 Playwriteの操作 ちょっとコードのサンプル 最後に この記事を書いた人 現在のステータス またはMNTSQ考古学 コードベースから見たMNTSQのフロントエン
Software Design連載 2021年11月号 Robot FrameworkでE2Eテストを自動化する - MonotaRO Tech Blog
最初に少しイベントの宣伝 こんにちは。金谷です。 Software Designに連載させていただいております「Pythonモダン化計画」は、前半の4回で、それぞれの局面に合ったテスト手法を用いることで変更容易性を確保する話をしてきました。 前半の4回すべてに出てきたツールにJenkinsさんがいて、何らかのかたちで自動化されています。 モノタロウにおけるモダン化計画に不可欠な存在のJenkinsさん。 なんとこのたび、Jenkins Day Japan 2021というイベントで、Jenkinsの活用事例を発表させていただくことになりました。 「モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例」という内容で金谷が発表させていただきます。 詳細とお申込みは、下記のURLからご覧ください。 cloudbees.techmatrix.jp では本題に入ります。 本記事の初出は、
データ収集から機械学習まで全て行って競馬の予測をしてみた
概要 ※ Qiitaから移行して、一部追記しました(さらに追記の項を参照) 元タイトル：データ収集からディープラーニングまで全て行って競馬の予測をしてみた 某T大学で情報系を専攻している学生です。Qiitaの記事を色々見ていたら、こんな記事を発見。 ディープラーニングさえあれば、競馬で回収率100%を超えられる この記事の回収率100%達成に関しては、購入シミュレーションした馬券の数が少ないので、他の期間でも成立するのかはわかりません。ソースコードも有料なのでどうやっているのかの詳細もわかりません。しかし、自分で競馬予測をしてみても面白そうだと思ったので、勉強するつもりで実際にやってみました。 データ収集・分析・予測のすべてを行うことになるのでかなり勉強になります。 なぜ競馬なのか？ もしかしたらお金になるかもしれないという欲もありましたが、競馬は控除率が高いらしいのであまり期待はできませ
How to Bypass Cloudflare in 2023: The 8 Best Methods - ZenRows
About 1/5 of websites you need to scrape use Cloudflare, a hardcore anti-bot protection system that gets you blocked easily. So what can you do? 😥 We spent a million dollars figuring out how to bypass Cloudflare in 2023 so that you don't have to and wrote the most complete guide (you're reading it!). These are some of the techniques you'll get home today: Method 1: Get around Cloudflare CDN. Meth
データアナリティクス事業本部のueharaです。 今回はAWS Lambda (Python)で、WebアプリケーションをテストするためのポータブルフレームワークであるSeleniumを使える環境を構築してみたいと思います。 バケットの準備 今回はLambda Layerを構築することになりますが、その資材をS3に配置するため、まずバケットを用意します。 AWSコンソールでサービスからS3を検索します。 「バケットを作成」から作業用のバケット「selenium-work」という名前のバケットを作成します。 その他の設定はデフォルトのままとします。 パッケージの用意 まず、Lambda (Python)でSeleniumを利用できるようにするために、各パッケージの用意を行います。 パッケージの用意には、無料で使えるサービスであるAWS CloudShellを利用します。 Seleniumのダ
はじめに 処理の流れ スクレイピングのコード スクレイピングプログラムが動作している様子 取得したcsvファイルの可視化 最後に はじめに この記事ではPythonによるスクレイピングを使って、メルカリでの特定の商品の取引相場を調べるツールを作成する方法を書いていきます。 メルカリで出品されている商品の価格帯を知りたいときは、メルカリのページの検索ボックスにキーワードを入れて検索しますよね。 試しに「iphone se simフリー」で検索してみます。 するとこんな感じで商品の画像と値段が表示されてきます。 この検索結果を見ていって大体の値段相場を把握する感じが通常だと思います。 ここでは既に売り切れたものにしぼって商品価格を調べる想定とします。 販売状況のところで「売り切れ」にチェックが入っている状態ですね。 手作業で簡単に実施できるとはいえ、出品されている数が多い商品だったりすると検索
Python × Selenium × Cloud Runで手軽にブラウザ操作botを作ってみよう！ - asoview! Tech Blog
アソビューでふるさと納税事業・ギフト事業の開発責任者をしております、川又です。 アソビューでは「アソビュー！」「ウラカタ」に次ぐ第3の主要サービスを目指し、 新規事業として「アソビュー！ふるさと納税」「アソビュー！ギフト」を展開しております。 furusato.asoview.com store.asoview.com これら新規事業の開発責任者とは名ばかりで、少数精鋭な開発チームなので私も第一線で様々なシステムの開発を行っています。 学生の頃からパソコンを駆使して身の回りの課題を解決することが好きだったため、これからも開発を続けて行きたいものです。 さて、今回はそんな私がプライベートで「とあるサイトでの予約を自動化したい」という怠惰願望から 自動でブラウザを操作し予約ボタンをポチッと押してくれるbotを開発しましたので、botを構築・デプロイするまでの流れをご紹介したいと思います。 ※今
はじめに Cloud Functions上でheadless-chrome を Python で動かす方法を紹介します。 Cloud FunctionとDocker Desktopを導入してあるものとします。 今回書いたコードは、Gitにアップしてあります https://github.com/hayashikengo/python-selenium-gcf-template Cloud Functionsへのデプロイは、Mac OSで実行しています。 crawler ディレクトリを作って、その中で作業しています。 背景 GCPのserverless環境で、クローラー（Python）を動かしたいという要件があった。 データクレンジング処理に使うライブラリは、Pythonが充実しているので、Pythonを使いたい。 インフラ構成 CloudSchedulerで Pub/Sub を使用して C
一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT)
一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT) 自社サービスの最新情報にもとづくサポートボットを作りたいというのはよくある話だとおもいます。これを openai.embedding+pinecone+SlashGPTでサクッと実現する方法を紹介します。 準備 SlashGPT repo のclone https://github.com/snakajima/SlashGPT OpenAI API KEY open ai でアカウントを作成後下記でAPI-Keyを発行します https://platform.openai.com/account/api-keys 無料枠は5$までです https://openai.com/pricing pinecone API KEY vector DB SaaS をつかうととて
はじめに 前回の記事でDockerコンテナでPython環境を作成しSeleniumを操作してみました。 今回はWebページのフォームで値を入力し、その結果の表示確認をしてみます。 SeleniumでWebページを操作する基本のような部分を備忘録として残すために記載したので見づらいかもしれませんが、そこはご了承ください。 実施すること 今回は下記の項目を実施してみようと思います。 Seleniumを使用しChromeを起動する。 Webページを表示する。 ページ内のボタン要素をクリックし、ページ遷移する。 遷移後のページで必要な要素が表示されるまで待機する。 ページのp要素からテキストを取得する。 ページ内のボタン要素をクリックし、ダイアログボックスを表示させる。 ダイアログボックス内のinput要素に値を入力する。 ダイアログボックス内のdropdownメニューから値をセレクトする。 ダ
![[Python] Docker+Python+Seleniumでスクレイピング - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/19bb9a9c6d4294c8e88456437cc51778fe1c373a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnBicy50d2ltZy5jb20lMkZwcm9maWxlX2ltYWdlcyUyRjExNzAzMjk0OTMyMzc0MjgyMjQlMkZYbEhTdVRRbF9iaWdnZXIuanBnP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1iYTYyZjY5NmRkYWNhZjQ1Y2E2ZDNhMzZhYTdjNTMxMg%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D7abb2f75bf5e692007e4081095744e83%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwRG9ja2VyJTJCUHl0aG9uJTJCU2VsZW5pdW0lRTMlODElQTclRTMlODIlQjklRTMlODIlQUYlRTMlODMlQUMlRTMlODIlQTQlRTMlODMlOTQlRTMlODMlQjMlRTMlODIlQjAmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz0xYmMxNTMzMmQ2NmUyMGJiZTJjMDAwYmQ0MGMwMzhjYg%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB5X2tpdGNoZW5zJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9YmVlZWE0NjA1NzNiMDk0OTNiMzc0MGJiNzBmZWNmNDY%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dd76239ba0bf787548793f52a24999e85)
TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する｜シマ
TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する かつて無料で提供されていたTwitter APIは、イーロン・マスクによる買収などなんやかんやあって有料化されました。有料プランもあるにはありますが、そこそこの価格とそこそこの制限がかかっており、趣味レベルで手を出すのはちょっと憚られる感じのプランになっています。 そこで、TwitterAPIの代替手段として、Yahoo!リアルタイム検索をPythonでスクレイピングすることでツイート推移のデータを取得することにしました。この記事では、その手法（とコード）について書いていこうと思います。 Yahoo!リアルタイム検索とはYahoo!リアルタイム検索は、Yahoo!が提供しているTwitterの検索サービスです。ツイート検索やトレンドなどを確認することができます。とて
私はデータ収集やブラウザ自動操縦による業務効率化を担当することが多く、セレニウムを利用したクローラーを何度も開発してきた。 どのような用途のクローラーであっても、htmlの取得やページ遷移などの基礎的な処理はほぼ共通していて、 ユーザーエージェントなどchromeオプションの設定は毎度変わるものではないため、 これらを雛形化してコピーしながら使い回すというのが開発効率をと動作の信頼性高める上で効果的だった。 本記事ではその雛形の一部をシェアしたい。 selenium雛形 from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.chrome.options import Options from selenium.common.
データアナリティクス事業本部のueharaです。 今回はGoogle ColaboratoryでPythonからSeleniumを使うための設定方法を紹介したいと思います。 はじめに 2023年5月時点では、Google Colaboratory上で単純に!apt install chromium-chromedriverでchromedriverをインストールした後、Seleniumを実行しようとしても以下のようなエラーが発生し強制終了してしまいます。 WebDriverException: Message: Service /usr/bin/chromedriver unexpectedly exited. Status code was: 1 これは、今年の1/18にColabのデフォルトのランタイムが（数年ぶりに）Ubuntu 18.04 LTSからUbuntu 20.04 LTS
これは、Selenium + Python で Chrome を自動操作してファイルをダウンロードしようと思ったときの話です。テストでは上手くいくのに本番環境にいくとダウンロードされない。エラーも発生しない。ぜんぜん分からず調べること数時間…。 結局原因はヘッドレスモードでした。本番時にのみ--headlessオプションをつけていたことが仇になりました。Chrome の初期設定では（セキュリティのためか）ヘッドレスモードではファイルをダウンロードできないようです。それならそれでエラーで落としてほしいものです。 Webにあった情報を参考にプログラムを修正したら解決。無事にダウンロードができました。 ヘッドレスモードでのダウンロード方法 まずは必要なパッケージのインポート。 from selenium import webdriver from selenium.webdriver.chrom
自動購入Bot完成まで
簡単な動作説明 取りたいチケットのURLを入力 開始時間を入力 PCとインターネット時報のズレを検出し修正 2分前にサイトにログイン 開始時間に購入 とまーざっくりですがこんな感じですね コード とりあえず完成したコードの一部を公開します。 作れたことを載せたいのであってこのコードを使えば誰でもできるって訳では無いです。 あくまでも参考程度になればと思ってます。 大半はコピペでいいですが、Amazonだったり楽天だったり自動購入する目的のサイトによってもコードは変わります。 自分は今回は地下アイドルのチケットの購入に使いました。 整理番号1番を取ることもできました ボタンをクリックや文字を入力などのサイトによって変わるようなものは1部端折ってます。 （載せてても結局サイトによって変わるため） 具体的に変える部分としてはdef()の中身です。 基本動作などほかの記事にしてるため参考にしてみて
Pythonスクレイピング：JavaScriptによる動的ページ、静的ページ、キャプチャ取得のそれぞれの手法をサンプルコード付きで解説
Pythonスクレイピング：JavaScriptによる動的ページ、静的ページ、キャプチャ取得のそれぞれの手法をサンプルコード付きで解説 2020年4月16日 プログラミング takatan69 PythonはWebスクレイピングするのに大変便利な言語です。ライブラリーが充実しているため、簡単にWeb上のデータを取得することができるのです。今回はPythonで可能な2種類のスクレイピングの手法についてまとめてみました。 目次 Webスクレイピングを実施するために知っておくべきこと静的なhtmlからデータを取得する（BeautifulSoup4）動的にJavaScriptで出力されるhtmlのデータを取得する（Selenium & ChromeDriver ）Webサイトのキャプチャを取得するには？まとめ 1. スクレイピングを実施するために知っておくべきこと まずスクレイピングをする前に知っ
株式会社シナプス技術部ネットワーク課の杉原です。 これから、Linux の CUI 環境で Google Chromeを動かす方法についてご説明いたします。 GUI と CUI について GUI(Graphical User Interface) GUIとは、画面上に視覚的な画像や図形が用いられているインターフェイスのことです。 キーボードとマウスを使って画面上のテキストフォームやボタンなどのパーツを動かすことで、プログラムを実行します。 普段、みなさんが使っているPCやスマートフォンの画面がGUIにあたります。 CUI(Character User Interface) CUIは画面上に文字情報のみが表示されるインターフェイスのことです。 マウスを使わずキーボードでコマンドラインを入力することで操作を行います。 現在、ネットワーク装置やUNIX系サーバーはCUIでの操作が主流になってます
Playwrightとは 本書の対象バージョン インストール チュートリアル 簡易テストを実行する テストレポートを見る UIからテストする 使用方法 ブラウザ表示モードでテストする ブラウザを指定する テストするファイルを指定する テストUIを起動する テストスクリプト 基本サンプル ブラウザ 非ヘッドレスモードで開く ウィンドウサイズを指定する ページ 指定したページを開く ページがロードされるのを待つ 要素操作 要素を参照する(CSSセレクタ) 要素を参照する(ロール) 入力欄に文字列を入力する 要素をクリックする リンク Playwrightとは 「プレイライト」と読みます。playwright は「劇作家」を意味します。 Microsoft が開発した ブラウザ操作テスト用ツールです。 類似のツールに Selenium や Google の Puppeteer があります。 Se
When I tried to use Selenium on RaspberryPi whose OS is Ubuntu, I couldn't do it because any image of SeleniumHQ/docker-selenium doesn't support arm64. I tried another way, which is downloading chromedriver from https://chromedriver.chromium.org/downloads, but it didn't work. I was completely exhausted. That's why I'm writing how to manage to do Selenium on the device . Seleniarm Run a container I
GitHub - taishi-i/awesome-ChatGPT-repositories: A curated list of resources dedicated to open source GitHub repositories related to ChatGPT and OpenAI API
awesome-chatgpt-api - Curated list of apps and tools that not only use the new ChatGPT API, but also allow users to configure their own API keys, enabling free and on-demand usage of their own quota. awesome-chatgpt-prompts - This repo includes ChatGPT prompt curation to use ChatGPT better. awesome-chatgpt - Curated list of awesome tools, demos, docs for ChatGPT and GPT-3 awesome-totally-open-chat
LambdaにてSeleniumを実行するためには、Headlessモードで実行する必要があります。 前提 AWSアカウントにアクセスできる AWS CLIが利用可能 SAM CLIが利用可能 やること ① LambdaにてSeleniumをHeadlessモードで実行できるようにする ② AWS SAMを利用したIaC (Infrastructure as Code) ③ ローカルでテストしやすいようにする(Headfulモード) ① LambdaにてSeleniumをHeadlessモードで実行できるようにする LambdaのPythonスクリプトでSeleniumをHeadlessモードで実行できるようにします。 SeleniumなどのライブラリはLambdaレイヤーにする必要があるため、その作成も必要になります。 後述しますが、Selenium関連パッケージのバージョンの互換性がと
import sys import time import datetime from selenium import webdriver from selenium.webdriver.support.ui import Select import pandas from selenium.webdriver.chrome.options import Options from bs4 import BeautifulSoup import csv def connect_smbc(SHITEN,KOUZA,PASSWORD,name): options = Options() # ヘッドレスモード(chromeを表示させないモード) options.add_argument('--headless') driver = webdriver.Chrome(options=options,
yum -y install libX11 GConf2 fontconfig yum -y install ipa-gothic-fonts ipa-mincho-fonts ipa-pgothic-fonts ipa-pmincho-fonts fc-cache -fv yum -y install google-chrome-stable libOSMesa python3 -m pip install selenium python3 -m pip install webdriver-manager from selenium import webdriver from selenium.webdriver import ChromeOptions from selenium.webdriver.support.ui import WebDriverWait from seleni
この記事について 最近iOSアプリで20円ばかり儲けた凄腕プログラマー（自称）がサラリーマンしている仕事の一部がめんどくさかったり、誰かの人的ミスのせいでなんか怒られたりと嫌になりそうなことを、プログラムを作ってサクッと解決★ 今回は送迎の有無をpythonを使って判別し、slackに放り投げて通知を送ることで、見落としミスがなくなるようにしました。 背景には、今時宿泊者名簿をイチイチ紙に出力して、今日の送迎の有無を確認しているのですが、その出力するシステムがツギハギだらけのもので、予期せぬ動作をすることがあります。 今回は、送迎あり・なしのラジオボタンがあるのですが、ありのボタンを押しても、その下にある備考欄が空欄だと、紙に出力されないというわけわかんない不具合がありました。 何言ってるのかわからないかと思いますが、私にもわかりません。 何をした？ １．pythonを使います。 ２．se
サーバーレスなSelenium実行環境でブラウザのスクショをS3に保存する【AWS LambdaとServerless Framework編】 - Qiita
0. はじめに こんにちは。都内でエンジニアをしている、@gkzvoiceです。 今回はホコリを被っていた「AWS Lamda上でSelenium/Headless Chrome」の実行環境の構築手順を供養しようと思います笑。 勤怠打刻プログラムを作ろうかなと思ったのですが、あれがあれする気もしなくもないと考えて。 なお、本記事では、Serverless Frameworkを使いますが、そのインストール手順や一般的な使い方は、深く取り扱いません。 手前味噌ですが、下記の記事をご参照ください。 AWS LambdaとServerless Frameworkで爆速で作るTwitterbot 1. 目次 環境/バージョン情報 AWS Lambda上でSelenium環境を構築するポイント chromedriverとheadless-chromeのインストール方法 Seleniumファイルのデプロ
sudo apt-get install libappindicator1 fonts-liberation sudo apt-get install xdg-utils libxss1 curl -O https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb sudo dpkg -i google-chrome-stable_current_amd64.deb seleniumはchromedriverを使うので、ダウンロードしてきて、実行ファイルと同じディレクトリに配置する。 URL：ChromeDriver - WebDriver for Chrome https://sites.google.com/a/chromium.org/chromedriver/downloads ↑上記の適するバー
【WSL2, Debian, Ubuntu】システムテスト等でChromeを立ち上げた際にWSL2側の問題で文字化けしてしまう問題を解決する方法 - LEFログ
文字化けしたChromeの例 結論 Debianの場合 sudo apt install task-japanese sudo apt install fonts-ipafont sudo apt install fonts-ipaexfont fc-cache -fv でOK Ubuntuの場合は、 sudo apt install language-pack-ja sudo apt install fonts-ipafont sudo apt install fonts-ipaexfont fc-cache -fv でOK ※Debianの場合は、task-japaneseにする必要があるので注意が必要です（ネット上にあまり情報がない）。 経緯 WSL2のたび重なるアップデートのおかげで、WSL2へとインストールしたChromeがGUIとして操作できるようになりました。 そのおかげで、
簡単なブラウザ操作(特定の画面開いてスクリーンショット撮るだけとか) を自動化するために、自分のPC上にPython+Selenium+Chromeの動作環境を整えて 手動でPythonでSelemiumを実行していたのですが 実行を夜間にスケジューリングして、実行も自動化したいなー と思ったので、今回はサーバ上にSeleniumの動作環境を構築して実際に実行するところまでやってみます。 Python+Selenium+Chromeの動作環境構築 検証環境 CentOS Linux release 7.8 Python3系のインストール まずPythonの3系をインストールしていきます。 CentOSにPython3系をインストールする際、以前は以下の参考サイトのように Python3系用のリポジトリを準備して、そこからインストールする必要がありましたが 参考：CentOS7にPython
Web scraping, or crawling, is the process of fetching data from a third-party website by downloading and parsing the HTML code to extract the data you need. "But why don't you use the API for this?" Not every website offers an API, and those that do might not expose all the information you need. Therefore, scraping often becomes the only viable solution to extract website data. There are numerous
Track Awesome List Updates DailyWe track over 500 awesome list updates, and you can also subscribe to daily or weekly updates via RSS or News Letter. This repo is generated by trackawesomelist-source, visit it Online or with Github. 📅 Weekly · 🔍 Search · 🔥 Feed · 📮 Subscribe · ❤️ Sponsor · 😺 Github · 🌐 Website · 📝 07/29 · ✅ 07/29 Table of Contents Recently Updated Top 50 Awesome List All Tr
やろうとしてること 指定の検索ワードで、画像を検索し、規則ファイル名で自動保存 なぜこんなことをしようと思ったか 上記の学習のための素材集めのため 「ナルト」「ルフィー」それぞれの訓練用データを10枚ずつ集める必要がありました。 また、学習用データ10枚ずつだといずれにせよ少ないので、学習用データ収集の自動化は必須 書いたコード from selenium import webdriver from selenium.webdriver.common.keys import Keys import urllib.request import time # 検索ワード search_word = 'ルフィー 顔 画像' # 画像保存先のフォルダ save_dir = './luffy_faces/' # webdriverのパス webdriver_path = './chromedrive
Python × Selenium × ChromeDriverでブラウザ操作をしようとして、 通常のブラウザモードで起動すると、処理成功headlessオプションで起動すると、決まってエラー(例外)になるという事象が起きました。 具体的に発生した例外は以下「ElementNotInteractableException: Message: element not interactable」というものです。 Traceback (most recent call last): ...省略... File "/opt/anaconda3/lib/python3.7/site-packages/selenium/webdriver/remote/webelement.py", line 479, in send_keys 'value': keys_to_typing(value)}) Fil
ツイート収集用の各ライブラリ ほぼ使えなくなったので自力で収集する方がいいです。 事前準備 Google Colaboratory で ツイートを収集してみます。 Google Colaboratory でTwitterの画像をダウンロード の通りにGoogle Colaboratory に chrome, selenium をインストールしてください。 ツイート収集 ツイートを収集したいアカウントにアクセスして、下までスクロールします。 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait
この記事を書いた理由 1年半前に使ったものを見つけたので整理(年末に向けたお掃除) なんちゃって分析レベルでも分析大事だなと再認識したので書きながら記憶を呼び起こしたい 当時の状況 当時、一般ユーザー向けのサービスを担当していて、ユーザーがどんなシチュエーションの時にどういう行動を取るのか見たかった (大人の事情で詳しく書けない) 天気とか気温が関係する(と考えられている)サービスだったから気象データと紐付けて分析すれば何かわかるのでは？という考えがあった 分析タイミングは不定期だったので必要なタイミングで手動で叩いて取得していた データ分析例 仮に1ヶ月の間にAさんがランチをどこで食べるのかを集計。 実際に分析したものじゃないです (ここでは お店の名前、お店に訪れた日時、お店の場所 を保持してるものとする。) 集計したものを見たところ、職場から離れた飲食店に行くこともあれば近くの飲食店
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
各業界でのデータサイエンスの活用について調べてみた（随時追加） – かものはしの分析ブログ
機械学習で競馬必勝本に勝てるのか？ 〜Pythonで実装するランク学習〜 - エニグモ開発者ブログ
AWS Lambda PythonでSeleniumを使える環境を構築する | DevelopersIO
Pythonのスクレイピングでメルカリの価格相場を調べる方法 - 77Lifeworkベータ版
Cloud Functions上でheadress-chromeをPythonで動かす
[Python] Docker+Python+Seleniumでスクレイピング - Qiita
Selenium-Pythonでクローラーを作るときの雛形 - Qiita
Google ColaboratoryでSeleniumを使うための設定方法 | DevelopersIO
Chrome+Seleniumでファイルをダウンロードできない【解決済】 - いっさいがっさい
Linux の CUI 環境で Google Chromeを動かす - シナプス技術者ブログ
とほほのPlaywright入門 - とほほのWWW入門
Docker + Selenium + arm64 - Just a Note for Hobby
SeleniumをLambdaで実行する(快適な)環境を作る - Qiita
SMBC日興証券の注文中リストをPythonでCSVとして取り込む | ミカログ
selenium4 で スクレイピング - Qiita
【python】メンドクサイを自動にさせてみた３【SlackBot編】 - Qiita
【Python】seleniumを使ってVPS上でスクレイピングする方法【selenium】 - Qiita
CentOS7でPython+Selenium+Chromeの動作環境の作成 - DENET 技術ブログ
Web Scraping without getting blocked (2025 Solutions)
Track Awesome List Updates Daily
Pythonで画像自動検索＆規則ファイル名で自動保存 - Qiita
【Selenium】ヘッドレスモード時だけ"element not interactable"になる - ゆうきのせかい
Python Twitter APIを使わずにツイートを収集 2023年最新版 - Qiita
気象データが欲しくなって過去にスクレイピングで入手した話 - Qiita