OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか？と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界
データ収集から機械学習まで全て行って競馬の予測をしてみた
概要 ※ Qiitaから移行して、一部追記しました(さらに追記の項を参照) 元タイトル：データ収集からディープラーニングまで全て行って競馬の予測をしてみた 某T大学で情報系を専攻している学生です。Qiitaの記事を色々見ていたら、こんな記事を発見。 ディープラーニングさえあれば、競馬で回収率100%を超えられる この記事の回収率100%達成に関しては、購入シミュレーションした馬券の数が少ないので、他の期間でも成立するのかはわかりません。ソースコードも有料なのでどうやっているのかの詳細もわかりません。しかし、自分で競馬予測をしてみても面白そうだと思ったので、勉強するつもりで実際にやってみました。 データ収集・分析・予測のすべてを行うことになるのでかなり勉強になります。 なぜ競馬なのか？ もしかしたらお金になるかもしれないという欲もありましたが、競馬は控除率が高いらしいのであまり期待はできませ
GitHub Actionsを利用したE2E自動化テストの実現 ～ Achieving E2E Automated Testing with GitHub Actions ～ 利用GitHub Actions实现E2E自动化测试 - スタディサプリ Product Team Blog
こんにちは。スタディサプリのQAチームです。 今回のBlogではスタディサプリで実施している自動化テストの一部の取り組みについて紹介させていただきます。 なお、スタディサプリQAチームの特性を活かし、本記事については日英中３言語で記載します。より多くのオーディエンスに読んで頂ければ嬉しいです。 自動化する動機 まず、なぜ自動化テストを導入するのでしょうか。 1. 新規機能が追加される度に、既存機能への影響を確認するための回帰テストをしなければなりません。 2. 繰り返し同じテストを手動実行することにより、テストコストが増加します。 3. 人間が実施すると、人為的ミスによる不具合の検出漏れが発生してしまう可能性が否定できません。 そのため、品質を担保した上でより早くリリースすることを目的とし自動化を導入しました。 現在の開発およびテストフロー QAが回帰テストの自動化テストスクリプトをGit
はじめに みなさんIPOへの申し込みは行っていますか？ 私はSBI証券で数年前からポチポチしていたんですが、まぁこの確認が非常に面倒・・・。 通常は以下を定期的に確認する必要があります。 1.WEBブラウザを開く 2.IDとPWを入力する 3.国内株式＞IPO・PO をクリック 4.新規上場ブックビルディング/購入意思表示 をクリック 5.[申込]ボタンがあるか確認 これを自動化したい！という記事です。 事前準備や1〜2までの手順は以下の記事にまとめましたので今回は3-5を中心に記載します。 環境 Python3.9 macOS Catalina10.15.7 Chrome 93.0.4577.63 プログラム 前半は前の記事をご確認ください。 後半はLineの通知先だけ変えれば使えると思います。 from selenium import webdriver ID = open('/Use
Pythonで作れる代表的なプログラムとしてWebスクレイピングが挙げられます。これは主にライブラリを活用して実行するので、Pythonを覚えたての初心者でも簡単に作ることが出来ます。 今回はPythonを使い、Googleの検索結果に表示された記事のタイトル・URLをExcelに書き出すプログラムの作り方を紹介します。 Webスクレイピングとは？ Webスクレイピングとは、Web上のサイトから任意の情報を自動で取得する技術のこと。出したデータを加工してファイルとして出力したり、データベース上にデータを溜めることもできます。 一般的にはホームページから大量の情報を取得したい時に使われますが、今回のように検索エンジンの結果一覧にもスクレイピングを実行することが可能です。 ブログやホームページを運営するうえで欠かせない作業が、ターゲットキーワードによる検索結果の把握です。上位表示されている競合
Python × Selenium × ChromeDriverで、select/optionタグで構成されるドロップダウン(プルダウン)リストを選択状態にしたり・値を取得する方法をまとめました。 SeleniumのSelectモジュールを使うと簡単に操作できます。 こんなHTMLを前提として書いていきます。 HTML<!DOCTYPE html> <html> <select name="test" id="dropdown"> <option value="1">1番目</option> <option value="2">2番目</option> <option value="3">3番目</option> <option value="4">4番目</option> <option value="5">5番目</option> <option value="6">6番目</opti
こんにちは、山本です。 みなさんはプリパラというアニメをご存知でしょうか？ プリパラは2014年から2017年までの4年間放送されていた少女向けアニメで、主人公「真中らぁら」とそのトモダチが切磋琢磨してアイドルの頂点に上り詰めていく様が描かれた王道アイドルモノです。 放送が終了した現在でも根強い人気を誇り、新曲が作成されたり、毎年数回のライブ公演が行われたりしております。先日も幕張イベントホールでライブが行なわれました。 感染症対策で声を出してのコールなどはできませんでしたが、とても楽しかったです。 そして、ライブで新シリーズ「アイドルランドプリパラ」のアニメ制作が発表されました。予想外の発表過ぎて参加者のオタクみんな泣いてました。僕も泣いてました。 さて、ここから延々とプリパラのすばらしさ語り布教活動をしていってもいいのですが、それはプリハラ（プリパラハラスメント）になるので、テックの話
seleniumでサイトに一度だけログインしてセッションを保存してログイン状態を保ちながら使い続ける方法 - Qiita
はじめに seleniumを使ったら自動的にサイトにアクセスして色々できて本当に便利ですよね。 seleniumの基本的な使い方については色んな記事に書いてあります。 Python + Selenium で Chrome の自動操作を一通り 10分で理解する Selenium Selenium webdriverよく使う操作メソッドまとめ ただしログインする必要があるサイトを使う時に少し難易度が高くなりますね。 自動でログインする方法は意外とたくさんの記事に書いてあります。 Python + Selenium + Chrome で自動ログインいくつか 【Googleログイン自動化】Python×seleniumでGoogleにログインする SeleniumでSlackに自動でログインする selenium から Twitter にログインして投稿 PythonとSeleniumで自動ログイ
便利なPythonモジュールの一覧！おすすめ外部ライブラリも紹介 - アンドエンジニア - エンジニアのこと、エンジニアから。
この記事でわかること モジュールを使いこなすには、どのようなモジュールが存在するかを知ることが重要 標準モジュールはプリインストールされていて、すぐに使える汎用的な機能が多い 外部モジュールはPyPIからインストールが必要で、専門性が高い機能が多い 【関連記事】【Pythonのライブラリ管理ツール】pipインストールを徹底解説！Windowsでも簡単？ 【関連記事】PythonのコードをEXE化するには? PyInstallerやその他ツールの特徴や使い方 【関連記事】Pythonで自動化できること7選！面倒な作業を効率化してより便利に 目次 1. Pythonのモジュールとは 1-1. Pythonのモジュールを活用するには 2. Pythonの便利な標準モジュール一覧 2-1. datetime（日付・時刻） 2-2. calendar（カレンダー） 2-3. re（正規表現） 2-4
自動購入Bot完成まで
簡単な動作説明 取りたいチケットのURLを入力 開始時間を入力 PCとインターネット時報のズレを検出し修正 2分前にサイトにログイン 開始時間に購入 とまーざっくりですがこんな感じですね コード とりあえず完成したコードの一部を公開します。 作れたことを載せたいのであってこのコードを使えば誰でもできるって訳では無いです。 あくまでも参考程度になればと思ってます。 大半はコピペでいいですが、Amazonだったり楽天だったり自動購入する目的のサイトによってもコードは変わります。 自分は今回は地下アイドルのチケットの購入に使いました。 整理番号1番を取ることもできました ボタンをクリックや文字を入力などのサイトによって変わるようなものは1部端折ってます。 （載せてても結局サイトによって変わるため） 具体的に変える部分としてはdef()の中身です。 基本動作などほかの記事にしてるため参考にしてみて
When I tried to use Selenium on RaspberryPi whose OS is Ubuntu, I couldn't do it because any image of SeleniumHQ/docker-selenium doesn't support arm64. I tried another way, which is downloading chromedriver from https://chromedriver.chromium.org/downloads, but it didn't work. I was completely exhausted. That's why I'm writing how to manage to do Selenium on the device . Seleniarm Run a container I
WebであればSeleniumなど有名所がありますが、WindowsのGUIを操作するためのツールのデファクトはまだない印象です。 実際には選択肢はたくさんあるので、ここでまとめておきます。 from ahk import AHK from ahk.window import Window ahk = AHK() win = ahk.active_window # Get the active window win = ahk.win_get(title='Untitled - Notepad') # by title win = list(ahk.windows()) # list of all windows win = Window(ahk, ahk_id='0xabc123') # by ahk_id win = Window.from_mouse_position(ahk) #
import sys import time import datetime from selenium import webdriver from selenium.webdriver.support.ui import Select import pandas from selenium.webdriver.chrome.options import Options from bs4 import BeautifulSoup import csv def connect_smbc(SHITEN,KOUZA,PASSWORD,name): options = Options() # ヘッドレスモード(chromeを表示させないモード) options.add_argument('--headless') driver = webdriver.Chrome(options=options,
自動操作を行う場合、id、name、classなどを利用して要素を指定することになるので、属性値をメモしておきましょう。 ５．同様にボタンについても属性を調べます。その結果は以下のようになります。 <input class="gNO89b" value="Google 検索" aria-label="Google 検索" name="btnK" type="submit" data-ved="0ahUKEwiC0u6iu4nlAhXwyIsBHWwTBHcQ4dUDCAo"> 属性 値 ここで調べた属性を利用して要素を特定して自動操作を行うことになります。。 また、今回はChromeでのやり方を紹介しましたが、他のブラウザでも同様のことが可能です。同じWebアプリケーションを使用していてもブラウザによって出力される内容が異なる可能性もあるので、自動操作を行うブラウザを使用して要素を調べるよ
python（パイソン）でSBI証券にログイン
python（パイソン）でSBI証券にログインするコードまずは結論から。 # coding: utf-8 #-------------------------------------------------------------------------------------------------- #SBI証券にアクセスしてログインする #-------------------------------------------------------------------------------------------------- from selenium import webdriver#seleniumをインポート #---------------------------------------------------------- #seleniumの設定 #-------
やろうとしてること 指定の検索ワードで、画像を検索し、規則ファイル名で自動保存 なぜこんなことをしようと思ったか 上記の学習のための素材集めのため 「ナルト」「ルフィー」それぞれの訓練用データを10枚ずつ集める必要がありました。 また、学習用データ10枚ずつだといずれにせよ少ないので、学習用データ収集の自動化は必須 書いたコード from selenium import webdriver from selenium.webdriver.common.keys import Keys import urllib.request import time # 検索ワード search_word = 'ルフィー 顔 画像' # 画像保存先のフォルダ save_dir = './luffy_faces/' # webdriverのパス webdriver_path = './chromedrive
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
各業界でのデータサイエンスの活用について調べてみた（随時追加） – かものはしの分析ブログ
【Python】SBI証券でIPOの申し込みがある場合にLine通知してみた - Qiita
WebスクレイピングでGoogleの検索結果を取得しよう！（Python）
【Selenium】ドロップダウン/selectタグ選択,取得方法まとめ - ゆうきのせかい
無限にプリパラがみた～～～い！！ （Pythonでやってみる）
Docker + Selenium + arm64 - Just a Note for Hobby
PythonでWindowsのGUIを操作するためのツールまとめ - Qiita
SMBC日興証券の注文中リストをPythonでCSVとして取り込む | ミカログ
Webアプリケーションを自動で操作してみよう | へっぽこ実験ブログ
Pythonで画像自動検索＆規則ファイル名で自動保存 - Qiita