Playwright
Playwright enables reliable web automation for testing, scripting, and AI agents.One API to drive Chromium, Firefox, and WebKit — in your tests, your scripts, and your agent workflows. Available for TypeScript, Python, .NET, and Java. Playwright TestFull-featured test runner with auto-waiting, assertions, tracing, and parallelism across Chromium, Firefox, and WebKit. npm init playwright@latest Pla
[Python]ブクログに登録した本一覧を月別で出力してみる
やりたいこと 僕は普段ブクログというサービスを使って読んだ本を記録しています。ブクログに登録した書籍を月別で分類し、いつどんな本を読んでいたのかを整理したいと思いました。 Pythonを勉強中なので、Pythonを使ってこれを実装してみます。 成果物 最終的なコードと出力ファイルは以下のGistに置きました。 ブクログAPIを叩いて書籍を取得する booklog apiなどで調べるとhttp://api.booklog.jp/v2/json/<userId>?count=10000に対してリクエストを送ると、ユーザーの本棚情報を取得できることが分かりました。 このAPIは公式のドキュメントなども見当たらなかったので、動かして試してみます。 import requests import json api_res=requests.get("http://api.booklog.jp/v2/j
![[Python]ブクログに登録した本一覧を月別で出力してみる](https://cdn-ak-scissors.b.st-hatena.com/image/square/5e02ed6f03fd1b19b99163554c070a7d2c31457b/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--LUVlGvBq--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BPython%25255D%2525E3%252583%252596%2525E3%252582%2525AF%2525E3%252583%2525AD%2525E3%252582%2525B0%2525E3%252581%2525AB%2525E7%252599%2525BB%2525E9%25258C%2525B2%2525E3%252581%252597%2525E3%252581%25259F%2525E6%25259C%2525AC%2525E4%2525B8%252580%2525E8%2525A6%2525A7%2525E3%252582%252592%2525E6%25259C%252588%2525E5%252588%2525A5%2525E3%252581%2525A7%2525E5%252587%2525BA%2525E5%25258A%25259B%2525E3%252581%252597%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252582%25258B%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3AKenzo%252520Tanaka%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdGF0aWMuemVubi5zdHVkaW8vdXNlci11cGxvYWQvYXZhdGFyLzhkMGRjZjI4N2MuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png%3F_a%3DBACMTiAE)
Linuxの実行環境のisolationをもうちょっとちゃんとする今年は - w_o’s diary
いままでpip実行するたびに、「これどこかのsetup.pyに一行でもid_rsaとかfirefoxのprofileデータをどこかにアップロードするコード混じってたら終わりだよな」と思ってたけど、 https://pytorch.org/blog/compromised-nightly-dependency/ いよいよそういうことが起こってきたので、なんとか対応したほうがいいという気持ちになった。今年中に使用感を悪化しない範囲でどこまでできるかを探りたいと思いますね。 ブラウザを別UIDで実行する firefoxのデータに自由にアクセスできたらMFAとか意味ないんだよなあ… ブラウザのデータを別プロセスから読みたいとか、ブラウザにパイプ繋げたりとかしたい場合はないので、別ユーザにして、isolationすべきという気がする。 firefoxだけ起動できる UID を作って、その UID で
【Python】マネーフォワードに登録している金融機関情報を自動更新
こんばんは、エンジニアの眠れない夜です。 最近お金の管理がズボラ過ぎて、毎朝マネーフォワードを眺めて無駄遣いをしていないか確認するようになりました。 そこで思ったのが毎朝クレジットカード情報を更新しても反映されるまで待つのが面倒。 別の作業をして戻ってくる頃にはマネーフォワードの存在を忘れていたり… ということで、寝ている間に勝手にマネーフォワードの更新を実行してくれて、朝見たときには更新済み！という状況にしたかったので自動で金融機関情報を更新するスクリプトを書きました。 マネーフォワードを利用されている方がいましたらぜひご利用ください。 【実行中の様子】 マネーフォワード金融機関情報自動更新スクリプト 定期実行するには下記のシェルスクリプトをどこかに保存してcronで実行します。 例）moneyforward_reload_accounts.sh 第1引数はログインアドレス 第2引数はロ
Pythonでマネーフォワードをスクレイピングして、ポートフォリオを管理する（その１） | outlier
Pythonの勉強がてら、マネーフォワードのサイトから口座残高などの情報をスクレイピングしてきて、日々のポートフォリオを作成するというコードを書いてみました。 いろいろと勉強になることたくさんでして、忘れないように記録しておきます。（その１）では、プログラム作成の動機や内容などを、（その２）では実際のコーディングにあたってはまった点などを紹介します。 マネーフォワードの良さと問題点 やりたいこと 実装したコード 結果 マネーフォワードの良さと問題点 マネーフォワードは、銀行・証券会社・クレジットカードの情報を登録しておくと、口座残高やカード使用履歴などを記録してくれるアプリで、すでに多くのひとが活用していると思います。 moneyforward.com マネーフォワードの機能のひとつに、現在保有している資産の内訳や資産履歴をグラフ化してくれるものがあります。現金や預金だけでなく、株や投資信
ROS講座00 目次 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 数字は書いた順です。 kinetic->melodic->noetic移行中です。 記事中のコードは参考までに、github上のコードも参照してください。 (食い違いがあったらコメントで教えてください) イントロダクション 01 概要 ROSのメリット、デメリット、ユースケースについて説明します。 02 インストール UbuntuのインストールからROSのインストールまで説明します。 11 gitリポジトリ この講座の中のサンプルプログラムが入っているgitリポジトリです。 入門 基礎編 03 Pub & Sub 通信 C++でROSノ
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
MkDocs
MkDocs Project documentation with Markdown. MkDocs is a fast, simple and downright gorgeous static site generator that's geared towards building project documentation. Documentation source files are written in Markdown, and configured with a single YAML configuration file. Start by reading the introductory tutorial, then check the User Guide for more information.
qutebrowser | qutebrowser
qutebrowser's primary maintainer, The-Compiler, is currently working part-time on qutebrowser, funded by donations. To sustain this for a long time, your help is needed! See the GitHub Sponsors page or alternative donation methods for more information. Depending on your sign-up date and how long you keep a certain level, you can get qutebrowser t-shirts, stickers and more! qutebrowser is a keyboar
Pythonを使って、１行でファイル共有Webサーバを立ち上げる - モジログ
Finer Recliner - Quick File Sharing Web Server In Python http://www.finerrecliner.com/2009/03/01/quick-file-sharing-web-server-in-python/ Pythonが入っていれば（最近のLinuxやMacであれば、最初から入っている）、次の１行でファイル共有Webサーバを立ち上げられるとのこと。 python -m SimpleHTTPServer これで、カレントディレクトリのファイル一覧が見られて、ディレクトリも辿れるのだ。これは知らなかった。 デフォルトだと8000番ポートで起動するが、 python -m SimpleHTTPServer 8080 のように、うしろにポート番号を指定することもできるようだ。 「index.html」か「index.htm」を置
Twisted vs Tornado vs Go で非同期Webサーバー対決 : DSAS開発者の部屋
昨日の takada-at の記事で「サーバー側では単純に100ms待ってからレスポンスを返すだけのページを用意しておき、」とあったのですが、今日はそのサーバー側の話をします。 もともとこのサーバーを作った動機は、takada-at が作成中の負荷試験システムがちゃんと並列に負荷をかけられるかどうかを検証するためでした。 すぐにレスポンスを返してしまうと、負荷試験スクリプトがきちんと並列に負荷をかけられなくても PV/sec が出てしまいます。 そこで、 epoll を使って高速に並列接続を扱えるTwistedフレームワークを使って、100msの遅延をしつつ数千PV/secに耐えるWebサーバーを作ってみました。 さらに、同じく epoll を使っている Tornado や Go にも興味があったので、こちらでも同じものを作成し、パフォーマンスを比較してみました。 コード まずは、コードを
Tornado Web Server — Tornado 6.5.7 documentation
¶ Tornado is a Python web framework and asynchronous networking library, originally developed at FriendFeed. By using non-blocking network I/O, Tornado can scale to tens of thousands of open connections, making it ideal for long polling, WebSockets, and other applications that require a long-lived connection to each user. Quick links¶ Current version: 6.5.7 (download from PyPI, release notes) Sour
Webアプリケーションフレームワーク(Rails, Django, Pylons) 処理速度/メモリ使用量 比較 - developer
次の記事でのデータをもとに比較します。 『Ruby on Rails Ver.2 + mod_rails (mod_passenger)で Apache Bench と メモリ使用状況を確認する。』『Django Ver.1 + mod_pythonで Apache Bench と メモリ使用状況を確認する。』『Django Ver.1 + mod_wsgiで Apache Bench と メモリ使用状況を確認する。』『Pylons Ver.0.9 + mod_wsgiで Apache Bench と メモリ使用状況を確認する。』 ※ ab - Apache HTTP server benchmarking tool http://www.apache.jp/manual/programs/ab.html 同時発行数を100リクエスト、10000回のアクセスを実行。 $ ab -n
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - puhitaku/wicafe: Automatic login utility of free Wi-Fi captive portals
Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
Welcome to AnyDo API Python’s documentation! — AnyDo API Python 0.0.2 documentation
GitHub - bootlin/elixir: The Elixir Cross Referencer
PythonでさくっとWebスクレイピングする (JavaScript読み込みにも対応しつつ) - Qiita
Airbrake
Tornadoドキュメント翻訳 — Tornado v0.2 documentation