jsサイトをスクレイピングするなら、seleniumよりsplash！ - Qiita
ヘッドレスブラウザsplashが便利だったので知見を共有します モチベーション jsで構成されたサイトをスクレイピングしたいなと思い立った時、seleniumがデファクトの選択肢として挙げられると思います。 しかしseleniumの含めヘッドレスブラウザはブラウジングが入ってくるので処理がそれなりに遅くなってしまいます。大量のページをスクレイピングする用途では不向きです。 そこで、サイトをしっかりブラウジングしながらもパフォーマンスを両立するヘッドレスブラウザという要件でseleniumの代わりをさがしていたところ、splashに白羽の矢が立ちました。 splashとは scrapyの開発元であるscrapinghub社が開発しているスクレイピングに特化したヘッドレスブラウザです。 splashは他のヘッドレスブラウザとは毛色が違い、Dockerで配布されるHTTP APIです。 ドキュメ
PythonからLuaを呼ぼう - ラシウラ
Luaは組み込み目的で作られた言語ということですが、どれだけ組み込みやすいか、PythonからLuaの組み込みをやってみることに。 http://sugarpot.sakura.ne.jp/yuno/html/lua51_manual_ja.html luaのライブラリを使う場合、ふつうcで操作するのですが、pythonでは以前spidermonkeyでやったようにctypesを使って呼び出してみます。 Python ctypesでSpiderMonkeyを呼び出す - ラシウラ 初期化と終了 import ctypes import ctypes.util # load liblua5.1.so liblua_path = ctypes.util.find_library("lua5.1") liblua = ctypes.CDLL(liblua_path) # create state
Scriptometer: measuring the ease of SOP (Script-Oriented Programming) of programming languages
The Scriptometer tries to measure whether a programming language can be easily used for SOP (Script-Oriented Programming). A script is here a command line program, mostly used in a terminal. (more scripting stuff (GUI, web...) could be added...) For this: the programming environment is checked: ability to compile and run in one command, REPL (Read-Eval-Print Loop)... some typical SOP tasks are wri
Android上でPython、Lua、JavaScriptなどを実行するスクリプティング環境が凄い
ASE (Android Scripting Environment)を使って簡単にPython, Perl, JRuby, Lua, BeanShell, JavaScript (Rhino), それにシェル(将来的にはさらにたくさんのスクリプト言語)をAndroid上で実行できるのはご存じだろうか。ASEのインストールからスクリプトの作成、実行まで、すべてAndroid単体でできる。もちろん、PC上でコーディングしたい場合は、USBで繋げてPC上のスクリプトをAndroid端末上で実行することもできるし、PC上のコードをAndroid端末にコピーすることもコマンド一発だ。さらに、各種センサー、位置情報、SMS、テキストの読み上げなどもスクリプト上で操作できるというのだからこれを使わない手はない。 そこで、試しにPythonスクリプトを書いてみた。Android端末のGPS機能で緯度経度
スクリプト言語の比較
スクリプト言語の比較 *1 *2 *3 *4 *5 *6 *7 コメント 行の継続 定数 未代入の変数へのアクセス 変数の展開 入出力 出力 フォーマット出力 出力先変更 標準入力 __END__ 演算 +1 整数／整数 負数の除算 文字列 真と偽 多重代入 多岐分岐 関数 関数 関数引き数 関数引数に対する副作用 関数のデフォルト引数の値の評価タイミング 関数のデフォルト引数にコンテナ型を使用した場合の振舞 関数戻り値 関数の再帰 関数の別名 関数定義内関数定義 関数の引数の順番 関数にファイルハンドルを渡す オブジェクト指向 クラスの定義 インスタンスメソッドの定義 メソッドのクラス内での利用 インスタンスメソッドの可視性 インスタンスメソッドの追加 インスタンス変数 インスタンス変数の可視性 インスタンス変数の追加 クラス変数 クラスの継承 多重継承 スーパクラスのメソッド呼び出し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - woj-ciech/Kamerka-GUI: Ultimate Internet of Things/Industrial Control Systems reconnaissance tool.
【Python】HeadlessChromeに代わるクロール用ブラウザSplash - Qiita
文字列操作比較17言語[JavaScript/TypeScript/CoffeeScript/C#/VB.net/VBS/C++/D言語/R言語/Ruby/Python/Lua/HSP/CommonLisp/Scheme/EmacsLisp/Clojure] - Qiita![文字列操作比較17言語[JavaScript/TypeScript/CoffeeScript/C#/VB.net/VBS/C++/D言語/R言語/Ruby/Python/Lua/HSP/CommonLisp/Scheme/EmacsLisp/Clojure] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c0ba3ff5370d280dfae7b29ebc638ed765f9acfa/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.1.1%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkYwJTJGMTQ3NTczJTJGcHJvZmlsZS1pbWFnZXMlMkYxNjYwMTMwMDI1P2l4bGliPXJiLTQuMS4xJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1mNDMwMjc1NWQ5YjMxZDk4ODhlZjQ2MDllYmRjY2I0Mw%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D498c328506872258305ce47979e669f1%3Fixlib%3Drb-4.1.1%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjEuMSZ3PTk2MCZoPTMyNCZ0eHQ9JUU2JTk2JTg3JUU1JUFEJTk3JUU1JTg4JTk3JUU2JTkzJThEJUU0JUJEJTlDJUU2JUFGJTk0JUU4JUJDJTgzMTclRTglQTglODAlRTglQUElOUUlNUJKYXZhU2NyaXB0JTJGVHlwZVNjcmlwdCUyRkNvZmZlZVNjcmlwdCUyRkMlMjMlMkZWQi5uZXQlMkZWQlMlMkZDJTJCJTJCJTJGRCVFOCVBOCU4MCVFOCVBQSU5RSUyRlIlRTglQTglODAlRTglQUElOUUlRTIlODAlQTYmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz04YzdiYmZhNzhmYjBhZWNmZTU0NmNhMzFmOGUxMDhhYQ%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjEuMSZ3PTgzOCZoPTU4JnR4dD0lNDB5b3Nnc3BlYyZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPTFiNjVkMDgzNDFlMmVlNDJkMTM2ZTMwMmRiZGVmZWQ1%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D55a7ae9f9dcdbdf24c51a6f8dd20c485)
android-scripting - Google Code
ishideoのブックマーク / 2008年12月17日 - はてなブックマーク
codepad