subprocessの使い方(Python3.6)
サブプロセスとは そもそもターミナル(シェル)でコマンドを打つとどのようにしてプログラムが実行されるのだろうか？ 実はシェルが自身のサブプロセスを作成するという形でプログラムは実行される. そしてsubprocessモジュールとは文字通りサブプロセスを立ち上げるためのモジュールである． このモジュールを用いることでpythonから他のプログラムを立ち上げたり，その出力を得たりすることができる． シェルスクリプト的な使い方をしたいときに便利なモジュールである． かつてはos.system os.spawn が使われていたが、subprocessはこれらを置き換えるためのモジュールである． TLDR os.systemを置き換えるには sts = subprocess.call("mycmd" + " myarg", shell=True) とすればよい． 出力をとりたい場合， proc =
PythonでSeleniumを使ってブラウザを自動操作する方法 – 本町オープンソースラボ -大阪でのIT勉強会多数開催！大阪本町のエンジニア向けコミュニティ-
「平日の夜の勉強会には時間が間に合わなくて参加できない」「通勤時間のわずかな隙間時間を勉強時間にあてたい」「本ではよく分からないところを動画で理解を深めたい」そんなあなたはUdemyの動画学習がお勧めです！ UdemyのPythonおすすめ33講座レビューリスト Seleniumとはブラウザを自動的に操作する事ができるライブラリです。 まずはWindowsならコマンドプロンプト、Macでターミナルなどのコマンドラインで下記のように指定してインストールします。 pip install selenium ブラウザはGoogleChromeを使用するのでchromedriver_binaryモジュールもインストールします。 pip install chromedriver_binary 今回はChromeDriverを使うので事前にPCにGoogleChromeをダウンロードしてインストールして
【Python】Seleniumの使い方（ブラウザ自動操作）
## 【環境構築】Selenium、ドライバのインストール ①コマンドプロンプトを開きます。 ②下記のコマンドを実行します。 pip install selenium ③seleniumのインストールは以上です。 ただし、seleniumを使うにはWebドライバも入手する必要があります。 続いて、Chrome版 WebDriverをインストールします。 ①下記リンクを開きます。 https://sites.google.com/a/chromium.org/chromedriver/ ②「Downloads」をクリックします。 ※Supports Chromeの横にある数字をみて、お使いのChromeのバージョンが含まれているか確認する必要があります。 ③お使いのPC環境にあったものをクリックしてダウンロードします。 ※Windows環境なら「chromedriver_win32.zip」
CTOが選ぶ、エンジニアのみなさんに個人的に読んでほしい本｜藤村
メリークリスマス！heyでCTOをやっている藤村です。ということで、これからエンジニアになる・いまエンジニアをしているみなさんに個人的に読んでほしい本をご紹介します。これを読んでおけばソフトウェア・エンジニアとして網羅的な基礎が身につく、とかいうセレクトではなく、あくまで個人的に読んでもらえると嬉しいな！というものを選びました。 ソフトウェア開発基礎編リー・コープランド『はじめて学ぶソフトウェアのテスト技法 』 テストの本です。昨今RSpec、XUnit系など自動テストのツールはすっかり普及し、ソフトウェアにテストコードをつけるのは当たり前の世の中になりました。しかし！テストケースをどう設計するか、何をテストすべきか、について体系的に学んだことがない、という方も実はいらっしゃるのでは。 この本はそういったソフトウェア・テスト一般についての教科書です。ここの知識はソフトウェア・エンジニアとし
Ubuntu環境のPython - python.jp
Ubuntu には最初からPythonがインストールされており、そのまま利用可能です。 しかし、このPython は、 OS がさまざまな機能を提供するために使用しています。ユーザが勝手にパッケージを導入したりすると、 OS の安定性を損なうことも考えられますので、別途、あたらしいPythonをインストールするのが一般的です。 ここではPythonのソースコードをダウンロードし、インストールする手順を紹介します。 ビルドツール・ライブラリのインストール¶ 次のコマンドで、必要なツール類をダウンロードします。 $ sudo apt update $ sudo apt install build-essential libbz2-dev libdb-dev \ libreadline-dev libffi-dev libgdbm-dev liblzma-dev \ libncursesw5-d
Pythonでファイルに書き込む方法【初心者向け】
ファイルを開く方法 Pythonでテキストファイルに書き込みを行う場合、以下の操作を行います。 ファイルを開く データを書き込む ファイルを閉じる まずは、ファイルを開く／閉じる方法を確認しましょう。 ファイルオブジェクト = open(ファイル名, "モード", encoding = "文字コード") ファイルオブジェクト.close() ファイルを開いた結果を、ファイルオブジェクトとして変数に取得します。この変数を用いて、ファイルへの書き込みを行います。 モードは3種類あります。 “w”：新規作成（既に同名のファイルが存在すれば上書き） “x”：新規作成（既に同名のファイルが存在すればエラー） “a”：追記（既に同名のファイルが存在すれば末尾に追記） encodingには文字コードを指定します。特別な理由が無ければ「utf_8」を指定しましょう。 次にファイルにデータを書き込む方法を確
Windows10クリーンインストール方法 | 無償手順も - USBやDVD-ROMでできる？ | Beyond（ビヨンド）
実はできる、無償クリーンインストール 現在サポートされている無償サポートはアップグレードのみであり、クリーンインストールするには通常新たにWindows 10のパッケージを購入しなくてはなりません。 しかし、Windows 10を無償でクリーンインストールする方法が実は存在します！ 少々面倒ではありますが、パソコンの環境をWindows 7やVistaからWindows 10で新たに構築したいという人も少なからずいることを想定し、その方法を紹介しておきます。 クリーンインストールは現在利用している環境のデータがすべて削除されるので、バックアップはあらかじめ取っておいてください。 Windows 10の無償クリーンインストール方法 Windows 10を無償でクリーンインストールには2つの方法があります。 方法1. インストールメディアを起動してインストールする Windows 10を新規に
pythonからterminalを操作する (subprocess) - Qiita
subprocessを使ってpythonからterminalを操作する方法を調べたのでまとめます。 subprocessとは pythonからterminalを操作する為のpackageです。terminalが操作できるという事はシェルスクリプトでやるような事が一通り出来るわけです。便利すぎてヤバイです。 長年開発されてきているのでcall, check_call, check_outputなど色んなモジュールがあるようですが、普通に実行するときはsubprocess.run()を使い、非同期で実行するときはsubprocess.Popen()を使うよう推奨しているようです。Popenは並列処理用のモジュールなので、子プロセスの終了を待ったりkillしたり出来るようになっています。 公式ドキュメント https://docs.python.org/ja/3.6/library/subpro
PythonでFTPによるファイル転送をさせる方法
Web制作の仕事に携わっていると夜中に更新時間を指定されることがあります。CMSで管理できるサイトなら何の問題ないですが、静的なHTMLや画像ファイルを手動で更新しなければならない時はどうすればいいのでしょうか？夜遅くまで残業しますか？ いやいや、Pythonを使って楽をしましょう（笑）というわけで、今日はPythonでFTPをさせる方法を扱いたいと思います。もちろん、サイトにファイル更新の仕組みを作って解決することもできますが、Pythonでファイル転送のコードを書いて持っていると、FTP情報とファイル名のリストを更新するだけで幾つものサイトに使えるので便利ですよ。 目次 PythonでFTPするための基本的なコード更新後にメールを送信するようコードを改造してみるcronの設定についてまとめ 1.PythonでFTPするための基本的なコード PythonでFTPさせるコードはとても簡単で
Selenium3によるFirefoxの自動操作(Python編)
前回はEclipseとjavaでFirefoxを自動操作しましたが、今回は最近自分の中ではまっている言語、pythonをつかって同じようなことをしたいと思います。 javaの場合は、手順も多く、エラーが発生して起動するまで苦労しましたが、pythonの場合は、下記手順にならってスクリプトを組むだけで、何の問題も無く自動操作できました。 コンパイルも要らないし、特別な開発環境も無くても動かせますので、言語を問わないのであれば、pythonでのブラウザの自動操作はおススメだと思います。 pythonでfirefoxを自動操作する手順 ①selenium3用のpyhtonバインディングをインストール はじめに、自分のpython環境に、selenium3用のpyhtonバインディングをインストールします。 pipで可能ですので、 とコマンドを打てば、すぐにインストールされました。 ライブラリの依
WSL (Ubuntu16.04.4 LTS) 上の Python から、Selenium を利用して Windows側のウェブブラウザを操作する
という方法なのではないでしょうか。 ここで言っているのは、HTTP(S)のプロトコルレベルから実装するわけではなく、「HTTP(S)通信を行うライブラリを使ってウェブサーバーとやり取りするプログラムを書く」くらいの意味です。この手のライブラリを使えば、HTTP(S)リクエストを送信する際に、宛先となるURLとパラメータだけ指定すれば、あとの通信処理自体はライブラリに任せることができます。 これにより、多少はラクができるわけですが、それでもプログラムを作るのは大変です。なぜなら、目的としているブラウザ操作によって、どんなURL（エンドポイントと言います）に、どんなパラメータが送信されているかを事前に解析しておき、それをそのままプログラムで記述しなければいけないからです。人間が操作する分には、「特定のフィールドに何か文字列を入力してボタンを押す」という単純な操作であったとしても、そこで実際に行
【悪用厳禁】Torを使ったスクレイピングでIPアドレスを分散させるテクニック – Python | Let's Hack Tech
Torをスクレイピングで使いやすくするPythonのモジュール作ってみた TorをPythonスクレイピングに流用しやすくするためのモジュールを作成しました。Torをスクレイピングに流用することによって、IPによる制限を回避することが容易になります。 Torを使ったWebスクレイピング Webスクレイピングに、そのSocksプロキシを流用することで、簡単にIPアドレスを変更することが可能になります。 つまり自分のIPではないIPを使って色んなWEBサイトにBOTアクセスすることが可能になります。 Torを使ったスクレイピングはどういった場合に便利なのか？ WEBアクセスの自動化、スクレイピングやBOTアクセスというのは年々、制限が厳しくなっているサイトが増えています。 例えばブックオフオンラインというサイトで、20回ほど連続でF5ボタンを押してみてください。 ブックオフオンラインは割と昔か
シェルスクリプト(Bash)入門。できること、基礎文法、業務自動化の方法を解説【事例あり】 - Workship MAGAZINE(ワークシップマガジン)
「シェル」や「シェルスクリプト」という用語を聞いたことはありますか？ 「シェル」とは、CLI上で動作してOSを操作できるソフトウェアのこと。そのシェルを組み合わせて記述する、簡単なプログラムを「シェルスクリプト」と言います。 この記事では、「シェル」についての前提知識をご紹介した上で、入門者向けにシェルスクリプト（Bash）のできることや基礎文法、実際のコードについて解説していきます。 作業を効率化したいエンジニアの方は、ぜひこの記事を参考にしてみてください。 シェルとは、CLI（Command Line Interface）という黒い画面上で動作するソフトウェアのひとつです。「コマンド」と呼ばれる命令文を利用してOSを操作できます。 シェルにはさまざまな種類があり、もっとも標準的なのは「Bash（Bourne-Again Shell）」です。Bash以外に代表的なシェルは、以下のようなも
wgetコマンドで覚えておきたい使い方16個(+1個) | 俺的備忘録 〜なんかいろいろ〜
wgetコマンドといえば、webからファイルをダウンロードしたりする際によく利用するコマンドだ。 今回は、このwgetコマンドについて覚えておきたい使い方をまとめてみる事にする。 1.基本の使い方 基本的には、以下のようにオプション無しでコマンドを実行することで、Web上のファイルをダウンロードする。 ダウンロードしたファイルはカレントディレクトリに同じ名前で保存される。 wget http://ファイルのURL [root@test-node work]# ls -la 合計 4 drwxr-xr-x. 2 root root 6 3月 19 00:39 . dr-xr-x---. 19 root root 4096 3月 19 00:39 .. [root@test-node work]# wget http://diffc.googlecode.com/svn/trunk/bin/p
テキストファイルへ書き込む
書き込み用にファイルを開く テキストファイルへ書き込むためにファイルを開く場合、 open 関数のモードとして "w" "a" "x" のいずれかを指定して次のように実行します。 "w" を指定した場合、対象のファイルが存在していない場合は新規に作成して書き込みます。ファイルが存在していた場合は、ファイルに上書きで書き込みます(元々ファイルに入っていた内容はすべてクリアされます)。 "a" を指定した場合、対象のファイルが存在していない場合は新規に作成して書き込みます。ファイルが存在していた場合は、ファイルに元々入っていた内容はそのままで、最後に追加する形で書き込みます。 "x" を指定した場合、対象のファイルが存在していない場合は新規に作成して書き込みます。ファイルが存在していた場合は、 FileExistsError が発生します。
subprocessでPythonからLinuxコマンド実行
どうも、クラゲです。 Pythonプログラム上でLinuxコマンドを実行したいときに役立つsubprocessです。例えば、効果音の音声出力や他のスクリプトを実行させるなどに使えます。 subprocess でコマンド実行 PythonプログラムでLinuxコマンドを実行する方法として os.system がありますが、これは古い方式でそのうち subprocess に置き換えられる可能性があるため、こちらを使います。 https://docs.python.org/ja/3/library/subprocess.html 例えばlsコマンドをPythonプログラムの中で使いたいとします。 Pythonプログラムでは以下のように書きます。 import subprocess subprocess.run(['ls']) 今度はオプション付のコマンド例です。 -lを付けて、ls -lにすると
Python ダウンローダー GNU Wget の使い方 | ハジプロ！
HTTP通信やFTP通信で、 サーバーからファイルやコンテンツをダウンロードするためのソフトウェア「GNU Wget」のインストール方法と基本的な使い方を紹介します。 HTTP通信やFTP通信で、 サーバーからファイルやコンテンツをダウンロード GNU Wgetは、HTTP通信やFTP通信で、 サーバーからファイルやコンテンツをダウンロードするためのソフトウェアです。 MacOSにGNU Wgetをインストールする方法 パッケージマネージャー「Homebrew」の導入 Homebrewは様々なソフトを簡単に導入するためのツールです。 ↓ターミナルを起動し、以下のコマンドでHomebrewの導入します。 詳細：Macにパッケージ管理ツール Homebrewをインストールする方法【初心者向け】 Wgetインストール #更新Homebrew brew update #Wgetインストール bre
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linuxのダウンロードコマンド4選
【Python入門】スクレイピングで複数のPDFデータをダウンロードし、一つのPDFにまとめる方法｜エブリデイニュース
【Python】Flaskで実装するWebサーバー(API)入門編 - Knowhow,Nohow