Python・PHP・Perl・Bash・Rubyで簡単にWebスクレイピングする方法を解説する - paiza times
Photo by Ted Eytan 秋山です。 最近PythonでWebスクレイピングしたりする記事をよく目にする気がするので、私も書いてみようと思います。 ちなみにPythonはNumpyやPandasなどの分析に便利なライブラリやツールがあったりするので使いやすい部分はあると思いますが、「Webスクレイピングに向いてる言語はPython！」というわけではありません。 スクレイピングは別にPython以外の言語でもできますし、むしろ単純なデータの抽出程度なら無理にPythonを使うよりも、自分がふだんからよく使っている言語でやったほうがよいかと思います。 今回は、Python・PHP・Perl・Bash・Rubyを使って、Webスクレイピングを試してみたので、各言語でのやり方を説明していきます。 ■Python・PHP・Perl・Bash・RubyでWebスクレイピングする 今回、作業
Perl、Python、PHP、Rubyについて - Qiita
今更ながら、比較というか、意見を述べる。ただの自己満足と私的見解。 誕生の歴史的経緯 それぞれの言語が作られた経緯と目的を知ることは、その言語を使う意味で重要であると思う。 Perl前の時代 Perl前の時代、世の中にはC言語のようなコンパイル言語しかなく、コンパイルせずに処理ができるのはシェルやsedやawkぐらいしかなかった。ちょっとしたテキストを自動的に処理したいが、C言語とかで本格的に作成するような物ではないとき、人はみんな、シェルスクリプトとしてUNIXのコマンドを並び立てて処理していた。sortやtestなどの便利なコマンドがUNIXには用意されていたし、ちょっと複雑な処理でもsedやawkを駆使しして、何とかできていた。 しかし、シェルと言ってもBourne Shell系とC Shell系の二つがあったり、同じUNIXコマンドでもOSによってオプションが異なるなど、移植性が低
プログラマーの君！ 勘違いするな！ シェルスクリプトでは読みやすさのためにスペースを置くな！！ という話 - Qiita
普通のプログラミング言語での開発に慣れた人ほどシェルスクリプト、特にBashで戸惑う部分の一つに、i = 0のように空白を開ければエラーになるし、かといってif[$i!=0]のように詰めてもやっぱりエラーになる、という点が挙げられます。書きたい物を思うように書けなくて「なんだよこのクソ言語は！！！」とブチギレる人は少なくないのではないでしょうか。この記事では、そのイライラを解消するポイントをお伝えしようと思います。 以下、特に断り無く「シェルスクリプト」と書いている場合はすべて「Bashのスクリプト」という意味になります。zsh等他のシェルではまた事情が異なりますので、ご注意ください。 （※以前プログラマーの君！ 騙されるな！ シェルスクリプトはそう書いちゃ駄目だ！！ という話という記事を書いたのですが、この記事は、その増補リファイン版として執筆させて頂いたSoftwareDesign 2
Microsoft、オープンソースの自動UIテストスクリプトツール「WinAppDriver UI Recorder」を公開
Microsoft、オープンソースの自動UIテストスクリプトツール「WinAppDriver UI Recorder」を公開：自動UIテストのスクリプトを簡単に作成できる Microsoftは、Windows 10対応のUI自動化サービス「WinAppDriver」の新しいオープンソーステストスクリプトツール「WinAppDriver UI Recorder」を公開した。 Microsoftは2018年6月20日（米国時間）、「Windows Application Driver」（WinAppDriver）コミュニティー向けの新しいオープンソースツール「WinAppDriver UI Recorder」（以下、UI Recorder）の公開を発表した。UI Recorderは、自動化されたUI（ユーザーインタフェース）テストのスクリプトを簡単に作成できるツールだ。 WinAppDrive
俺の愛用ワンライナー、Web企業のエンジニア16人に聞きました
俺の愛用ワンライナー、Web企業のエンジニア16人に聞きました エンジニアの皆さんが愛用する自作のワンライナーってどんなもの？Web企業で働くエンジニアの方々に、秘蔵のワンライナーを聞きました。 ワンライナーとは、何か特定の処理を「たった1行のプログラム」だけで実現するものです。サービス運用に携わるエンジニアの皆さんも、愛用している独自のワンライナーを持っているのではないでしょうか。「独自のワンライナー」とは、エンジニア各人のナレッジやノウハウが詰まっているとも考えられます。 本企画ではさまざまジャンルで活躍するエンジニア16人に、業務を支えてくれるワンライナーを紹介してもらいました。参考に使ってみるも良し。眺めて楽しむも良し。個性あふれる貴重な「オレオレ・ワンライナー」の数々をご覧ください！ ※各カテゴリー内では所属企業名の50音順に掲載。回答者は敬称略とする。 リソース管理 プロセスを
Windowsで「tail -f」コマンドを実現する方法4選 - ヤサイブログ
tailコマンドは重宝しますよねー。 なのに、何故かWindowsにはデフォルトで入ってなくて、 なんとかしてtailコマンドを使いたいと思う時は多いはずです。 開発してるとログをtailで垂れ流したいですよねー。 そこで、自分がよく使っているツールを紹介したいと思います。 （備忘も兼ねて。） フリーソフトの「TAIL」を使う www.vector.co.jp 「tail -f」をWindowsで実現するためのフリーソフトです。 メリットとしては対象のファイルを開くだけで簡単にtailが実現できることです。 デメリットとしては、他に応用が効かないこと。tailコマンドを習得することはできないです。 PowerShellを使う tech.guitarrapc.com Microsoft信者の方はこの方法でtailコマンドを再現できますが、 やはりデメリットとしてLinuxコマンドではないため
アクセスキーのコミットを抑止できて安全便利な awslabs/git-secrets - kakakakakku blog
GitHub で awslabs のリポジトリを眺めてたら git-secrets という便利なツール（シェルで実装されてる）を発見した． どんなものかを簡単に説明すると，アクセスキーなどを誤ってコミットすることを Git の hooks を使って未然に防ぐツールで，誤って GitHub に push してしまったために，AWS を不正利用されてしまった，みたいな事故もたまに聞くし，そういうのを防ぐことができる．非常に良かったので，一部のリポジトリに git-secrets を設定した． github.com インストール make install でも良いけど，Mac なら brew が使える． $ brew install git-secrets インストールすると git secrets コマンドが使えるようになった． $ git secrets usage: git secrets
Windowsで、OS標準機能のzip圧縮/解凍を使用する（WSH編）
以前、「Windowsで、OS標準機能のzip圧縮/解凍を使用する（PowerShell v5編）」というタイトルで記事を掲載し、多くのかたに閲覧していただいています。 以前の記事では、Windows10から標準搭載されたPowerShell v5のコマンド例を記載していましたが、記事のアクセス数から考えると、おそらく「Windows10以外で使用するコマンドが知りたい」というかたが多かったと思います。 そこで、Windows Script Host（以降、WSHと記載します）やPowerShell v4での例は「ネットで探すとすぐに見つかるので、割愛します」としていましたが、せっかく多くのかたに来ていただいているので、このBlogにもPowerShell V5以外の方法を記載しておきます。 今回は、 WSHでzipファイルの操作を作成し、バッチで呼び出し を記載します。 WSHは、現在で
ZIPファイルを解凍するVBS - ぶりりあんとろーど(仮)
'解凍するZIPファイル DIR_SOURCE = "C:\Users\ta.harada-bsw\Desktop\TEST\20150401.zip" '解凍先 DIR_DEST = "C:\Users\ta.harada-bsw\Desktop\TEST" '定数 Const FOF_SILENT = &H04 '進捗ダイアログを表示しない。 Const FOF_NOCONFIRMATION = &H10 '上書き確認ダイアログを表示しない（[すべて上書き]と同じ）。 '************************************************************** 'オブジェクト生成 Set objShell = CreateObject("Shell.Application") Set FilesInZip = objShell.NameSpace(DI
文字コードと改行コード | UNIX & Linux コマンド・シェルスクリプト リファレンス
文字コードと改行コード 文字コード 古くから UNIX の日本語環境では EUC-JP が標準の文字コードとして使用されてきたが、近年の多く普及している Linux の日本語環境は UTF-8 が一般的になっている。さらに Windows では Shift-JIS が標準であるため、これらの環境を同時に使用している場合は、文字コードへの理解と各種文字コードの相互変換作業が必要となってくる。 使用されている文字コードを調べる →使用されている文字コードを調べるには nkf コマンドの -g オプションを使用する。 ファイルなどに使用されている文字コードを調べるには、後述する文字コードの変換に使用する nkf コマンドの -g オプションを使用する。 実際に文字コードの判別を行ってみる。 $ nkf -g sjis.txt Shift_JIS #↑sjis.txt は Shift-JIS で保
最近覚えたシェルスクリプトの小ネタ - カメニッキ
シェルスクリプト神から教えていただいた。忘れないように書いとく (追記)聞いて、自分の記憶した内容をそのまま書いちゃったので、ちゃんとマニュアル通りか確認してなかったので反省 $ man bash 目次 xargsでfunctionを叩く 連想配列もどき 変数間接参照 なんでもかんでもawkで整形しない 文字列の末尾から数えて○文字目を△文字取り出す 番外編:やたら if [ ]; then を使わない ※Markdownで目次の書き方がわからんかった xargsでfunctionを叩く 下の例だと find xxxx | xargs cp xxxx ってかけば良さそうでイマイチだけど、もっと複雑な処理やらせたいときに。 前はこう書いてた #!/bin/bash for x in `find /var/www -name xxx` do cmd="cp -v /hoge/fuga/xxx
PythonからRubyに移行した人間の印象 - Line 1: Error: Invalid Blog('by Esehara' )
今日の料理 安物のねぎとろは、納豆と良くあう。 前提 はじめてのにき(2016-06-16) より。 このエントリの立ち位置について 元々はPythonを勉強していたのだけれども、仕事の関係上、Rubyを主軸にすることにした人間のエントリです。ちなみに、PythonとRubyの立ち位置には詳しくなく、主観を元に構成されているので、客観的な部分に関しては弱いことをお断りしておく。また、現時点での知識が2.7になっているので、3.5では多少違う点があるかもしれない。 なぜならPythonのほうが「わかりやすかった」から まず最初に、Pythonのほうが機械科学系の人に支持されやすい傾向としてあるのは、Pythonのライブラリ、例えばNumpyであったり、Scipy、または各種機械学習系のライブラリなどの影響が大きいのは間違いない。最近の機械学習ブームのせいなのか、Pythonも「エモい人(エモ
初心者を戒めるPHP - Qiita
この記事は何か 挑発的な文言になってる箇所はあるものの、内容としてはそれなりにまじめに書いたつもり。むしゃむしゃしてやった。いまでは反芻してゐる。 PHPDocは必ず書け あらゆる再利用可能な手続きは、他人が容易に応用できるように型が明示的でなければいけない。メンバー全員が実装コード全てを把握できるものならそれが理想だけれど、残念ながら時間は有限だ。ヘッダだけを読んでメソッドの仕様が理解でき、またはコードを読む助けになるようなコメントが良い。 有名な事実を紹介すると、多くのコードは数か月(早ければ数日！)も経てば、他人が書いたコードに感じられるほど理解できなくなることがしばしばある。もちろん設計の練度にもよらうが、設計判断について注意を要した点などをコメントに残しておくことで、ひいては未来の自分の役に立てることができる。 お前の先輩は「PHPには型がない」などと知ったかぶって意味不明1なこ
Rubyが今のPythonの地位にいない理由
_ Rubyが今のPythonの地位にいない理由 歴史のことなんぞなんも知らんけど、「技術的には今のPythonの地位はRubyでもよかったのに、そうならなかった」のが何故か、その理由を書いてみよう。僕はRubyの歴史なんて知らないし、以下の文章は全部、まるで見てきたかのように書いてますが、適当に書いたくせに何故か断言口調になっている怪文書の類いです。 https://twitter.com/mametter/status/741950239662170112 まめさんの書いた理由リストはどれも関係ない。いやカスってるけど。難しいというのも関係ない。 僕がRubyを知ったころ…最初に書いた通りRubyの歴史なんて知らないので、別に早くもないわけだけど…Rubyというのは全く使われていない言語だった。どっかの好き者がPerlの替わりに単純な処理に使って、「ウフ、美しくかけた、グフッ」とかつぶ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PHPとPythonの違いについてのまとめ - Qiita
WSH/JScriptで作業用にテンポラリファイルを得る - クジラ机ブログ
『パソコンの自動化で稼ぐことができたので方法教えるよ！ – ysklog』へのコメント
NASで自作スクリプト！『履歴バックアップ』や『このファイルは7日で消える…』を作ってみた
恐怖！シェルショッカーの POSIX原理主義シェルスクリプト
【たのしいな】様々なコマンド達を何も考えずにつないで遊ぶ - Qiita
