[B! python] komeshogunのブックマーク

Python + Selenium で Chrome の自動操作を一通り（ログイン、ダウンロード、他）

はじめに Python + Selenium + Chrome で、要素の取得、クリックなどの UI系の操作、待機、ページ全体のスクリーンショットなど、一通り試してみます。 PhantomJS はもう更新されないということなので、ブラウザは Chrome にします。この記事には、Selenium の API に関する情報と Chrome に特化した情報がありますが、前者の Selenium の使い方に関する情報は Firefox など別のブラウザでも使えます。注意事項ウェブの自動テストやスクレイピングで使われる技術です。特にスクレイピングでは、著作権の問題や、サーバー側の負荷、各種規約（会員としてログインする場合の会員規約等）やマナーなどを考慮する必要があります。たとえば、Twitter など利用規約で明示的にスクレイピングが禁止されていることや、robot.txt などでクローリ

komeshogun 2018/10/15

リンク

VS CodeでPythonするために必要なこと

なお、本稿の内容は基本的に、Windows版のVS Code（64ビット版）で動作確認し、必要に応じてmacOS版でも確認をしている。 VS CodeでPythonする理由 PythonをサポートするエディタやIDE（統合開発環境）は数多く存在する。例えば、JetBrainsのPyCharmは優れたIDEであり、恐らく、VS CodeでできることはPyCharmでもできるだろう。それでもなお、VS Codeを使う理由とは何だろう。筆者もちょっと考えてみた。 VS Codeは無償で使える、軽量なエディタである（上に挙げたPyCharmにも無償で利用できるCommunityエディションはあるし、オープンソースプロダクトとして無償で利用できるエディタも数多いが） Python 拡張機能をインストールすることで、IntelliSenseを利用したコード補完が可能になる同じくPython 拡張機能によ

komeshogun 2018/05/22

リンク

私の会社の機械学習経験ゼロの「ディープラーニングおじさん」が会社のAI戦略を動かすまで - karaage. [からあげ]

ディープラーニングおじさん私の会社には「ディープラーニングおじさん」がいます。「います」といっても私が勝手に一人で心の中でそう呼んでいるだけですが…ともかく、今日はその「ディープラーニングおじさん」が、機械学習経験ゼロから、最終的に会社を動かすまでの華麗なる軌跡を紹介したいと思います。なお、会社に関する情報は、私の都合である程度、虚実入り混じった情報になることご了承ください。今回の話で伝えたいことに関しては、影響は無い範囲とは思っています。ディープラーニングおじさんの華麗なる軌跡自分のツイートを「ディープラーニングおじさん」で検索したら、最初に引っかかったのが2016年10月ころでした。もう1年半くらい前ですね。自分も個人で少しだけディープラーニング試したりしてるので、ディープラーニングおじさんに少しだけ自分の知ってる情報を提供してみたけど、おじさん何も聞かずに特攻しててワロタw

komeshogun 2018/05/02

リンク

東京大学の松尾研究室が無料公開している「Deep Learning基礎講座演習コンテンツ」の自主学習方法 - karaage. [からあげ]

新たな教育プログラム「DL4US」が開始しています。 2019年5月に、松尾研究室の新たなディープラーニングの無料教材「DL4US」が公開されています。「Deep Learning基礎講座演習コンテンツ」のバージョンアップ版の位置付けなので、今から学習する方はこちらに取り組んだ方が良いかと思います。 Dockerを使った環境構築方法を紹介している記事を書いたので、もし良ければ以下記事参照下さい。 Deep Learning基礎講座演習コンテンツが無料公開以下のようなサイトが無料公開されていました。学習に自由に使用してよいとのことです。ただ、肝心の使用方法が詳しく書いてないので、初心者には環境構築が厳しく、簡単に環境構築できる人にとっては、知っている内容のところが多い気がして、内容が良いだけにもったいなと感じました。そこで、ちょっと初心者向けに環境構築の補足をしてみたいと思います。そ

komeshogun 2018/01/31

リンク

もう見た？GitHub最新人気リポジトリTop25総覧【2017年9月版】｜ハイクラス転職・求人情報サイト AMBI（アンビ）

もう見た？GitHub最新人気リポジトリTop25総覧【2017年9月版】 GitHubで直近1年に作成されたリポジトリの中から、スター数が多いリポジトリ上位25個を収集！読み物からソースコードまで、皆さんの開発に役立つ要素満載です！世界中の開発トレンドはGitHubにあり。今回は直近1年に作成されたリポジトリの中から、スター数が多いリポジトリ上位25個を収集し、ジャンル別に整理しました。また、より内容を把握しやすくするため、各リポジトリの概要も記載しています。上位にはソースコードだけでなく、開発に役立つ読み物系のリポジトリも多数。ぜひ参考にして、あなたの開発をブラッシュアップしてください。読み物 Roadmap to becoming a web developer in 2017 Best websites a programmer should visit The Syste

komeshogun 2017/09/15

リンク

Python の依存パッケージ管理/環境切り分けツール pipenv の紹介 - 私が歌川です

この記事は 2017/9 に書かれたものであり、2019/11/26 現在とは状況が変わっています。公式ドキュメント(日本語訳)を参照してください。時代は pipenv や— うたがわきき🔰💊 (@utgwkk) September 5, 2017 もう誰も，requirements.txt や，source ENV/bin/activate に頭を悩まされる時代は終わった！というわけで virtualenv の時代は終わり*1，pipenv の時代になりました．この記事は Python を書く人間が全員 pipenv を使うべきだという思いを込めて書きました．日本語で書かれた記事がまだぜんぜんないという事情もあります． pipenv とは Python のパッケージ管理ツールの pip と，環境切り分けツールの virtualenv を融合させたツールです．Ruby でいうとこ

komeshogun 2017/09/06

リンク

pythonで小さなツールを作る時のtips - Qiita

自分で小さいツールを作る時に心に留めているtipsです．書き始めたときは「どうせ書捨てだし」と思って書き始めると意外と長い間，もしくはいろんなところで使うことになったりするので，気をつけておくと後から楽になるというような小技です．大規模なソフトウェアの開発ではまた違った流儀があると思います．メインルーチンを関数にする関数名はなんでもいいのですが，自分は趣味で main() という名前の関数を用意し，メインルーチンは全てそこに書くようにしています． #!/usr/bin/env python def main(): print('hello, hello, hello!') if __name__ == '__main__': main() pythonの小さなサンプルコードを見たりすると関数外の部分にベタで実行コードが書かれていたりします．もちろんそれでも動くのですが，以下の2点で後

komeshogun 2017/09/06

リンク

OSSのJob管理ツールを使ってみた感想 - Qiita

先日ラスベガスで開催されたre:Inventに参加し、その際にデータ分析基盤系のセッションはほぼ参加したのですが、Job管理ツールの話がかなり出ていたのが印象的でした。 AWSにはData PipelineというJob管理サービスがあるのですが、それではなくOSSのJob管理ツールを使っているところが多い印象でした。日本では自分の観測範囲だとまだ使っているところがあまり多くない印象ですが(実際自分もほとんど使ったことない)、いくつか候補を絞って触って見たので感想を書きます。あくまでJenkinsしか使ったことがないような個人の感想としてお読みください。。 Airflow Airbnbが開発元 re:Inventでは多くのセッションで紹介されており、一番勢いがある印象を受けた。依存関係はPythonで書くタスクの登録はUIからやるのではなく、コマンドラインから登録 Python力を前

komeshogun 2015/10/29

リンク

2014年 Webアプリケーションフレームワークトレンド（PHP / Java / Ruby / Python / Perl） - Qiita

2014年 Webアプリケーションフレームワークトレンド（PHP / Java / Ruby / Python / Perl）Java Ruby Python Perl PHP はじめに一昨日、FIFA15 でサイドバックが前線に放ったフィードが直接入って80m強の超ロングシュートとなって困惑しました。さて、話は変わりますが、2014年12月時点の TIOBE Programming Community Index によると、昨年と比較して最もランクアップしているプログラミング言語は、Visual Basic なんですね。そんなプログラミング言語上位20位ですが、Webアプリケーションを構築するにあたって、どの言語を採用するかというのと同じく悩ましいのがどのフレームワークを採用するかということ。フレームワークの選定基準はアプリケーションの要件はもちろんのこと、環境や開発者、その他にも様々な

komeshogun 2014/12/18

リンク

特におすすめしたい、Sublime Textのパッケージ - Build Insider

Sublime Textのさまざまなパッケージの中から、利用シーン別におすすめのものを紹介。また、Sublime Textのパッケージの基本的な使い方として導入方法や有効化／無効化、削除の方法も説明する。 ← 前回連載 INDEX 今回はSublime Textのさまざまなパッケージの中から、特におすすめのものを紹介する。 Sublime Textのパッケージ Sublime Text自体はオープンソース・ソフトウェアではないが、内部機能を操作するためのAPI（API Reference - Sublime Text 3 Documentation）が公開されている。また、メジャーなスクリプト言語であるPythonのランタイムが搭載されているので、誰でもパッケージを作成できる。そのため、パッケージの作成は盛んで、2014年12月時点登録されている公式パッケージは2600以上となっている