- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ

社内の主要開発言語にPythonを取り入れたことで著名な(株)ビープラウドさんが、Pythonのオンライン学習プラットフォーム「PyQ」をリリースされました。 pyq.jp 佐藤社長のご厚意でアカウントを発行頂き実際に使用してみたので、使用感をレビューします。 問題構成 以下のセクションに別れています。他にもいくつかありましたが、チュートリアルからWeb開発まで用意されています。 チュートリアル Python はじめの一歩 Python 初級 Python 中級 実務でのPython はじめてのWebアプリ Web初級 画面構成 2ペイン構成です。左側に問題(クエストと呼ばれています)の説明と解説、右側がPythonのコードを実装して実行結果やテスト結果の表示を行う場所になっています。工夫されているのは左側の説明の箇所で、写経前と写経後のコードの差分が見れるようになっており、自分で間違いに

Requestsとは PyhtonのHTTPライブラリ． 人類にとって読みやすくコーディングできるらしい． qiita.com インストール pip3 install requests 郵便番号から住所を取得するAPI 今回は郵便番号データ配信サービスzipcloudのAPIを使用する． zipcloudの使い方 ベースURL : http://zipcloud.ibsnet.co.jp/api/search このURLにパラメータを加えてリクエストを送る． zipcloudを使ってみる getでhttp://zipcloud.ibsnet.co.jp/api/search?zipcode=1540013で郵便番号を与えるとjsonが返ってくる． { "message": null, "results": [ { "address1": "東京都", "address2": "世田谷区",

Photo by hoerner_brett 秋山です。 私は主にPythonを使って開発をしているので、今回はPythonの便利なライブラリやフレームワークを紹介していきたいと思います。 といっても割と定番のものを中心に使っているので、既にPythonをがんがん使っている人にとっては「知ってるわ！」というものも多いかと思います。「最近Python書くようになりました～」という人たちにも「これ良い！」ってものが見つかればと思います。 ちなみに前回はPython2系と3系の違いについて書いてますので、「3系に移行しよっかなー」と考えている人は合わせて見てみてください。 paiza.hatenablog.com ■Pythonの便利なライブラリやフレームワーク ◆Web開発系フレームワーク ◇Django みんな大好き有名なDjango。RubyでいうところのRailsのような……全部のせ的な

Google画像検索を使ってPythonから画像検索してみたい！と、思ったので備忘録ですね。ハマった点もいくつかあるので書いておきます。 GETメゾットについて 試しにURLで画像検索をしてみます。 画像のURLを貼り付けて 検索してみます すると この画像の最良の推測結果 や、そのキーワードが含まれるページが表示されます。これを取得したいというわけ。 そこで、検索結果のページを取得しようとしたのですが。「google.com/search?入力したURL」とかかと思いきや全然関係ないURLでした… どんな感じかな～と思い、パケットキャプチャしてみたらこんな感じでした GET /searchbyimage?image_url=URL &encoded_image=&image_content=&filename=&hl=ja HTTP/1.1 なるほど。つまり/searchbyimag

皆さん こんにちは、こんばんは TomoProgです。 記念すべき１０記事目！！ 頑張っていきましょう！！ 今回はPythonを使ってYahoo画像検索の画像を自動で画像を収集してみようと思います。 指定したWebサイトのhtmlを取得する まずはWebサイトのhtmlを取得してみたいと思います。 Pythonにはurllibという指定したURLに簡単にアクセスできるモジュールが備わっています。 import urllib.request request = urllib.request.urlopen(url) html = request.read() urllib.request.urlopenを使うと引数に指定したURLを開きます。 あとは開いたURLの情報をreadで読み取るだけです。 実際にgoogle検索のトップページのhtmlを取得してみます。 #-*- coding:ut

はじめに 今回は，自分が以前PHP + MySQLで作ったToDoアプリに自分がツイートしたら新しくタスクを追加したいという 考えから始まりました． github.com 一応リポジトリリンク貼っておきます タスク追加までの流れ ツイート(フォーマットあり) Pythonがツイートを読み取る MySQLにインサート やったこと Twitterアプリ登録 https://apps.twitter.com/apps.twitter.com ここで新しくアプリを作り，ConsumerKeyなどを入手．パーミッションはReadのみでもOK Python関係の準備 Tweepyとmysql-connector-pythonを使用するのでpipでインストール．したいところだったけど後者インストール時にエラーがでた.... Collecting mysql-connector-python Could

Photo by Yuya Tamai 秋山です。 私は主にPythonを使って開発をしているのですが、Python2系とPython3系にはいろんな変更点があります。 で、互換性がない変更点も割とあって、よく知らないまま初心者が2系から3系に移行しちゃうと結構危険なところもあるので、今日はその辺の話をしていきます。 print に括弧が必要になっちゃったよねーみたいな話や、よく言われている raw_input とか xrange の話は飛ばします。 ■意外と気をつけたいPython3系における変更点 ◆map,filter,zipがイテレーターを返してくる Python2系ではmap, filter, zipともに普通のリストを返していますよね。 map_object = map(int, "12345") print(list(map_object)) print(list(map_o

こんにちは、@yoheiMuneです。 Python3系でMySQLに接続するには、PyMySQLがサクッと使えていいみたいですね。簡単に使い方をまとめておきたいと思います。 目次 Githubページ PyMySQLはピュアなPython製のMySQLクライアントで、Githubページは以下にあります。GithubのReadMeでは使い方の説明があります。 https://github.com/PyMySQL/PyMySQL/ インストール パッケージ管理を使って簡単に導入することができます。 $ pip install PyMySQL PyMySQLの使い方 PyMySQLを使ってみます。今回は以下のデータがMySQLに入っているとしてお話を進めたいと思います。 CREATE TABLE user ( id INT(11) PRIMARY KEY, name VARCHAR(255) N

結論 理由 実装がライブラリに依存していない しっかりと解説が行われている リファレンスが充実している 計算グラフによってネットワークの計算を扱う 中身 誰におすすめできるか 誰におすすめできないか 私が本を購入して 結論 非常に良い書籍です。迷っているならば購入してもいいでしょう。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者: 斎藤康毅 出版社/メーカー: オライリージャパン 発売日: 2016/09/24 メディア: 単行本（ソフトカバー） この商品を含むブログ (5件) を見る 理由 以下記事で理由を述べていきます。 実装がライブラリに依存していない もしもライブラリに依存したものである場合、ライブラリが更新されると、本の内容が古くなって価値のないものになることもありえます。しかしこの本は、ディープラーニングを理解することに焦点を

リフレッシュ休暇中で、出かけようと思ったけど天気悪いし、寒いし、雪降るし…なので docomo が提供している API の Python クライアントを作った。 元ネタ。 docomoが提供している雑談対話APIを利用し、docomoruというライブラリを使いながらBOTと雑談する方法について説明します。 DocomoruでBOTと雑に会話する - Qiita DoCoMo が雑談対話APIというのを出していたのでサクッっとlingr botを書いてみた。 Big Sky :: golang で vimgirl bot を書いた。 現状雑談対話 API のライブラリだけ。 気が向けば他のも作るかも。 GitHub - heavenshell/py-doco: Client library for docomo API written in Python. 使い方 >>> from doco

WebアプリケーションをPythonで作成するときは、 DjangoやZope、Pyramidが使われているんだと思います。 簡単なWebアプリケーションであれば、FlaskやWeb.pyでしょうか。 でも、もっと簡単な機能だけでいい。可能であれば1ファイルで収まるようなフレームワークはないものか。 欲を言えば、wsgiなサーバーでも動かしたい。 探していたら、「Bottle」といフレームワークを見つけたので試してみます。 http://bottlepy.org/docs/dev/ インストール http://bottlepy.org/docs/dev/tutorial.html#installation pipやeasy_install、apt-getでもインストールできるようです。 $ sudo pip install bottle             # recommended

您的请求在Web服务器中没有找到对应的站点！ 可能原因： 您没有将此域名或IP绑定到对应站点! 配置文件未生效! 如何解决： 检查是否已经绑定到对应站点，若确认已绑定，请尝试重载Web服务； 检查端口是否正确； 若您使用了CDN产品，请尝试清除CDN缓存； 普通网站访客，请联系网站管理员；

Pythonには独特の仕様がいくつかあります。 その中には、他のLLを習得している方ほど気が付きにくく、認識を誤りやすいものがあります。 そこで、Pythonで頻繁に用いる仕様の中から、意外と知る機会の少ない仕様を七つ取り上げます。 Pythonって愛嬌がありますよね はじめまして、寺坂です。 ビザスクのエンジニアです。 業務的にはビザスクのエンジニアの例に漏れず、主にPythonと{ECMA,Type}Scriptを喋ります。 私はLinuxユーザーであることも相まって2006年頃に趣味としてPythonを触り始めたときから、 なかなかに面倒くさいこの言語に日々愛嬌を感じずにはいられません。 とはいえ業務で書くとなると愛嬌では済まされない部分もあります。 ビザスクの開発チームでは、管理しているコードのうちプログラミング言語に限れば60%が、そこから{ECMA,Type}Scriptを除く

プログラミング言語「Python」は機械学習の分野で広く使われており、最近の機械学習／Deep Learningの流行により使う人が増えているかと思います。一方で、「機械学習に興味を持ったので自分でも試してみたいけど、どこから手を付けていいのか」という話もよく聞きます。本連載「Pythonで始める機械学習入門」では、そのような人をターゲットに、Pythonを使った機械学習について主要なライブラリ／ツールの使い方を中心に解説していきます。 連載第1回は、ライブラリ／ツール群の概要説明からです。各ライブラリ／ツールの詳細な使い方や実用上のテクニックは連載第2回以降で解説していきます。ここで挙げるライブラリ／ツール群は「普段、筆者が仕事で使っているもの」という基準で選定されています。そういう意味で全く網羅的ではなく、独断と偏見であることを自覚していますので、ご了承ください。 連載初回である本稿で

はじめに 前回、Chainerの構築方法とMNISTの実行例を紹介しました。 qstairs.hatenablog.com MNISTのようなチュートリアルが実行できただけでは面白くないので、 自分でいろいろ試せられるようになるための方法を勉強していきます。 ということで、 まずは、自分で用意した画像データをChainerで学習できるようにするための下準備について勉強しました。 考え方 Deep Learningの学習に必要なデータといえば、 学習する画像と評価する画像（最悪なくても良いですが）です。 また、学習画像は正解（ラベル）と紐づける必要があります。 よって、 「画像ファイルパス　ラベル」 のリストファイルがあれば学習できることになります。 ソースコード リストファイルを作成するソースコードは以下になります。 前提として、画像データはラベル毎のフォルダに分けられていることとします。