Python+Selenium+PhantomJSが快適すぎる
Selenium便利なんだけど、ブラウザ立ちあげないといけないのはサーバーで使いにくくて不便だよなと思っていたのだけどPhantomJS使えることを知ったので早速遊んでた。なにやりたいかというとGoogle Patent Searchから特許ID抜き出したいのだけど、Python+Selenium+PhantomJSの組み合わせでできることがわかった。 from selenium import webdriver import time driver = webdriver.PhantomJS() driver.get("https://www.google.co.jp/webhp?hl=ja&tab=ww&authuser=0#authuser=0&hl=ja&q=python") print driver.current_url time.sleep(2) driver.save_sc
PythonとSeleniumでブラウザ操作を自動化したよ on Ubuntu | Foolean – 備忘録風雑記ブログ
2016-10-01自動化/自動操作Python, Selenium どうも、久しぶりの技術系の記事です。今回はPython3とSeleniumを使ってブラウザ(Chrome)操作を自動化したいと思います。この記事では、Seleniumのインストールから簡単なブラウザ操作までを扱います。そのためPythonのインストールなど下準備は扱いませんのでご了承ください。 OS : Ubuntu 16.04 LTS (他OSでも大丈夫だと思います) Python : 3.5.2 Selenium : 2.53.6 1. Seleniumとは？ まずはSeleniumとは何かということから書き始めようと思います。Seleniumとは簡単に言いますとWebアプリのテストツールです。その最大の特徴は、実際のWebブラウザを用いてテストを行うことができる点です。Seleniumは今回扱うPythonだけでな
Selenium with Python — Selenium Python Bindings 2 documentation
Selenium with Python¶ Author: Baiju Muthukadan License: This document is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License. Note This is not an official documentation. If you would like to contribute to this documentation, you can fork this project in GitHub and send pull requests. You can also send your feedback to my email: baiju.m.mail AT gmail DOT com. So far 6
機械学習初心者が、素早く学べるコンテンツとライブラリ19選（Python編） - paiza times
Photo by Horia Pernea こんにちは。谷口です。 最近「機械学習に興味がある」「いつかやろうと思ってるんだよね……」と言うエンジニアの方をよく目にします。また、その倍ぐらい「機械学習難しすぎて挫折した」という方も見ます。 弊社のITエンジニアにも機械学習を勉強中という人がいますが、特に最初は難しすぎて何から手を付けたらいいのかよく分からず、とても悩んだと言っていました。そこで同じような悩みを抱えている方の参考になればと思い、初心者の頃に参考になった機械学習入門者の方に役立ちそうな記事やスライドを聞いてきました。 また、Pythonには機械学習のためにデータを処理するライブラリ（数値演算をするためのライブラリや図を作成するためのライブラリなど……）がそろっていて、呼び出したり組み合わせて処理したり……といったことがしやすいため、多くの人が機械学習で使っています。コードも短く
歩いたら休め
※この記事は適当をブッこいているので話半分で聞いてください 歴史学ってなんだ? (PHP新書) 作者:小田中 直樹PHP研究所Amazon 最近、ソフトウェア開発の勉強をサボって歴史と哲学を勉強してしまっていたのですが、『歴史学ってなんだ？』って本を読んで、同じような方法でソフトウェアエンジニアの文化を参考になるんじゃないかと思い始めています。 資料を漁って実証主義的に議論を進める点。会社内だと実験してデータを揃えるのも難しいので、定性的に「自分たちの文化を改善するために、何が有力な仮説なのか」を考えるのに役立ちそう 様々な視点から解釈する点。『チームトポロジー 価値あるソフトウェアをすばやく届ける適応型組織設計』などを読んでても、これはリーン開発手法を組織の視点から見ているように見えて「本当に新しいのは何なのか」を整理するのに役立ちそう。「たしかに一時的に生産性は上がるけど、働きやすさの
Python のバージョン毎の違いとその吸収方法について - CUBE SUGAR CONTAINER
この記事の目指すところ 現在 Python はバージョン 2.x 系と 3.x 系という、一部に互換性のないふたつのメジャーバージョンが併用されている。 その上で、この記事にはふたつの目的がある。 ひとつ目は、2.x 系と 3.x 系の違いについてまとめること。 現状、それぞれのバージョン毎の違いはまとまっているところが少ない。 自分用に、このページだけ見ればひと通り分かる！っていうものがほしかった。 ふたつ目は、2.x 系と 3.x 系の違いを吸収するソースコードの書き方についてまとめること。 こちらも Web 上にナレッジがあまりまとまっていない。 これについては今 python-future というパッケージがアツい。 尚、サポートするバージョンは以下の通り。 2.x 系: 2.6 と 2.7 3.x 系: 3.3 と 3.4 本題に入る前に、最近の Python 事情についてまとめ
Python-twitterを使う時の注意点 - MyEnigma
みんなのPython 第4版posted with カエレバ柴田 淳 SBクリエイティブ 2016-12-22 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに python-twitterについて 認証してオブジェクト生成 ツイートしたい時 あるユーザのツイートを取得したい時 リツイートしたい時 GetUserTimelineで指定したユーザのではなく、自分のtweetが取得されてしまう時は、 ツイートを検索したい時 ユーザをフォローする Status構造体のメンバ一覧 参考資料 MyEnigma Supporters はじめに python-twitterというtwitterのAPIを利用するPythonライブラリを使って、 色々遊んでいるのですが、個人的にはまった所をメモとして残しておきます。 python-twitterについて python-tw
ナイーブベイズを用いたテキスト分類 - 人工知能に関する断想録
今までPRMLを読んで実装を続けてきましたが、10章からは難しくて歯が立たなくなってきたのでここらで少し具体的な応用に目を向けてみようと思います。機械学習の応用先としては画像の方が結果を見ていて面白いんですが、当面は自然言語処理を取り上げます。そんなわけで一番始めの応用は機械学習と自然言語処理の接点として非常に重要なテキスト分類（Text Classification, Text Categorization）の技法たちを試していきたいと思います。テキスト分類は文書分類（Document Classification）という呼び方もあります。テキストと文書は同じ意味です。最初なので自分の知識の整理と入門者への紹介のためにちょっと丁寧にまとめてみました。 テキスト分類とは テキスト分類とは、与えられた文書（Webページとか）をあらかじめ与えられたいくつかのカテゴリ（クラス）に自動分類するタス
NLP 100 Drill Exercises - 東北大学 乾研究室 / Inui Lab, Tohoku University
言語処理100本ノックについて † 言語処理100本ノックは，言語処理を志す人を対象とした，プログラミングのトレーニング問題集です． 乾・岡崎研の新人研修勉強会の一つであるLearning Programmingで使われています． このトレーニングは，以下の点に配慮してデザインされています． 自然言語処理の研究を進める上で，一度は書いておいた方がよいプログラム 統計，機械学習，データベースなどの便利な概念・ツールを体験する 実用的で，かつワクワクするようなデータを題材とする 研究を進めるうえで重要なプログラミングのルール・作法を身につける モジュール性や組み合わせを考慮しつつ，短くてシンプルなプログラムを書く プログラムの動作を確認（デバッグ）しながらコーディングする 労力を節約する（既存のツール／プログラム／モジュールが使えるときは流用する） 計算資源（メモリ・実行時間）を無駄にしない方
Python用のトピックモデルのライブラリgensim の使い方(主に日本語のテキストの読み込み) - 唯物是真 @Scaled_Wurm
gensimは前に以下の記事でも使ったPython用のトピックモデルなどの機能があるライブラリです。 小説家になろうのランキングをトピックモデルで解析(gensim) - 唯物是真 @Scaled_Wurm 以前紹介した以下の論文でもgensimが使われていました 論文紹介 “Representing Topics Using Images” (NAACL 2013) - 唯物是真 @Scaled_Wurm deep learningで話題になったword2vecの機能も取り入れてたりして面白いライブラリです Radim Řehůřek : Deep learning with word2vec and gensim 入力の作り方がすこしわかりにくいかなぁと思ったので、メモっておきます。 コーパスの作り方 以下の公式の例で説明します この例ではリスト内のそれぞれの要素が1つの文書となります
word2vec可視化するやつをipython notebookから見れるようにした - once upon a time,
オライリーから出てる、word2vec本の付録についてくる id:nishiohirokazu さんが書いた可視化のコードがあります。 word2vecのword-analogyを可視化した - 西尾泰和のはてなダイアリー これを、ipython notebookから扱えるようにしました。 Visualizer word2vec data for ipython notebook 今回ipython notebookから使えるようにしたのは、厳密には上記のコードではなくて、こちらのコードなのですが、ある単語の周辺にある単語をPCAで2次元に縮退させて可視化してくれます。 大きくする ipython notebookに関しての説明は、過去の記事を参照してください。 Docker上にnbviewerを立ててiruby+Nyaplotで描いたグラフを共有できるようにしてみた - once upo
PythonのUnicodeDecodeError、UnicodeEncodeErrorを正しく理解する - hikm's blog
はじめに Pythonで日本語を扱おうとすると「UnicodeDecodeError」、「UnicodeEncodeError」に悩まされるというのをよく聞きます。 私自身もこれまではエラーが発生してもなんとなく曖昧な理解で乗り切ってきましたが、以下の記事を読んで色々と調べたら自分なりにスッキリしたので、整理した内容についてサンプルコードを交えながらまとめたいと思います。 UnicodeDecodeError/UnicodeEncodeErrorに悩まないPython 2.x プログラミング なお、以下の説明はPython2.xを対象とした内容になっています（基本的な考え方はPython3でも同じです） ポイント Pythonの文字列型について 文字列(str型)とユニコード文字列(unicode型)は別物 「str型」 純粋なバイトの列(中身はutf8でエンコードされたバイト列だったり、
自然言語処理の最新手法"word2vec"で艦これ加賀さんから乳を引いてみる - あんちべ！
概要 この記事は自然言語処理という分野の最新手法word2vec を利用して誰でも遊べるようにするための手順を説明するものです。 word2vecを利用すると意味の計算が実現できます。 例えば"king"から"man"を引いて"woman"を足すと"queen"が出てきたり、 "東京"から"日本"を引いて"フランス"を足すと"パリ"が出てくるという面白い手法です。 自然言語処理とは人間が日常的に用いる自然言語をコンピュータに処理させ、 翻訳や要約、文字入力支援や質問応答システムを作るなどに活用されている分野です。 自然言語処理と言うと耳慣れない言葉かもしれませんが、 実は検索や推薦などで私たちが日常的に利用しているなじみ深い技術でもあります。 自然言語処理の適用範囲や要素技術は幅広いのですが、 その中でもword2vecの特色は、 冒頭でも挙げたように「意味の計算」が出来ることです。 これ
初心者でもほぼ無料でPythonを勉強できるコンテンツ10選 - paiza times
Photo by photobom こんにちは。谷口です。 プログラミングをこれから学ぼうとしている方や、これから研修や実務に入る新人ITエンジニアの皆さんの中には「Pythonを学習したい」という方も多くいらっしゃるかと思います。 Pythonは1990年代前半からオランダ人のグイド・ヴァンロッサムによって開発されたオブジェクト指向スクリプト言語です。 Pythonは文法が必要最小限に抑えられており、ITエンジニアの学習の負担が軽減された開発言語と言われています。 海外では、近年Pythonによる開発が急速に増加しており、各種モジュール等が充実しています。Googleの開発に置けるメインのスクリプト言語ともされています。 日本国内でも、読みやすさ（＝保守性）を重視する企業や、スマートフォンのバックエンド等では積極的に取り入れる企業が増加してきており、これからの一層の普及が期待される言語で
Pepperアプリ開発 Python Box 入門 | ヘッドウォータースのブログ TechNote
Choregrapheの画面で 右クリック > ボックスの新規作成 から、以下の4種類のボックスが作成できます。 ・ダイアグラム Box内に子のPythonBoxを持つことができるBox ・タイムライン ロボットの動作を設定できるBox ・Pythonスクリプト Pythonスクリプトを設定できるBox ・ダイアログ qichatで書かれたtopファイルを実行するBox 作成したPythonBoxの中身は以下のようになっています。 ※コメントアウトされている行はいらないので削除してます。 class MyClass(GeneratedClass): def __init__(self): GeneratedClass.__init__(self) def onLoad(self): pass def onUnload(self): pass def onInput_onStart(self
機械学習ライブラリ SHOGUN入門 – Rest Term
The machine learning toolbox’s focus is on large scale kernel methods and especially on Support Vector Machines (SVM) * The SHOGUN Machine Learning Toolbox サイトのデザインどうにかしたらいいのにとか将軍ってなんだよとかいろいろあるかと思いますけども、プロダクトとしては素晴らしいという噂を聞くので今回このSHOGUNという機械学習ライブラリを試してみました。目的は一般物体認識における分類タスクでMultiple Kernel Learning(MKL)やLatent SVMの実装を試すことなのですが、まずはインストール方法と簡単な使い方を調べるところから始めます。 また、この記事の内容はQiitaにも投稿しています。 * 機械学習ライブラ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Chainerの使い方と自然言語処理への応用
MongoDB - 初めてのMongoDB - MongoDBを使ったプログラムの作成 - Python を通してみる MongoDB(クエリとカーソル) | Kamimura's blog
言語処理100本ノック 2015
機械学習の Python との出会い — 機械学習の Python との出会い