itertools — Functions creating iterators for efficient looping¶ This module implements a number of iterator building blocks inspired by constructs from APL, Haskell, and SML. Each has been recast in a form suitable for Python. The module standardizes a core set of fast, memory efficient tools that are useful by themselves or in combination. Together, they form an “iterator algebra” making it possi

Seleniumは便利なテスト自動化ツールですし、今後は更なる利用者の増加が見込まれます。 とは言え、使いこなすにはノウハウが必要です。 (そんなにたいそうなノウハウ内容ではないですが・・・) 今までSeleniumを利用してトラブった経験を元にした内容も書いてみようかと思っています。 ちなみに、Selenium歴は10年ぐらいです。 今回はクリック編となります。何故かHTML要素が思ったようにクリックできないとお困りの方は是非ごらんください。 HTML要素が見つからない Element is not clickable at pointと言われる クリックしてもイベントが発火しない HTML要素が見つからない JavaでSeleniumを利用する時のHTML要素の検索方法は Selenium入門その4[Selenium WebDriver(Java/Junit4)の基本コマンド] で説明

何年も前、SeleniumやWebDriverの話で盛り上がった記憶があります。ただ、その当時はまだRailsなどバックエンド中心の文脈でした。今、フロントエンドに軸足が移る中、ブラウザテストの状況はどうなったのでしょう? 不思議なことに、フロントエンド界隈でそれほど話題に上がって来ないですよね (私の周りだけ?)。結構大事なのに。実は皆さん、「Seleniumアレルギー」なんじゃないですか? 公式サイトに漂う ゼロ年代感(下図)。Javaへの躊躇、「めんどくさい」と聞かされ続けた過去、無意識に避けてしまうのがSeleniumです。 ただ、フロントエンドの文脈でこそ、ブラウザテストは重要度を増しています。そこで「Selenium触りたくない病」の筆者が、 四苦八苦した背景 と、2016年だからこそ 見えてきた落とし所 を書いてみたいと思います。 註: 思ったより長文になってしまいました。先

やること Pythonで観測値（x,yのセット）を指定した関数で近似してモデリングする方法を説明します イメージ図：こういう感じのことをやります 関数でのフィティングは、モデリングの基本です。 線形の近似であれば、普通に線形回帰のパッケージを使えばいいと思いますが、 ここでは非線形関数含め、自分で指定した任意の関数でフィティングする方法を説明します。 使うもの Pythonのscipyパッケージに入っている、『curve_fit』というモジュールを使います。 より厳密には、scipy.optimize モジュールの一部です。 まず今回使うパッケージを読み込んでおきます。 ##フィッティングに使うもの from scipy.optimize import curve_fit import numpy as np ## 図示のために使うもの import seaborn as sns impo

Pythonの環境構築がだれでも簡単にできるようになる方法 Python初心者が必ずぶち当たる壁があります。環境構築です。ある言語を動かすための環境設定する作業が環境構築なのですが、これが実は初心者にとって本当に難しいです。 僕は、3年前にPHPフレームワークLaravelで環境構築の壁にぶち当たり、2年間プログラミングアレルギーになってしまいました。しかし、1年前に、ある方法を使って「環境構築せずに」RubyフレームワークのRuby on Railsに手を出したところ、かなりハマりました。 中級者でも、環境構築でつまづくことも多々あります。それなのに、せっかくのデータサイエンスブームで、Pythonを触ってみたいという人が増えているのにもかかわらず、多くの人が「環境構築の壁」を超えられないのは、勿体無いと思います。 そこで、今回は、一切環境構築せずに、完全無料でPythonを動かす方法を

こんにちは、Daiです。最近Pythonが人気ですが、機械学習には手を出せない、とはいえプログラミングの挨拶プログラムを作るのには飽きた！みたいな人って結構多いのでじゃないでしょうか。 最近、Qiitaという技術掲示板でも、PythonのWebスクレイピングの方法を解説する記事が人気でしたが、まったくの初心者にはどうすればいいかわからないというレベル間だったと思います。そこで、今回はプログラミング初心者の人でも、何を学べばWebスクレイピングをPythonでできるようになるか、解説したいと思います。 開発環境 何はともあれ、Pythonが動くようになる環境を構築する必要があります。環境構築というやつですね。僕は基本的にPythonの開発は、Cloud9というクラウド上の開発環境を利用しています。Cloud9を利用するメリットは、環境構築がいらないので、初心者にとっつきやすいところです。詳し

Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する

開発環境不要でPython機械学習。Azure notebook (jupyter notebook on Azure)で、『池澤あやかとプログラミングで学ぼう！機械学習のための数学講座【ベイズの定理編】』を受講してみましたPythonAzureJupyterAzureMachineLearning Azure Notebook は、マイクロソフトのアカウントで利用可能なjupyter notebookの環境です。 便利そうだったので、試してみました。 お題はこちら 池澤あやかとプログラミングで学ぼう！機械学習のための数学講座【ベイズの定理編】 https://codeiq.jp/magazine/2017/03/49158/ ※引用まずければ直ぐに削除いたしますのでご指摘頂けると幸いです。 数学が苦手、機械学習の内容に今一歩踏み込めない、pythonの環境構築がハードル、などの方におすす

Azure Machine LearningはMicrosoftが提供しているクラウドベースの機械学習のサービスです。 Azure Machine LearningではGUIを使って様々な機械学習の手法を実行することができますがJupyterを使用することも可能となっています。 Azure Machine LearningでJupyter Notebookを使う Azure Machine LearningのはMicrosoftアカウントをもっていれば無料で試すことができます。Jupyterも無料のプランで使えます。 価格についての詳細は下記のリンクを参照してください。 料金 - Machine Learning | Microsoft Azure Microsoftアカウント作成 Microsoftアカウントをもっていない場合にはリンク先から作成します。 ホーム｜Microsoft アカ

【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ この数年間、Pythonの人気が高まっています。Googleトレンドによると、Pythonの検索流入数は、この10年間で2倍近くになりました。特にグラフから見ると、だいたい2015年ぐらいからPythonの検索数は増えている模様です。 さて、この数年間で、Pythonがどのような言語として扱われ、どう変化してきたののでしょうか。Webスクレイピング→データ収集→整形→分析を行い、今回は、2006年度から2017年度までのはてなブックマーク上のPython記事で、50ブックマーク以上の記事をすべて取得することによって、時代によってブックマークされやすいPython記事を分析してみようと思います。

『Pythonによるスクレイピング&機械学習 開発テクニック BeautifulSoup,scikit-learn,TensorFlowを使ってみよう』について、レビューします。 Amazonの紹介によると 機械学習の重要性は、日々高まっているものの、いったいどのように実務に取り入れたら良いのかという声を聞くようになりました。 本書では、実際にデータの集め方から、機械学習を活用するところまで、実践的なPythonのサ ンプルコードで紹介します。 と書いてありました。Pythonを利用して、データを集めて整理するところから始められる参考書はなかなかなかったので、これは！と思い『Pythonによるスクレイピング&機械学習 開発テクニック』を購入しました。実際に買ってみて試したうえでレビューしていきたいと思います。 目次 買った経緯 こんな人におすすめ 本の内容 できるようになったところ 買った

Python スクリプトを exe ファイル化したい Python の良いところにはマルチプラットフォームで動くというのがありますが、 良くない、というか仕方ないところは、そのための実行環境を入れないといけません。 自分で使う分には良いですが、人に使わせるとなると、そこがハードルになります。 そのハードルを取り除くため、Windows 環境で動く exe ファイルにする方法を調べました。 方法 調べるといくつか方法があるようです。 py2exe PyInstaller cx_Freeze ざっと情報を調べてみると、こんな一長一短があるようです。 py2exe PyInstaller cx_Freeze 備考 Python 3.5 対応 × ○ ○ py2exe は Python 3.4 まで 処理時間 ○ × ○ 参考記事 プラットフォーム × ○ ○ py2exe は Windows 向

概要 勤怠入力にAttendance Proというソフトを使っているのですが、日々の入力が面倒ということでseleniumのweb driverを使って自動化してみました。 非常に稚拙な方法ですが、あまりこういうことに慣れていないので、初めの一歩として。 また自分以外の人、Python環境のない人も使えるようにexe化します。 (8/21追記) 最初はChromeのwebdriverを使用していましたが、それだとブラウザが毎回立ち上がるため、ヘッドレスブラウザとしてPhantomJSを使用する形に変えています。 PhantomJSはこちらからダウンロードして、環境変数Pathにphantomjs.exeのあるフォルダのパスを指定しておく。 環境と準備 主なソフトウェア環境は以下。 OS: Windows 10 Python: 2.7.12 Selenium: 3.5.0 PyInstall

これまでは、py2exe や CX_Freeze など、setup.py をいちいち書かないといけませんでした。最近は PyInstaller がオススメということらしいので試してみた。 インストール pip install pyinstaller 対象スクリプト C:\Users\kounoike\Documents\python\installer-test>type hello.py #!python # coding: utf-8 print "hello world" C:\Users\kounoike\Documents\python\installer-test>python hello.py hello world .exe の作成 pyinstaller hello.py これだけ。面倒な setup.py の記述も何もなし。dist\hello 以下に hello.ex

こんにちは。スケベなエンジニアのDAIです。ここ最近、DMMにR18のAPIが存在することを聞き、Pythonでエッチなコードを書いてみようかと考えています。小学生の頃にエロ本を探しに行く感覚を思い出しますね。作りたいものは以下の通り。 「新人」とついたタイトルのAVをDMM APIから自動取得 XML・JSON形式でタイトル、画像、アフィリエイト付き動画URLを取得 Tweepyで画像・アフィリエイトコード付きのツイートを投稿（今回は省略） 一連の流れをすべて自動化する(今回は省略) ということで、DMM APIの登録方法と、データの取得方法について解説していきたいと思います。 DMM Web APIで取得できるデータ DMMには以下のAPIが存在し、これらの情報をとることができます。 商品情報API ・・・　DMM.com の商品の情報を取得することが可能なAPI です。 女優検索AP

状況 - 読み込もうとしているCSVファイルが、unicode形式になっている - 文字コードの確認方法はこちら。 CSVファイルが文字化けしてExcelで見れない時の対処法について｜Excel実務のノウハウのお勉強 - pandasのread_csvメソッドで。以下のようにCSVを読み込もうとする stop_words = pd.read_csv(stop_words_filename, encoding="shift-jis") 問題 - 以下のエラーが発生した UnicodeDecodeError: 'shift_jis' codec can't decode byte 0xff in position 0: illegal multibyte sequence 原因 - Pandasは、基本的にurf-8で文字コードを読み込もうとしている。utf-8以外の場合、encoding指定

WebサービスFacebook主要SNSにアップした写真から位置情報はもれない、サービス側が自動で削除してます【LINE・Twitter・Facebook・Instagram】2016年5月10日54 「SNSに写真を投稿すると位置情報が漏れる」と不安になっている人っていますよね。たしかにネットストーカーなんて人たちもいるので、写真から自分の居場所がわかってしまうのは不安です。でもTwitterやFacebookなどは写真の位置情報データは消してくれるって知ってました？ 主要なSNSは投稿された写真の位置情報（Exif）はサービス側で削除しています「iPhoneで撮影した写真には位置情報がついているから、SNSに投稿すると撮影した場所がバレるから怖い」と思っている人いますよね。最近のSNSはどうなっているのだろう、と気になったので調べてみました。 数年前にはそういった対策がされていないサー