ゼロからはじめるPython(49) Pythonでブラウザ自動操縦してカード明細を自動でダウンロードしよう(その1)
クレジットカードの利用明細はこまめにチェックする必要がある。なぜなら、カードの不正使用などの危険があるからだ。しかし、最近ではオンライン明細が推奨されており、カード会社のサイトにログインして、明細をダウンロードしなければならないことも多い。カードが複数枚あるなら、それはかなり面倒な作業となる。そこで、自動でカード明細をダウンロードするプログラムを作ってみよう。今回は、環境の構築をし、簡単なプログラムを作ってみよう。 Webブラウザを自動操縦しているところ Webブラウザを自動操作しよう PythonにはデータをWebから取得する命令がいろいろある。最も簡単なのは、Pythonに標準で用意されているurllib.requestだ。これを使うと任意のURLからデータを取得できる。しかし、最近のWebサイトは、セッションという仕組みを利用していたり、JavaScriptでページをレンダリングした
Python at Netflix
By Pythonistas at Netflix, coordinated by Amjith Ramanujam and edited by Ellen Livengood As many of us prepare to go to PyCon, we wanted to share a sampling of how Python is used at Netflix. We use Python through the full content lifecycle, from deciding which content to fund all the way to operating the CDN that serves the final video to 148 million members. We use and contribute to many open-sou
pythonでのデータ分析時、死ぬほど調べるTipsをまとめておく。 - プロクラシスト
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
Pythonのパッケージ周りのベストプラクティスを理解する - エムスリーテックブログ
砲撃する自走砲（PzH2000自走榴弾砲）。自走砲は戦車によく似ていますが、戦車ではありません。＊本編とは関係ありません。 こんにちは、エムスリー基盤開発チーム小本です。 Pythonのパッケージ管理周りでは、 「setup.pyでrequirements.txtを読み込むのが普通なんですよね？」 「pipenv があれば venv はオワコンなんですね？」 「pyenvは要らないんですよね！？」 「Pythonは歴史が古い分、Rubyなどに比べてカオス」 みたいな混乱をよく目にします。 実際、複数のツールがあって（一見）複雑です。また「なぜこうした状況にあるのか」がドキュメント化されているわけでもありません。 なので、私なりに整理してみることにしました。 ※「追伸」を追加しました。この記事では汎用プログラミング言語としてPythonを使うケース（Webアプリとか、CLIツールとか、ライブ
保守性・可読性の高いPythonコードを実装するためにはどうすればよいか - はてなの金次郎
はじめに コードは理解しやすくなければいけない。 リーダブルコード ―より良いコードを書くためのシンプルで実践的なテクニック (Theory in practice) 作者:Dustin Boswell,Trevor Foucher発売日: 2012/06/23メディア: 単行本（ソフトカバー） コードの保守性や可読性を高めるために我々エンジニアはどんなことができるでしょうか？ テストを書く 推奨されているコードスタイルに準拠する コメントを書く DRY原則に則る 変更・拡張しやすく設計する ログを出力する・監視する 適切な命名をする etc... まだまだ意識すべきことはあると思いますが、上記の項目はエンジニアであれば恐らく一度は目にしたことがあるような内容であり、暗黙的に了承されたいルールです。 しかし、これらはただの心構えであり、体現するために実際には以下のような項目に落とし込む必要
統計的因果推論のためのPythonライブラリDoWhyについて解説：なにができて、なにに注意すべきか - Unboundedly
機械学習など主に予測を目的とした統計手法に強いイメージのPythonでしたが、統計的因果推論を行うためのライブラリ、“DoWhy”がついにリリースされました。 DoWhy | Making causal inference easy — DoWhy | Making Causal Inference Easy documentation これまで因果推論があまり浸透してこなかった*1データサイエンス界に新しい風が吹くのではと期待が高まります。 一方でこのパッケージが何を可能にし、逆に何ができないのかを理解しなければ、雑なデータ分析が増えて逆に有害なのではと思い、今回ブログを書くことにしました。 先に言っておくと、私自身はPythonをメインに使っているわけではありません（使ったことはあるので一応コードを読んで何が起こっているかくらいはわかります）。したがって本記事の目的は、DoWhyライブ
ブログ名ってどうやって決めたの？ 人気ブロガー、らくからちゃ＆かあいがもんの場合 - 週刊はてなブログ
ブログを自己表現やブランディング、さらに個人のメディアとして利用するときに、大切なことはブログのコンセプトを明らかにすることです。どういった記事を書くのかにとどまらず、どんなブログ名（およびドメイン名）を付けて運営するのかということも、実はブログのコンセプトに深く関係してきます。 はてなブックマークの人気エントリーにも記事がいくつも入っているブログ「ゆとりずむ」のらくからちゃ（id:lacucaracha）さんと、「お父さんの日記」のかあいがもん（id:otousan-diary）さん。お二人はブログのコンセプトをどのように考え、ブログ名やドメイン名にはその思いがどのように生きているのでしょうか？ ※この記事は、GMOインターネット株式会社提供によるPR記事です。 ▼ブログを見返して、これから何を書いていくかを自問自答することで、改めてコンセプトが固まりました／らくからちゃさん ＿＿ブログ
自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ
覚えるだけでPythonのコードが少し綺麗になる頻出イディオム - タオルケット体操
まえがき 今年の春から今まで、2年ぶりにPythonを沢山書いているわけなんですが、JavaScriptのクソに頭をやられて久しぶり書くだけあって基本的なところから色々と頭から抜け落ちていたわけです。 そんで何か思い出すたびに会社のwikiを使ってメモっていたのですが、せっかくなので少々訂正をしてブログにも書きます。 また、弊社はPython2を使っているので、2が前提の記述になっているところがいくつかあります。なるべくフォローしていますが、参考にする場合は自分が使っているバージョンを確認することをおすすめします。 また、今から新しくPythonでプロジェクトを始めようと思っている人は3系を使いましょう。 知ってる人は当然知ってる、でも結構長いことPythonを書いてても知らなかったりするような小技を載っけました。 なお、メタプログラミングとかの黒魔術っぽい記事のまとめはこちら: hach
Dask — Dask documentation
Dask¶ Dask is a flexible library for parallel computing in Python. Dask is composed of two parts: Dynamic task scheduling optimized for computation. This is similar to Airflow, Luigi, Celery, or Make, but optimized for interactive computational workloads. “Big Data” collections like parallel arrays, dataframes, and lists that extend common interfaces like NumPy, Pandas, or Python iterators to larg
PythonでOpenCVを使おうとして ImportError: No module named cv って言われたら - ser1zw's blog
環境 Ubuntu 12.10 OpenCV 2.4.2 Python 2.7.3 なにごと？ Pythonを覚えたら、やっぱりOpenCVやりたくなるじゃないですか。 で、おもむろにOpenCVを BUILD_PYTHON_SUPPORT=ON にしてインストールし、意気揚々とPythonを起動して import cv ってやるじゃないですか。 >>> import cv Traceback (most recent call last): File "<stdin>", line 1, in <module> ImportError: No module named cv エラーになるじゃないですか。 なんでかなーと思ってPythonのモジュールのパスを調べてみると >>> import sys >>> print sys.path ['', '/usr/local/lib/pytho
はてなブログ | 無料ブログを作成しよう
スロウでローファイ Xをやめてから急に写真を撮る速度が落ちたようで、そういえば最近このblogにもフィルム写真の話題を書いていない。 写真に飽きたわけではなくペースが落ちただけなのだが、よくよく考えてみれば写真なんて分野はそうそう目新しいことが起きるわけでもなくイノベーショ…
共役勾配法によるロジスティック回帰のパラメータ推定 - 人工知能に関する断創録
Courseraの機械学習ネタの続き。今回はロジスティック回帰をやってみます。回帰と付くのになぜか分類のアルゴリズム。以前、PRMLの数式をベースにロジスティック回帰（2010/4/30）を書いたけど今回はもっとシンプル。以下の3つの順にやってみたいと思います。 勾配降下法によるパラメータ最適化 共役勾配法（2014/4/14）によるパラメータ最適化（学習率いらない！速い！） 正則化項の導入と非線形分離 ロジスティック回帰は線形分離だけだと思ってたのだけど、データの高次の項を追加することで非線形分離もできるのか・・・ 使用したデータファイルなどはGithubにあります。 https://github.com/sylvan5/PRML/tree/master/ch4 勾配降下法によるパラメータ最適化 2クラスのロジスティック回帰は、y=0（負例）またはy=1（正例）を分類するタスク。ロジステ
Python で簡単なテキスト処理 (3) - Beautiful Soup を使ってスクレイピング
1. Beautiful Soup でデータを取得 気象庁の過去のデータから、特定の値を抽出したい。 Python で簡単なテキスト処理 (2) - データの抽出 においては、ブラウザ上でコピーした文字列 (データ) を、Python のソースコードに貼り付け、必要なデータを抽出した。 今回は、Python で Web にアクセスし、必要なデータを抽出してみる。 Python では、urllib2 を利用すると、 HTTP の POST メソッドを送信することができる。 cf. Python で POST - 掲示板の迷惑投稿を一括削除 ただし、urllib2 を使うのは面倒。代わりに、 Beautiful Soup を利用する。 cf. Panopticon :: Python :: BeautifulSoupを触ってみる 2. スクレイピングとは スクレイピングという言葉は、Ruby
第3回 スクレイピングにチャレンジ！
これまで，Pythonによる初めてのコーディングと，RDB（リレーショナル・データベース）をオブジェクトとして扱うデータベース・プログラミングについて簡単に紹介しました。今回は，Pythonを使ってWebの情報を自動取得するスクレイピング・プログラム（WebサイトのHTMLを抽出・解析して情報を取得）の作成にチャレンジしてみましょう。 ところで前回までは，WindowsからLinux（Ubuntu）にリモートログインして開発をおこなっていました。今回からは一歩踏み込んで，クライアントにMacを採用して本格的な開発の環境を用意してみることにします。 Macを利用する意義 開発環境をMacにするメリットは以下の通りです。 Mac OS XはUNIXであり，UNIX/Linux環境はスクリプト言語の開発に適している 最新のPythonがはじめからインストールされている EmacsやVimなど強力
Python: Beautiful Soupのインストール – Mac OS編
インストール方法自体は配布元に記載の方法で実施。 参考サイト Beautiful Soup: We called him Tortoise because he taught us. Beautiful Soup Documentation — Beautiful Soup 4.0.0 documentation The current release is Beautiful Soup 4.1.3 (August 20, 2012). You can install it with pip install beautifulsoup4 or easy_install beautifulsoup4. It’s also available as the python-beautifulsoup4 package in recent versions of Debian and Ubuntu
Pythonの数値計算ライブラリ NumPy入門
Scientific Computing Tools For Python — Numpy NumPy は Pythonプログラミング言語の拡張モジュールであり、大規模な多次元配列や行列のサポート、これらを操作するための大規模な高水準の数学関数ライブラリを提供する。(via Wikipedia) これまで知識があいまいだったNumPyについて、もう一度おさらいしたいと思います。NumPyはSciPyと併せて科学技術計算でよく利用されています。また、高速に行列演算ができるのでOpenCV(コンピュータビジョンライブラリ)でもNumPyを利用したPythonインタフェースが提供されるようになりました。 OpenCVのPythonバインディングについては去年のエントリーでも取り上げていますので参考までに。 * さくらVPSにOpenCVをインストールしてPythonから使う [2017/04/2
5. 【pandas】関連 — kaiyori 1.1 documentation
In [86]: df Out[86]: <class 'pandas.core.frame.DataFrame'> Int64Index: 2634 entries, 0 to 2633 Data columns (total 8 columns): 0 2634 non-null values 1 2634 non-null values 2 2634 non-null values 3 2634 non-null values 4 2634 non-null values 5 2634 non-null values 6 2634 non-null values diff 2634 non-null values dtypes: float64(5), int64(1), object(2) In [87]: rows = random.sample(df.index.tolist(
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Optimizing Memory Usage Of Scikit-Learn Models Using Succinct Tries
はてなブログ | 無料ブログを作成しよう