業務でなくてはならないツールExcel。Excelのマクロを使って自動化することもできるが、Pythonを使うとより幅広いライブラリと併用できて非常に便利だ。とは言え、PythonでExcelを自動操縦する場合、「openpyxl」を使う方法と「pywin32」を使う方法の二台手法がある。ここでは、そのメリット・デメリットを比較してみよう。 Pythonの二大Excelライブラリを比較してみよう 「openpyxl」「pywin32」のどちらが良いのか？ PythonでExcelを操作して、業務の自動化をする場合、「openpyxl」を使う方法と「pywin32」を使う方法の二大手法がある。どちらにもメリットがある。 まず、どちらのライブラリを使う場合も、基本的なExcelのシートの内容を読み書きすることができる。しかも、双方ともオープンソースであり無料のライブラリだ。しかし、決定的に異な

PythonだってGUIを作りたい Pythonで書いたプログラムを実行して使う場合、『GUIで入出力できたら便利なのに…』と思うときはありませんか？ 誰かにプログラムを配布する場合でも、CUI(コマンドラインから入出力)はあまり親切とは言えません。 特にITスキルの高くない人にとっては、CUIは拒絶反応を起こすこともあります。 Pythonでも簡単にGUIを作れたら… そんな場合、PySimpleGuiを使ってみてはいかがでしょうか？ PySimpleGuiは誰でも簡単にGUIを実装できるのが特徴で、PySimpleGui公式ドキュメントによると、PySimpleGuiはすぐに習得でき、コード量も他のGUIライブラリ(Tkinter、Qt、WxPythonなど)の1/2～1/10程度で済むとのこと。 百聞は一見にしかずなので、まずは下記のコードと実行結果をご覧ください。 import P

exeファイルとは exeファイルは一言でまとめると、PCがそのまま実行できるように記述された実行ファイルです。 実行ファイルなので、ダブルクリックするだけで処理が始まります。また、拡張子は”.exe”となっており、よくWindows環境で使われます。 なぜexeファイルにする必要があるのか ここで一つの疑問があるかと思います。 その主な理由は「Pythonを導入していない環境でも動作させる為」です。あなたが作ったスクリプトを配布する時のことを考えてみましょう。 この記事を読んでくださっている皆さんはPythonの環境がある程度備わっているかと思いますが、配布する場合、その全てのユーザにPython環境が備わっているとは限りません。そんな時に実行ファイルへ変換しておくことにより、あらゆる環境で動作するファイルにしておく必要があるのです。 exeファイルへの変換手順 さて、exeファイルに変

これまで、開発や運用時に使う、ちょっとしたコマンドラインツール、自動化スクリプトは、主にBashのシェルスクリプトで実装していたのですが、最近このような用途にはPythonを使うようにしています。 Bashスクリプトへの不満 スクリプトの実装方針 ポータビリティ重視のための縛りPythonプログラミング Tips __future__モジュールでバージョン2、3両方に対応させる バージョン2、3で異なるモジュールを、同じ名前で読み込む バージョン2、3を判別する関数を用意する よく使うスニペット 文字に色をつける 赤い文字でエラーメッセージを出力して終了する 外部コマンド実行する テキストをファイルに出力する ファイルに実行権限をつける スクリプトの同時、多重起動防止する コマンドライン・オプションの解析 HTTPリクエスト まとめ Bashスクリプトへの不満 Bashのスクリプト実装にお

【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～Pythonスクレイピングpandasデータ分析 やりたいこと はてなブックマークで、Python記事を検索しトレンドを分析 はてなブックマークにSeleniumでログイン ブックマーク数をスクレイピング 時系列比較を行う バズるタイトルを分析 実装方法 詳しくは下記記事を参考にしてください。Pandasを利用したデータ分析まで載せています。 【Python】スクレイピング→データ収集→整形→分析までの流れを初心者向けにまとめておく ～Pythonに関するはてな記事を10年分スクレイピングし、Pythonトレンド分析を実際にやってみた～ 実装 from selenium import webdri

Evernoteは直感的な操作でクラウド上に情報を蓄積できるサービスです。本記事ではEvernoteが公開しているAPIをPythonから利用し、APIの基本機能を確認していきます。また、Evernote APIの活用方法として、ノートの内容からタグを付与する、簡易なプログラムの作成方法を紹介します。 はじめに Evernoteはクラウド上にあらゆる情報を記録できる便利なサービスです。筆者も技術情報から日常生活におけるちょっとした備忘録まで、さまざまな情報をストックするのに活用しています。EvernoteはAPIを公開しているので、Evernoteを活用したアプリケーションや、自分専用のツールを作るとその便利さがさらに広がっていきます。 本記事ではEvernote APIをPythonから利用する方法を解説し、ノートの内容からタグを付与する簡易なプログラムを作成していきます。 対象読者 P

目的 これを使う GitPython Documentation — GitPython 1.0.1 documentation 環境はpython 3.4です 手順 いれる $ pip install gitpython こんな感じでリポジトリを仮に作ってみる github.com やりたいこと git clone git branch -b git add git commit こんな感じで書く import os import git _repo_path = os.path.join('./', 'repo') # clone from remote git_repo = git.Repo.clone_from('git@github.com:rane-hs/test.git', _repo_path, branch='master') # create new branch fr

最近、このモジュールを妻に紹介したところ、そのシンプルさと実用性に驚いていました。 joblib joblibの存在は以前から知ってはいたものの、実際のところはよく理解しておらず、いろいろな機能を寄せ集めたようなモジュールだと思っていました。まあ、その印象は今もあまり変わりませんが、実は非常に便利なモジュールだったのです。私は Flowminder の同僚から再度joblibを勧められて、このモジュールをデータ分析用のコードに幅広く使用しました。では、その機能について紹介しましょう。joblibは大きく分けて、 キャッシング 、 並列化 、 永続化 （データの保存と読み込み）の3つの機能から成ります。実を言うと、私はまだ並列プログラミングの機能は使ったことがないのですが、あとの2つの機能は頻繁に使ってきました。 キャッシング機能とは、シンプルなデコレータを使って、関数を簡単に”メモ化”する

Pythonに限らず、ソースコードにコメントを書くことはよく行われます。 特に、モジュールやクラス、関数等へのコメントは ・どんな処理をするのか ・どんな引数を取るのか ・どんな値を返すのか といったことがソースコードを読み解かなくてもわかるようになる為、できるだけ書くように推奨されています。 仕事では勿論ですが、趣味等であってもこれらのコメントを書く癖をつけることで、保守や拡張がしやすくなります。 理想としては、中身の処理を見なくても何をしているのかが把握でき、かつ、外部からそれらの関数やクラスを利用できることが目標です。 Pythonでは、ある決まった書き方をしたコメントは「ドキュメンテーション文字列」「ドックストリング」等と呼ばれ、特別に扱われます。 例えばですが… mydoc.py """docstringの説明用モジュール""" class MyDate(): """日付を便利に

- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ

はじめに PythonでGUIアプリを作ったことがなかったなと思ったのでトライしてみました。 また、GUIのスクリプトだけ書くのも面白くないので、そのスクリプトをMacのネイティブアプリ形式で出力、実行できるようにしてみました。 使うもの Tkinter Pythonに標準搭載されているGUIライブラリ。（正しく言うとTcl/Tkへのインターフェース） Py2app 作ったPythonプログラムをMacのアプリケーション実行形式(app)に変換するツール。 コード tkinterの公式ドキュメントに記載されていたコードをほぼそのままもってきた。 変更した部分はsay_hiメソッドがprint文でメッセージ出力するものだったので、そこをメッセージボックスを出すようにしてみました。 途中、Tkinterのモジュールを全てインポートしているにもかかわらず、tkMessageBoxクラスが見つから

PythonのGUIライブラリの紹介です。 kivy おそらくPython界隈で今最も熱いGUIライブラリです。 特徴は、Windows、Mac、Linuxだけでなく、 Android、iOSでも動作する点です。 現在はRaspberry Piもサポートされました。 既にスマホアプリが多数作られ、ゲームの作成にも向いています。 更新頻度も高く活発で、Githubのスター数（4519）からも、人気な点が伺えます。 kivyは日本語書籍が2冊出ており、最近は話題になっているためブログ等で情報も得やすいかと思います。 ダウンロード・インストール https://kivy.org/#download wxPython wxPythonは、wxWidgetsというC++で書かれたクロスプラットフォームライブラリのラッパに当たります。 そのため、wxWidgetsを使った経験があれば、すぐに慣れること

Pythonプログラマーというか、元々Python（ときどきR、C言語）で数値シミュレーションをしていた学生が、就職してRubyでWeb開発を行うにあたって勉強したことを書き連ねていくだけの記事です。 もし自分と同じような立場の人（これから後輩としてもどんどん増えていくかも！）がいたら、「ここを押さえておけばRubyは問題なく書けるよ」と教えられるように書いておきます。というのも、レビューを行っていた先輩とのプログラミングのスキルとの開きがあり、先輩も私も「どこが分かってないのか説明できない」状態になってしまってお互いに困ってしまった経験があるからです。 RubyとPythonはよく似ているのですが、思想や見た目で違う部分が多く、片方を勉強するともう片方の理解も深まります。 たまに2ちゃんねるのオカルト板である「見たことある世界によく似た異世界に迷い込んだ」みたいな感覚で、なかなか面白い経

はじめに PythonのGUI環境が微妙だなぁと思っていると、Electronと連携することが簡単にでき、綺麗なGUI環境が作れそうだったので、簡単なアプリケーションを作ってみました。 参考：Electron as GUI of Python Applications ご協力お願いします！ こちらの記事が参考になった方は、こちらの記事に『いいね』をしていただけると嬉しいです。 著者紹介 私は株式会社キカガク代表取締役の吉崎亮介と申します。 現在は『機械学習・人工知能 脱ブラックボックスセミナー』や『機械学習のオンライン家庭教師』を運営しております。 略歴 所属 学科・部署 研究内容 賞罰

はじめに こんにちは、データ分析部の久保 (@beatinaniwa) です。 今日は義務教育で教えても良いんじゃないかとよく思うWebクロールとスクレイピングの話です。 私自身、日頃は社内に蓄積されるニュース記事データや行動ログをSQLやPythonを使って取得・分析することが多いですが、Web上にある外部データを使って分析に役立てたいというシーンはままあります。 単独のページをガリガリスクレイピングしたいときなどは、下の1年半ぐらい前の会社アドベントカレンダーに書いたような方法でやっていけば良いんですが、いくつもの階層にわかれたニュースポータルサイトやグルメポータルサイトを効率よくクロール+スクレイピングするためには、それに適したツールを使うのがすごく便利です。 qiita.com そこでPython用スクレイピングフレームワークScrapyの登場です。 Scrapy | A Fast

今日の料理 安物のねぎとろは、納豆と良くあう。 前提 はじめてのにき(2016-06-16) より。 このエントリの立ち位置について 元々はPythonを勉強していたのだけれども、仕事の関係上、Rubyを主軸にすることにした人間のエントリです。ちなみに、PythonとRubyの立ち位置には詳しくなく、主観を元に構成されているので、客観的な部分に関しては弱いことをお断りしておく。また、現時点での知識が2.7になっているので、3.5では多少違う点があるかもしれない。 なぜならPythonのほうが「わかりやすかった」から まず最初に、Pythonのほうが機械科学系の人に支持されやすい傾向としてあるのは、Pythonのライブラリ、例えばNumpyであったり、Scipy、または各種機械学習系のライブラリなどの影響が大きいのは間違いない。最近の機械学習ブームのせいなのか、Pythonも「エモい人(エモ