IPythonの使い方 - QiitaDeleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
Pythonでクローリング・スクレイピングに使えるライブラリいろいろ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る これはクローラー／スクレイピング Advent Calendar 2014の7日目の記事です。 Pythonでクローリング・スクレイピングするにあたって、いろいろなライブラリがあるので一覧でまとめてみます。 以下の4つのカテゴリにわけて紹介します。 Webページを取得する Webページからデータを抜き出す Webページの自動操作 総合的なフレームワーク なんでこれが載ってないの？この説明はおかしい！などありましたらお気軽にお知らせください。なお、この記事はいろいろなライブラリを紹介することを目
Python で機械学習しよう！（環境構築 on Mac編） - もろず blog
そろそろちゃんと機械学習を勉強しようと思い、ついでに Python をやり始めています そういえば、大学生のときに Python を勉強しようと思って本を買ったことがあったんですが、当時はあんまりやる気もなくちょっとしか手をつけていませんでした あの時ちゃんと勉強しとけばよかったなぁとか思ったり・・・ とりあえず、手持ちの Mac 上に数値計算や機械学習を実行できる環境を構築したのでその際の手順をまとめました ※以下の環境で動作することを確認しています OS X Mavericks (10.9) OS X Yosemite (10.10) この記事では 1. 概要 2. Python とライブラリのインストール 3. PyDev のインストールとセットアップ 4. Hello Python !!! 5. まとめ について説明します 1. 概要 今回は Python を使って数値計算、機械学
Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web
検索エンジン自作入門 ~手を動かしながら見渡す検索の舞台裏 作者:山田 浩之,末永 匡発売日: 2014/09/25メディア: 単行本（ソフトカバー） (この記事で紹介しているのはTF-IDFとかの計算もない簡素なものです。) はじめに Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' ) この前↑の記事をみかけました。クローリングやスクレイピングは、色々と応用が効きそうなのでしっかり勉強したい。 PythonではScrapyという有名なクローリング・スクレイピング用のライブラリがありますが、今回は勉強としてScrapyを使わずに実装してみる。流れとしては以下のとおり Webクローラの構築 Mecabで日本語の形態素解析 検索エンジンの構築 データをMongoDBに格納 Fl
Python for the Busy Java Developer
Are you a seasoned Java developer that wishes to learn Python? Perhaps you’ve just joined a project where a chunk of system integration code is written in Python. Or perhaps you need to implement a report generation module in the next sprint and your colleague mentioned that Python would be the perfect tool for the job. In any case, are you in a situation where you have to pick up the Python progr
Python スクリプトのスタンドアロン化 - 音楽プログラミングの超入門（仮）
photo by Ryan Johnson 自分がググり倒した成果を書き連ねています。 この記事では、主にLinux環境を前提としているので注意してください。 WindowsやMacでも同じような感じでいけるかも知れないです。 スタンドアロン アプリケーションPythonはスクリプト言語であるため、インタプリタがインストールされている環境でしかプログラムを実行することができません。さらに、プログラムに外部パッケージ（Numpy、Scipyなど）を使用している場合は、それらのインストールも必要となります。 一方、C++やJavaなどのコンパイル言語では、ソースコードをバイナリコードへコンパイルするため、大体どのような環境でも動かすことが可能です。 しかし、Pythonをメインで使っているプログラマとしては、Pythonのコードもどのような環境でも動くスタンドアロンアプリケーションに変換したい
xlwings·さよならVBA。PythonとExcelの相互コミュニケーションライブラリ MOONGIFT
Webアプリ全盛の現在とあっても、業務では未だにExcelが多く使われています。その結果としてVBAが活躍しており、メンテナンスが難しかったり、コピペされるコードが量産されていたりします。VBAがダメという訳ではないのですが、触りたくないと考えるプログラマは多いのではないでしょうか。 もっと自分が使い慣れたプログラミング言語でExcelを扱いたいと考える人に使ってみていただきたいのがxlwingsです。PythonとExcelで双方向の操作が可能になります。 xlwingsの使い方 デモ。ExcelからPythonを呼び出します。 xlwingsはPythonからExcelのデータを読み込んだり、ExcelからPythonをコールできます。その結果、PythonからExcelにデータを追加したり、検索結果を表示させることも可能です。VBAの代わりに使うことが可能です。 Pythonであれば
Python Django入門 (1) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに なぜPythonを選ぶか かなり独断と偏見が入っていますが、 シンプルな言語セット 某言語のように、呪文のように短く書けることが命ではない。 それでいて、書くコード量は少なく、すっきりしている。 某言語のように、記号を多用しない。 コードを書いている間Shiftキーを押しっぱなしにならない。 学習コストが低い。 言語セットとしての文法は、わりと平易で、直感で理解できる。 難しい書き方は、後から覚えればよい。 文法書を読むのは、後からでいいでしょう。まずこの講座をやってみましょう。 Djangoフレームワークや、各種Python
Tofu issue 日本語フォントの表示 - Kivy Advent Calendar 2013 - Pythonを書く
さて、Kivyで一番残念に思うのは日本語がトウフになることでしょう。 多くのプラットフォームは日本語フォントを持っていますし、Androidも4.0からは日本語フォントがシステムフォントとして取り込まれています。しかし、いくら日本語フォントを持っていても、Kivyは現在「システムフォントを取得する仕組みがなく」「日本語グリフのないフォントをデフォルトにしている」ために、ウィジェットごとにフォントを指定しないと日本語が表示できません。 http://blog.logicdesign.jp/entry/2012/12/07/003711 http://supportdoc.net/support-kivy/03jp.html 一応開発チームもこの問題に対応しようとしていて https://github.com/kivy/kivy/tree/unicode_textinput みたいなブランチを
Python のコーディング規約 PEP8 に準拠する - Qiita
この Qiita の連載記事ではデータ分析のための主要言語として Python を利用してきました。ところでみなさんは Python のコーディング規約 PEP8 をご存知でしょうか。 ソースコードスタイルガイド PEP8 ソースコードは一般に「書かれる時間」よりも「読まれる時間」の方が長い、そのような事実に基づいて、「スタイルを統一し読みやすいコードを書こう」というアイデアのもとに作られたのがこのガイドです。 Style Guide for Python Code http://legacy.python.org/dev/peps/pep-0008/ 本家は当然ながら英語ですが有志の方が日本語に翻訳してくださっています。 PEP8 日本語訳 https://github.com/mumumu/pep8-ja どちらにせよ Python を利用する方は必ず一読するべきかと思います。 自動的
【技術】mechanizeに変わる方法を考えてみた - エンジニアリングとお金の話
webサイトをスクレイピングする際はmechanizeを使用しているが、ログイン処理等にjavascriptを使用してゴニョゴニョしているサイトの場合は、行き詰ってしまう事が多い。 今までその様なサイトは諦めていたが、どうにかスクレイピングする方法が無いかと調べた結果、以下の２つで実現出来る事がわかった。 ① seleniumを使用する ② Phantom JSを使用する どちらの方法も擬似的なブラウザオブジェクトを使用してjavascriptの処理を行う事が可能である。今回は操作が簡単なseleniumを使用した方法について説明する。 １.seleniumとは Webアプリケーション用テストツール。ブラウザの操作をシミュレートして、Webアプリケーションの画面周り操作を行う事が可能である。 要は、人が手でWebブラウザを操作する代わりにSeleniumがWebブラウザを操作して、作業の自
virtualenvでテスト環境を構築 - 理想のユーザ・インターフェイスを求めて
Pythonの話。 試してみたいライブラリがあるとき、そのライブラリを一度インストールしてしまうと、やっぱやめた、というときに実行環境の原状復帰がなかなか難しいという問題がある。復帰の際に環境を壊してしまって、今まで動いていたものも動かなくなるのが怖い。 壊れかけの例。↓ テスト環境を作れれば、こんな心配もなくなる。 そこでvirtualenvを試してみる。これを使えば、別個のPython環境を一時的に構築できる。オリジナルのPython環境とは独立なので、いらなくなったら削除すればよい。掃除が簡単。 CentOSにvirtualenvをインストール 参考サイト：http://labs.unoh.net/2009/12/2009python.html easy_installを使えば、完全自動でできる。 [root@localhost]# yum install python-setupt
Selenium with Python — Selenium Python Bindings 2 documentation
Selenium with Python¶ Author: Baiju Muthukadan License: This document is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License. Note This is not an official documentation. If you would like to contribute to this documentation, you can fork this project in GitHub and send pull requests. You can also send your feedback to my email: baiju.m.mail AT gmail DOT com. So far 6
Kivy: Cross-platform Python Framework for NUI
Kivy has been built to be easy to use, cross-platform and fast. With a single codebase, you will be able to deploy apps on Windows, Linux, macOS, iOS and Android. Business Friendly Kivy is released under the MIT License, is 100% free to use, and is professionally developed, backed and maintained. Companies and individuals are using Kivy for their projects every day.
Pythonにサヨナラを - HackerNews翻訳してみた
「HackerNews翻訳してみた」が POSTD (ポスト・ディー) としてリニューアルしました！ この記事はここでも公開されています。 Original article: Saying Goodbye To Python by Ian Bicking ずっと先延ばしにしてきた記事を書きます。決別宣言ではなく（ずいぶん前に離れていますし）、ただ自分が歩んできた道を振り返ったに過ぎません。Pythonの世界に別れを告げてずいぶん経つのに、これまでサヨナラを言う勇気がなかったのです。 何年も前にPythonを卒業したとはいえ多少の愛着は残っており、戻る可能性もあると思っていました。PyCon 2013への提議が却下されたことは頭にきましたが（面白い話をしようと思っていたのに！）、この件で自分はもうPythonコミュニティの一員ではないのだと確信しました。 Pythonは私が初めて（もしかした
Graphillion: 数え上げおねえさんを救え / Don't count naively
Graphillion は膨大な数のグラフに対して検索や最適化、列挙を行うための Python モジュールです。このビデオは Graphillion の概要を知るためのチュートリアルです。「フカシギの数え方」 http://youtu.be/Q4gTV4r0zRs の続編として作成されました。 Graphillion is a Python software package on search, optimization, and enumeration for a very large set of graphs. This video is a quick tutorial to learn what Graphillion is. The story follows our previous episode, "Let's count!" http://youtu.be/Q4gT
非公開サイト
サイトの構築。作品の販売。ブログの投稿。この他にもさまざまな機能があります。 ログイン サイトをはじめよう 非公開サイト このサイトは現在プライベート設定になっています。
PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Microsoft、「Python Tools for Visual Studio」v2.1を正式公開
AndroidDriver - selenium - Getting Started With Android Driver - Project Hosting on Google Code
