タグ

pythonに関するmuamqmのブックマーク (31)

  • [Python] for文処理が1行で書ける!素敵なリスト内包表記 - YoheiM .NET

    こんにちは、@yoheiMuneです。 今日は前回のPython入門に引き続き、リスト内包表記というPythonの素敵な書き方をブログに書きたいと思います。この書き方をで見て、Pythonを使えるようになりたいと僕は思いました(ミーハーですねw)。リスト内包表記が書けるようになると、後述の通り色々とメリットがあるのでぜひ学んでみてください。 https://flic.kr/p/24JYSq 1行で書くリスト処理 さっそくリスト内包記述(list comprehension)を扱いたいと思います。今回は以下の配列データを扱うこととします。 data = [1, 2, 3, 4, 5] この配列について、各要素の値を2倍にする処理を通常のfor文で記述すると、以下のようになります。 # data配列の中身を2倍にする newData = [] for d in data: newData.a

    [Python] for文処理が1行で書ける!素敵なリスト内包表記 - YoheiM .NET
  • Python 3でcp932コマンドプロンプトに非cp932文字を含む文字列をprintする - にせねこメモ

    Windowsでバッチ処理用にPythonスクリプトを組んでいる。ドラッグ&ドロップで処理できるように、まず.batファイルを作成しそこからPythonスクリプトにドロップされたファイル名が渡される様にしている。 ここで、厄介なのが、コマンドプロンプトのエンコーディングがcp932(Shift_JISのWindows拡張)だということである。このため、Python 3からcp932外の文字をprint関数で出力しようとした場合、UnicodeEncodeErrorを吐いて終了する。 これをどうにかしたい。 なお、Python2系と3系では文字列型が大きく変更されているため、Python 2系の方法を3系で使うことはできないし、逆もまた然りである。これは3系用のもの。 対策 環境 Windows 10 64bit Python 3.5.1 Python 3系にのみ対応する。 次のコードをプロ

    Python 3でcp932コマンドプロンプトに非cp932文字を含む文字列をprintする - にせねこメモ
  • Python + PhantomJSでスクレイピング - Qiita

    # -*- coding:utf-8 -*- from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as ec import nose.tools as nose # account email = 'user' password = 'password' ############# # phantomjs ############# # user agent user_agent = 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/

    Python + PhantomJSでスクレイピング - Qiita
  • Selenium 使いのための PhantomJS 解説 - Qiita

    この記事は、Selenium Advent Calendar 2013の8日目の記事です。 Web+DB PRESS vol.77の特集1「スマートフォンテスト最前線」の第3章で、様々なSeleniumのDriverの紹介をしました。 4章の中でPhantomJSも取り上げることになっていたため、3章ではあえて取り扱いませんでした。 そこで、記事では、Selenium使いのためのPhantomJS解説と銘打って、PhantomJSDriverの紹介とそのTipsを解説します。 PhantomJS とは PhantomJS は、ヘッドレスなWebKitベースのブラウザで、JavaScriptの実行も可能です。ヘッドレスなブラウザを操作するために、PhantomJSはJavaScriptのインターフェースを提供しています。またそれをラップした様々な関連ライブラリがあります。 GhostDri

    Selenium 使いのための PhantomJS 解説 - Qiita
  • Pythonでかんたんスクレイピング (JavaScript・Proxy・Cookie対応版)

    ソース 以下のようになると思います. スクレイピングしたいページのURLと出力ファイル名を指定すると,ページのタイトルなどがJSON形式で帰ってくる仕組みです. 関数scraping体です. import sys import json import requests from bs4 import BeautifulSoup import codecs def scraping(url, output_name): # get a HTML response response = requests.get(url) html = response.text.encode(response.encoding) # prevent encoding errors # parse the response soup = BeautifulSoup(html, "lxml") # extra

    Pythonでかんたんスクレイピング (JavaScript・Proxy・Cookie対応版)
  • Pythonではじまる、型のある世界 - Qiita

    アノテーションを実際に行っているのは以下の部分になります。 name: str: 引数nameが、str型であることをアノテート -> str: 関数greetingの返り値の型がstrであることをアノテート また、Type Hintsでは変数宣言における型コメントについても言及されています。 こちらは構文ではなく当にコメントの拡張になりますが、現在既にこうした型に関するコメントを付けているのであれば、上記の記法に乗っ取っておけば将来的に何かしらのツールで型チェックを行えるようになる可能性があります。 これがPythonに導入された、型のある世界・・・になります。 なお、付与されたアノテーションは、実行時にはチェックされません。端的に言えばコメントの延長となります。 そのため強制力はありませんが、実行時に何もしないためパフォーマンスに影響を与えることもありません。 よって原則的には静的解

    Pythonではじまる、型のある世界 - Qiita
  • ライブラリ: PyYAML

    「PyYAML」(ライブラリとしてimportするときは「yaml」)は、YAML形式のデータを扱うためのライブラリです。 YAMLはXMLやJSONと比べるとシンプルなので自分の手でparseするのでもさほど大変ではないかとは思いますが、やはり、ライブラリを使うのが早くて確実かと思います。 PyYAMLには大きく2つの機能――読み込みと書き込みとがあります。以下、順に見ていきます。 YAMLデータの読み込み import yaml FILEIN_DICT = "sample_dict.yaml" f = open(FILEIN_DICT, 'r') data = yaml.load(f) # 読み込む f.close() YAML形式のデータを読み込むには、yaml.load()を使います。引数には、読み込みモードで開いたファイルオブジェクトを渡します。 以下、「sample_dict.

    ライブラリ: PyYAML
    muamqm
    muamqm 2016/12/15
    “PyYAML”
  • PythonとBeautiful Soupでスクレイピング - Qiita

    Pythonスクレイピングというネタはすでに世の中にもQiitaにもたくさん溢れていますが、なんとなくpyqueryが使いやすいという情報が多い気がします。個人的にはBeautiful Soupの良さも知ってもらいたいと思うのでここではBeautiful Soupを使っていきたいと思います。 ちなみにこのエントリーはほとんどの部分がBeautiful Soup4のドキュメントの要約です。もっと詳しい情報が知りたい場合はドキュメントをご覧ください。 英語 http://www.crummy.com/software/BeautifulSoup/bs4/doc/ 日語 http://kondou.com/BS4/ よくある勘違い pyqueryはjQueryのようにcssセレクタを使ってHTMLを扱うことができる点がBeautiful Soupよりも使い易いという意見がありますが、それBe

    PythonとBeautiful Soupでスクレイピング - Qiita
  • サイバーセキュリティプログラミング

    Pythonは情報セキュリティの世界では他よりも先んじているプログラミング言語です。書ではPythonを使った情報セキュリティにおける攻撃手法について解説します。前半ではrawソケットやScapyライブラリなどネットワーク関連の内容を扱います。後半ではCOMをPythonから扱う方法やVolatilityフレームワークなどシステム関連のトピックを扱います。読者はコーディングを通じてサンプルPythonツールの拡張、外部ツールとの連携や自動化について学習することができます。攻撃者の意図や実践手法から防御方法を導き出すというアプローチは、今後すべての情報セキュリティ技術者にとって必須のテクニックになるでしょう。 サポートページ(サンプルコードや正誤表) 訳者まえがき 序文 まえがき 1章 Python環境のセットアップ 1.1 Kali Linuxのインストール 1.2 Wing IDE 2

    サイバーセキュリティプログラミング
  • Python がイマイチ人気にならないたった一つの理由 - すがブロ

    ついに気がついた RubyPerl に比べてイマイチ日では爆発しきれていない感のある Python だけど、その理由がわかった。 入門書が良くない Python の有名な書籍といえば「みんなのPython」があるのだけど、これがとてもマズい。 みんなのPython 作者: 柴田淳出版社/メーカー: ソフトバンククリエイティブ発売日: 2006/08/22メディア: 単行購入: 11人 クリック: 624回この商品を含むブログ (180件) を見る 略すと「みんPy」。みんぱいである。「みんPy」を日常で使う事を想定してみよう。 「最初(に読むPython)はみんPyだよねー」 これはもう「最初はみんなおっぱいだいすきからスタートする」という性癖の変遷の発言にか聞こえません。それはとても卑猥ですから、こんな卑猥な書籍を売っている言語も卑猥であるというイメージがついてしまいますね。

    Python がイマイチ人気にならないたった一つの理由 - すがブロ
  • 声に出して読みたい7つのPython用語 - None is None is None

    冷凍マグロ系スクリプト言語として知られるPythonの、もっともすばらしい用語7点をご紹介します。これらのネーミングセンスを学ぶことにより、PHPerやRubyistでは不可能な変態力を身につける事が出来るでしょう(Perl Mongerには負けるかも知れない)。 PyPI(ぱいぱい or ぱいぴいあい) PyPIはPythonライブラリを誰でも登録・ダウンロードできる、PerlのCPAN・Rubyのgemに当たるものです。4月になったら新人プログラマーに教えてあげましょう。 例:PyPIは基だ! PIL(ぴる) PILは画像処理用のライブラリです。高度な処理はできませんが、手軽に画像を扱う事ができるので、簡単な処理にもフォトショを使っている人を見たらこう言っておきましょう。 例:PILは絶対使っとけ! なお、Pillow(ぴろー)(英語で枕の意)というforkがあり、インストーラでしか

    声に出して読みたい7つのPython用語 - None is None is None
  • ニコニコ超会議の「超エンジニアミーティング」 を全部取材してみた : ITジャーナリスト星暁雄の"情報論"ノート

    取材のため「超エンジニアミーティング in ニコニコ超会議」(Webページ)という企画を全部、見てみました。まる2日間にわたる取材となりました。 まとまった記事はこれから執筆するのですが、頭から揮発してしまう前に簡単なコメントの形で全プログラムの記録を残しておきます。 1日目・4月28日(土) 基調講演 五十嵐健夫さん(東京大学大学院 教授)(http://www-ui.is.s.u-tokyo.ac.jp/~takeo)による50分の講演です。タイトルは「デザインのためのインタフェース」 フリーハンドの「おえかき」から3Dモデルを作れる直感的なモデリングツール(その一つがTeddy)、紙のカードでロボットへ指示を出す試み、「押す」ことしかできないロボット(掃除ロボットのような奴ですね)がモノを任意の軌道で動かすための手法、等々の鮮やかなデモの連続でした。 エンジニア100連発 小飼弾さん

    ニコニコ超会議の「超エンジニアミーティング」 を全部取材してみた : ITジャーナリスト星暁雄の"情報論"ノート
  • 文字を制限した軽量な日本語 Web フォントを作成する方法 - てっく煮ブログ

    HTML5最近、Web フォントをつかってかっこいい表現をしているサイトも増えてきました。ただ、残念ながら 日語で Web フォントを使うのは厳しいのが現実です。というのも、日語には英数字・ひらがな・カタカナ・漢字・記号・・・など必要になる文字数が多すぎるため、フルスペックの日語の Web フォントはファイルサイズがすごいことになりそうです。そこで、「利用したい文字だけを含んだ Web フォントをその都度作ればいいんじゃね?」ということを考えてみました。アイデア自体は珍しいものではなく、例えば デコもじ というサービスは同じようなことをやってくれるようです(ただし、無料では「書体 1 つまで」「5 文字まで」など機能制限が大きい)。手始めに日語 Web フォントを作ってみるまずは簡単に日語 Web フォントを作る方法を紹介しておきます。無料で公開されているフォントの中にも、フォン

  • 朝日新聞デジタル:グーグル、クラウドの貸し出しサービスを日本で本格展開 - 日刊工業新聞ニュース - デジタル

    印刷 関連トピックスグーグル  グーグル(東京都港区、有馬誠代表取締役、03・6384・9000)は、米グーグルがインターネット経由で世界展開しているクラウド基盤の貸し出しサービス「アップ・エンジン」を日格展開する。企業や自治体を対象とする法人向け事業の目玉として、2012年中に国内サポート体制を整備。企業が作成したウェブアプリケーション(応用ソフト)をクラウド基盤で預かり、稼働率などをサービス品質契約で保証し、企業が安心して利用できるようにする。  アップ・エンジンはアプリケーションを稼働させるためのストレージ(外部記憶装置)や中央演算装置(CPU)などのIT資源を時間単位で提供する。ストレージ容量や月間接続回数が一定水準以下ならば無料で利用できる。  試しサービスとしては、最大500メガバイトのストレージ容量、月間約500万の接続回数に対応できるCPUと帯域幅を用意した。  契約

    muamqm
    muamqm 2012/03/28
    記者の知識のなさが浮き彫りになる記事。職業意識ゼロ。
  • Windows 環境で npm っぽい事をやる ryppi - dunno logs : Archives

    さんざん 「npm が無いから地道にダウンロードして配置する」みたいな事をやってきましたが、言ってもただのパッケージ管理システム。似たようなものを作ってる人は既にいたみたいです。というかそんだけ困ってるんだったら自分でも作れよって感じですが・・・ ryppi.py これが今回使用する npm に似たような事をやってくれる python スクリプトです。 家サイト README には以下のような事が書いてあります。 Main differences to npm: No version comparison, or compatibility check, only version matching to latest. Module dependencies are all installed in to the root modules directory, in order to a

    Windows 環境で npm っぽい事をやる ryppi - dunno logs : Archives
  • 入門 自然言語処理を禁書にすべき10の理由 | TRIVIAL TECHNOLOGIES on CLOUD

    みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー 「入門 自然言語処理」はヤバい書籍なので禁書にすべきだ。 タイトルは釣りじゃない。その理由を10個挙げる。 自然言語処理のかなり基的なことからそこそこ高度なことについて解説されてあり,自然言語処理について理解が深まり過ぎる ボリュームがあるのに書き方が平易でついつい読みふけってしまう 演習問題があり,自分の理解度を確かめられたりするのもケシカラン 原著は欧米語のための言語処理について書かれた書籍なのに,日語の形態素解析などについても解説してあって我慢できない 必要ライブラリのインストールなど環境構築に時間が取られそうでヤバい 書籍の応用でBotとか人工無能とか作ったらどうかな−,と

  • SQLite での ロック - 元祖 サトシのブログ

    あるプロセスが データを書き換え中に、他のプロセスが書き換えできないようになっているようだ。 仕組みとしては、トランザクション中に、他のプロセスがトランザクションを開始しようとすると、SQLITE_BUSY ってのが返ってくる。 APIsqlite_busy_timeout() を使って、SQLITE_BUSY になるまでの時間をミリ秒で指定できる。 トランザクションの開始だけでなく、DELETE, INSERT, UPDATEなども出来ないようになっている。 pysqlite を使って実験(Python) 別のプロセスでトランザクション状態にしておく。(例: sqlite コマンドを使って、BEGIN; を実行しておく) 以下の Python スクリプトを実行する。タイムアウトは10秒(10000ミリ秒) import sqlite con = sqlite.connect("te

  • Labs

    Labs

  • Webコピペ屋::Google App Engineで画像アップローダ

    YaneuraLabsさんのブログ記事「GAEのアップローダを作ってみた」はファイルアップロードを どうやったらよいかで大変参考になったのだが、画像だけにしぼった時に、 『画像の横幅、縦幅をどうやったら取得できるのか?』 のやり方が分からなかったので画像アップローダを作ってみた。 以下詳細。 なぜそんなことがやりたかったかというと、 ・アップされた画像が規定の横幅サイズより大きかったらそのサイズにリサイズ また、 ・大きな画像アップロード時に横幅サイズを指定してそのサイズにリサイズ というようなことをしたい時にアップした画像の横幅を取得する必要があったのです。 GAEに触るまではPythonなんてやったことがないので慣習とか右も左もわからず、PHPでは簡単な画像周りの処理方法がま~ったくわからず、GAEのImage APIはリサイズや諸々はできても画

  • Datastore に泣いたアナタに捧ぐ(前編) - Google App Engine - 暗号、数学、時々プログラミング

    Google App Engine | 07:49 | 最近少しずつ当ブログにリンクを張って頂けるようになってきた。色々な人に読んでもらえるならば当然そっちの方が嬉しいワケで、実にアリガタイことだと思う。「まとめサイト」とかに入れて頂くと、これまで気づいて頂けなかったような人達にも読んでもらえるチャンスも広がるワケで。これがきっかけで何か面白いアプリが世の中に出るような事になるのであれば、これ以上に嬉しいことはない。そして、ここまできたらGoogle Japanよりも先に全ての日語訳を完成させてやろうかしらん、なんて思ったり思わなかったり。(ただ正直なコトを言うと、これから先はリファレンス系の話が頻繁に出てくるので、いくら"超"訳するにしても全くのPython初心者が読んで理解出来る内容になるのかなー?って不安もある。翻訳完了より先にPython特別訓練が開始される可能性あるカモ。な