Python3.5のasync/awaitを使ってスクレイピング - Qiita
前にこんな記事があったので。 http://postd.cc/fast-scraping-in-python-with-asyncio/ これをPython3.5の新しい構文でやってみる。 あ、もとの記事はhtmlをスクレイピングしてるけど、なんとなく似たような量のレスポンスが返ってくるURLへ同時にアクセスしたかったので、RSSにしてみました。あ全然スクレイピングじゃない。まあ、やってること一緒なので…… import asyncio import aiohttp import feedparser import time async def print_first_title(url): response = await aiohttp.request('GET', url) body = await response.text() d = feedparser.parse(body)
【機械学習】Yahoo Newsの記事をMLlibのトピックモデル(LDA)でクラスタリングする。 - Qiita
Sparkシリーズ第３弾の記事です。MLlibのLDAを使ってYahoo Newsの記事をトピックモデル(LDA:Latent Dirichlet allocation)でクラスタリングしてみます。 第一弾 【機械学習】iPython NotebookでSparkを起動させてMLlibを試す http://qiita.com/kenmatsu4/items/00ad151e857d546a97c3 第二弾 【機械学習】Spark MLlibをPythonで動かしてレコメンデーションしてみる http://qiita.com/kenmatsu4/items/42fa2f17865f7914688d 0. 環境 OS: Mac OSX Yosemite 10.10.3 Spark: spark-1.5.0-bin-hadoop2.6 Python: 2.7.10 |Anaconda 2.2.0
System F をHaskellとPythonで実装した - -
無事夏休みに突入して時間ができたので再びTaPLを読み始めました．半年触っていなくても進行，保存の証明が書けるあたり，春の自分はずいぶんしっかりと勉強していたようです．春は22章の型再構築まで読んでいたので，ひとまず23章のSystem Fから読んでサクッと実装しました．Pythonが書きたかったので，パーサーだけHaskellで書いてそれ以外をPythonで書くというよく分からない構成で実装していますが，いろいろと学びがあったのでそれを記していきます． System Fとは 変数，抽象，適用からなる単純型付きラムダ計算に型抽象と型適用を加えて拡張した計算体型のことを指します．パラメータ化した型による計算ができることから多相ラムダ計算とも呼ばれます．この体型のみでは基本型が存在せず型の具体化が十分にできないので，Bool型の構文を追加してそれらしい操作ができるようにしています．単純型付きラ
自然言語処理を自習したくなったら参考になりそうなサイトなど - 鴨川にあこがれる日々
雑にですが，知ってるサイトやチュートリアルをまとめたくなったのでまとめてみました．夏ですし． 適宜更新しています． 最終更新 2018年02月03日 チュートリアル 言語処理100本ノック 言語処理100本ノック 2015 東工大の岡崎先生が作られたチュートリアルです． 他大学の研究室でも利用されています． 簡単な内容からはじまるので，プログラミングの導入としてもいいと思います． NLPプログラミングチュートリアル Graham Neubig's Teaching Carnegie Mellon UniversityのGraham Neubig先生のチュートリアルです． Githubにサンプルコードが公開されています． 各チュートリアルにはテストがついているので，実装が正しいかを確かめることができます． 扱っているトピックが広いので，かなり勉強になると思います． ソフト 形態素解析器 日本
Flask でアプリケーションを作る際のメモ(2015 年版) - Memo
Flask でアプリケーションを作る際のメモ - Memo の 2015 年版 ディレクトリ構造 . ├── __init__.py ├── app.py ├── configs │ ├── __init__.py │ └── settings.py ├── errors.py ├── extensions │ ├── __init__.py │ ├── injector.py │ └── permission.py ├── forms ├── i18n ├── models │ ├── __init__.py │ ├── db.py │ ├── entities │ └── mappers ├── static │ ├── css │ ├── fonts │ ├── img │ └── js ├── templates │ ├── admin │ └── frontend ├── tes
PythonでBing Search APIを使って画像を検索する | BTY備忘録
ゆーすけべーさんの本を読んでいたら、「いかにして大量のおっぱい画像をダウンロードするのか」という章があって、高校生がプログラミンを始めるキッカケになったというエピソードに笑えました。若い男性がプログラムに興味を持つきっかけとなるには、ベストな話題かもしれません。 ということで、僕もPythonで画像を検索するプログラムを作ってみました。ところが、１ヶ月前ぐらいに作ったプログラムで、どうやって調べたのか忘れてしまい、ブログに書くためほぼ最初から調べ直しというアホなことをやってます。つぎからはちゃんとメモしておくことにしよう。 プログラムを作るにあたって、同じことをやっている記事がないか、Googleで検索したらBing Search API を使いたいと思ったのでPythonでラッパーを作ってみた – [[ともっくす alloc] init]がヒットしたので参考にしました。 BeingでSe
Black Hat Python: Building a UDP Scanner
When it comes to the reconnaissance of some target network, the start point is undoubtedly on host discovering. This task might come together with the ability to sniff and parse the packets flying through the network. A few weeks ago, I talked about how to use Wireshark for packet sniffing, but what if you don't have Wireshark available to monitor a network traffic? Again, Python comes with severa
Pythonの'=='と'is'、ついでにJavaの'=='と'equals'について
B! 20 0 0 0 Pythonでオブジェクトの比較の時に気をつけることと、 同じような事でJavaのString型の比較の時に気をつけることについて。 Pythonの’==’と’is’ Javaの’==’と’equals’について まとめ Pythonの’==’と’is’ Pythonで2つの物が同値かどうか確認するには ==を使う方法とisを使う方法がありますが、 これらは少し違うものです。 Immutable 1 なintやstring等の場合には基本的に結果は同じです。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 >>> a = 1 >>> if a == 1: ... print 'Same!' ... Same! >>> if a is 1: ... print 'Same!' ... Same! >>> b = 1 >>
Python geopandas + Bokeh で地理情報をプロットしたい - StatsFragments
数日前、pandas を利用して地理情報をプロットするという非常によいエントリが翻訳されていた。 postd.cc 上のエントリ、前処理が手間に見えるが pd.read_html や .str アクセサを使えばもっと簡単に書けると思う、、、がそれは本題でない。 pandas で地理情報を扱う場合、geopandas という拡張パッケージを利用すると便利なため、その使い方を書きたい。また、処理を Python で完結させるため、QGIS ではなく Bokeh でプロットしたい。 geopandas のインストール pip で。 $ pip install geopandas geopy このエントリでは依存パッケージである shapely、geopy の機能も利用する。shapely は自動的にインストールされるはずだが、geopy については上のように別途インストールが必要。 地理情報の読
SQLiteが本気を出せるPythonのライブラリのAPSWを使用してみる - Qiita
# -*- coding: utf-8 -*- import os, sys, time import apsw connection=apsw.Connection(":memory:") cursor=connection.cursor() ### ### Virtual tables ### # data = [ [1, 'test1', 'categoryA'], [2, 'test2', 'categoryA'], [3, 'test3', 'categoryA'], [4, 'test4', 'categoryB'], [5, 'test5', 'categoryB'], [6, 'test6', 'categoryB'], [7, 'test7', 'categoryB'], [8, 'test8', 'categoryC'], [9, 'test9', 'categoryC
Python+SSHな自動化・デプロイメントツールFabricを活用するTips
こんにちは。CTOの馬場です。 みんな大好きFabricのTipsです。 Welcome to Fabric! -- Fabric documentation よくデプロイツールとして紹介されますが、 自動化のためのPython+SSH+コマンド実行フレームワークとして柔軟に使えて超便利です。 基本的には 手元でのコマンド実行 SSHごしのリモートサーバでのコマンド実行 SSHごしのリモートサーバでsudoしてコマンド実行 ができるツールなのですが、使い方の例を紹介します。 間違いなどあればお近くのハートビーツ社員か @netmarkjp に教えていただけると嬉しいです。 Python 2.7.10 + Fabric 1.10.2 + Paramiko 1.15.2で動作確認しました。 複数のサーバに対して同じユーザ・パスワードでログインする ユーザ名やパスワードを一括指定できます。 鍵認
Python Async (ASGI) Web Frameworks Benchmark
This is a simple benchmark for python async frameworks. Almost all of the frameworks are ASGI-compatible (aiohttp and tornado are exceptions on the moment). The objective of the benchmark is not testing deployment (like uvicorn vs hypercorn and etc) or database (ORM, drivers) but instead test the frameworks itself. The benchmark checks request parsing (body, headers, formdata, queries), routing, r
Python+Selenium+Phantom.js+Beautifulsoupでスクレイピングする - ひよこになりたい
※【2018/04/17追記】 Phantom.jsはメンテナンスが終了したようです。今後はGoogle Chromeを使用してJavascriptの処理を行っていくことになります。以下の記事で解説していますので合わせてご覧ください。 zipsan.hatenablog.jp 【追記終わり】 最近スクレイピングのスクリプト書いて遊んでいるのでそれについてのメモがてらに。 Pythonでスクレイピングする方法は多々あるみたいなんですが，個人的に一番使いやすかった（慣れ？）のがこの組み合わせでした。 以前Pythonのurllib.request＋Beautifulsoupでレスポンスhtmlの解析をして次々とたどっていくようなスクリプトを書いていたんですが、これだとJavascriptで追加されたエレメントは受け取れなかったり、リダイレクト処理がめっちゃ大変だったり色々と面倒でしたが今回Se
Deep Learning のフレームワーク Chainer を公開しました - Preferred Networks Research & Development
こんにちは、得居です。最近は毎晩イカになって戦場を駆けまわっています。 本日、Deep Learning の新しいフレームワークである Chainer を公開しました。 Chainer 公式サイト GitHub – pfnet/chainer Chainer Documentation Chainer は、ニューラルネットを誤差逆伝播法で学習するためのフレームワークです。以下のような特徴を持っています。 Python のライブラリとして提供（要 Python 2.7+） あらゆるニューラルネットの構造に柔軟に対応 動的な計算グラフ構築による直感的なコード GPU をサポートし、複数 GPU をつかった学習も直感的に記述可能 ニューラルネットをどのように書けるか 次のコードは多層パーセプトロンの勾配を計算する例です。 from chainer import FunctionSet, Vari
リスト操作とか競技プログラミングで使ったりした私用メモ - Qiita
# この場合a,bは共に8とする (a,b)=map(int, raw_input().split()) x=[sys.stdin.readline().strip() for x in range(a)] print x # ['abcdefgh', 'ijklmlop', 'qrstuvwx', 'yzABCDEF', 'GHIJKLMN', 'OPQRSTUV', 'WXYZ1234', '567890!?'] chikan=[[] for i in range(8)] # 元々のリストのx[0]から読み込んでいく for a in range(8): # 仮格納のリストを初期化する tate=[] # a列のb番目の要素をなめていく for b in range(8): tate.append(x[b][a]) # 1文字ずつバラバラなのを結合して正式格納用のリストに入れる tat
PyBrainを用いて強化学習をしてみた - Qiita
Pybrainはニューラルネットワークの仕組みが実装されているPythonのライブラリです。 今回はチュートリアルに乗っている強化学習（Reinforcement Learning）をやったので備忘録の意味も込めて記述しておきます。 強化学習とは試行錯誤を通じて環境に適応する学習制御の枠組です。 例えば 新米セールスマンをエージェントとして、環境をお客さんとします。 その再に新米セールスマンがセールスする行動をアクション セールスに対するお客様の反応を状態観測 それに対する”お客様の購買意欲が上がったか”を報酬とします。 新米セールスマンはセールスの経験がないので報酬つまり”お客様の購買意欲が上がったか”が正確なものか把握できません。 またセールスに対するお客様の反応も新米セールスマンは正確に把握することはできません。 このような不確実性の高く、教師データもないような状況で使われる強化学習
動的に生成されるテーブル定義をSQLAlchemyを使って読み込む方法 - Qiita
# -*- coding: utf-8 -*- from sqlalchemy import * from sqlalchemy.orm import * from sqlalchemy.ext.declarative import declarative_base schema = 'sqlite:///test.db' engine = create_engine(schema, echo=False, encoding='utf-8') base = declarative_base(engine) session = sessionmaker(bind=engine)() management_dic = { '__tablename__': 'management', '__table_args__': {'autoload': True}} management_object
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「深層学習」勉強会LT資料 "Chainer使ってみた"
http://openbook4.me/projects/183
Pythonでメモリリーク調べる - Qiita
