伸び悩んでいる3年目Webエンジニアのための、Python Webアプリケーション自作入門
本書は、Webフレームワークを使ってお作法に則ってWebサービスを作ることができるようになってきたはいいものの、周囲の先輩エンジニアほど自分のサービスを深く理解できているわけではなく、かといって業務では同じような作業の繰り返しで学びが深まっている気がせず、スキルが頭打ちになっているのではないかと悩む、3年目Webエンジニアに捧げる本です。 Webサーバーをフレームワークやライブラリを極力使わずに自作することでWebアプリケーションの動作を深く理解し、より高度なWebサービス開発ができるようになることをゴールとしています。 なお、言語はPythonを使用します。 本書は当面無料で公開する予定ですが、予告なく有料に変更する可能性があります。 勉強になったという方は、ぜひ無料のうちにTwitterやFacebookなどで友人に紹介してあげてください ;) また、本書では今後の情報発信の参考のため
Web Scraping with Python: Everything you need to know (2022)
Introduction: In this post, which can be read as a follow-up to our guide about web scraping without getting blocked, we will cover almost all of the tools to do web scraping in Python. We will go from the basic to advanced ones, covering the pros and cons of each. Of course, we won't be able to cover every aspect of every tool we discuss, but this post should give you a good idea of what each too
Mailur - Python製のGmail代替
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました Gmailはとても便利なメールサービスで手放せない人も多いでしょう。しかしその反面、Googleに重要なデータを預けてしまうことに対してリスクを感じる人も少なからず存在します。 そんな人に試してほしいソフトウェアがMailurです。UIがGmailに似た、便利なWebメーラーです。 Mailurの使い方 メイン画面です。確かにGmail風かもしれません。 メールをスレッドごとに見られるのもGmail風です。 スレッド中の別なメールを開いたところ。 返信を書きます。日本語も普通に使えます。 メールアドレスの補完機能もあります。 メールの文面はMarkdownにて記述できます。下はプレビューです。 リストなど一般的な記法が使えます。 MailurはGmailをかなり真似たUIとなってい
Python+Selenium+Phantom.js+Beautifulsoupでスクレイピングする - ひよこになりたい
※【2018/04/17追記】 Phantom.jsはメンテナンスが終了したようです。今後はGoogle Chromeを使用してJavascriptの処理を行っていくことになります。以下の記事で解説していますので合わせてご覧ください。 zipsan.hatenablog.jp 【追記終わり】 最近スクレイピングのスクリプト書いて遊んでいるのでそれについてのメモがてらに。 Pythonでスクレイピングする方法は多々あるみたいなんですが，個人的に一番使いやすかった（慣れ？）のがこの組み合わせでした。 以前Pythonのurllib.request＋Beautifulsoupでレスポンスhtmlの解析をして次々とたどっていくようなスクリプトを書いていたんですが、これだとJavascriptで追加されたエレメントは受け取れなかったり、リダイレクト処理がめっちゃ大変だったり色々と面倒でしたが今回Se
Pythonコミュニティに無償のPython IDE、PyCharm 3.0をお届けします！ | Post Blog
PyCharm 3.0をリリースしました！JetBrainsの提供するPython IDEの最新バージョンです。主な新機能は以下の通りです: SQLAlchemy サポート Pyramid & Web2Py web フレームワークサポート 内蔵ターミナル 設定可能な language injections Python、Djangoコード解析の改善 PyQt、PyGTKコード解析の改善 しかし何より一番大きなニュースは: PyCharmは二つのエディション、コミュニティとプロフェッショナルをリリースしました。 そう、つまりオープンソースかつ無償のPyCharmの登場です！ JetBrainsはPythonが長い間科学計算や教育、公共福祉目的で人気のある言語だと認識しています。これらはJetBrainsが伝統的に支持してきたユーザーカテゴリになります。PyCharmの主要機能をより多くの方に
最速最強Webサーバーアーキテクチャ - Qiita
POST /post HTTP/1.1 Host: localhost Content-Type: application/x-www-form-urlencoded Content-Length: 7 foo=bar 1行目は request-line で、 method URI HTTP-version の形をしています。URIはホストを含めた絶対URIの場合と、ホストを含めない絶対パスの場合がありますが、絶対パスの方が一般的です。 2行目から空行までが request-header です。各行は field-name: field-value の形をしています。 field-name は大文字小文字を区別しません。 request-line から request-header とそれに続く空行まで、改行は CR LF になってます。Windowsでよく見る改行コードですね。 meth
Playdoh — playdoh 1.0 documentation
Playdoh¶ Mozilla’s Playdoh is a web application template based on Django. Django is a high-level Python Web framework that encourages rapid development and clean, pragmatic design. Playdoh is simply a pre-configured Django project that adds some essential modules and middleware to meet the following goals: Enhance the security of your application and its data Achieve optimal performance in the fac
Mozilla、セキュリティテスト自動化フレームワーク「Minion」を発表 | OSDN Magazine
Mozillaのセキュリティチームは7月30日、セキュリティ自動化プラットフォーム「Minion」プロジェクトを発表した。Webサイトの自動スキャンやテストに利用できる「サービスとしてのセキュリティ（Security As A Service）」を提供するもので、同日バージョン0.3のコードを公開した。 Minionはオープンソースのセキュリティ自動化プラットフォーム。多数のユーザーを抱えるサービスやWebサイトをサポートするMozillaのセキュリティチームが、セキュリティテストの自動化や統合を目的に1年前に開発を開始した。開発者はこれを利用して、セキュリティテスト自動化に必要な基本要件を設定できるという。プロジェクトの基本ルールとして、容易さ、開発者向け、ツールではなくプラットフォーム、拡張性、安全性、オープンなどを掲げている。 Minionは管理プラットフォーム「Task Engin
A Python 3 Web Framework - Watson Documentation
Redirecting you to readthedocs...
forkanartを支える技術 - 何気に大変
forkanart という絵をフォークするという絵を描く人向けのサービスをリリースしたのですが、今回はその裏側の技術的な話をします。 ざっと構成を列挙します。 フロントエンド: nginx (フロントエンド) - http://nginx.org/ Varnish (キャッシュ) - https://www.varnish-cache.org/ uWSGI (アプリケーションサーバー) - http://projects.unbit.it/uwsgi/ バックエンド: MySQL (ユーザー情報) - http://www.mysql.com/ MongoDB (上記以外全部) - http://www.mongodb.org/ アプリケーション: Python 2.7 - http://python.org/ Pyramid - http://www.pylonsproject.org/
Intro to the Python Framework Pyramid
We like Pyramid over Django, Flask, and Bottle for projects that require flexibility, scalability and speed. It gives us more control than Django and is easy to create a small app that can scale later without being rewritten. These are many of the same reasons for Why We Choose Python in general. Recently we provided some training on how Pyramid works that was recorded. It provides a great overvie
Django 1.5.1 のリリース (ジェネレーターに例外処理はダメ？)
Django 1.5.1 が昨日 リリースされました 。リリース内容を見るて、クエリーセットにメモリリークの問題があったそうです。 もともとのバグ 1.4 では、２回クエリーセットを解決すると、空な結果が返ってきて、前の結果がガーベージコレクションされない現象があったそうです (バグ #19895) 例えば: qs = MyModel.objects.all() first = list(qs) second = list(qs) # second は first と一緒だはずなのに、空になってしまう。。 1.5 ではこの問題に対して、 修正された らしい。ただし、1.5 のリリース後にその修正はメモリリークを招いたことが分かった。 メモリリーク この問題は Python の動きに関係があるそうです。Django の開発者は Python のバグ を登録していたんだけど、うちは社内で「それ
論文版HackerNews·OpenJournal MOONGIFT
OpenJournalは論文のリンクを投稿、シェアしてコメントし合えるWebサービスです。 HackerNewsには最新のIT系ニュースが続々と飛び込んできます。それと同じような仕組みを学術論文に対して適用したのがOpenJournalです。 論文一覧です。 コメント欄。 自分で投稿もできます。 ログインするとポイントを追加できます。 もちろん論文へのリンクもあるので簡単に閲覧できます。 検索もサポートされています。 論文は慣れている人であればすぐに探せるのですが、ふと気になった時に探してもなかなか見つからなかったりします。かつその論文に対して人と意見を交わしたいと思ってもなかなか身近に専門家はいないかも知れません。そんな時にOpenJournalがとても便利そうです。 OpenJournalはPython製、BSD Licenseのオープンソース・ソフトウェアです。 MOONGIFTはこ
dotCloud で独自のWebサーバーを使いたい場合は type: *-worker が便利 - methaneのブログ
個人的に今 dotCloud がアツいです。無料枠を無制限に使える、WebSocketに対応している、設定の自由度がメチャ高いので、ちょっと作ったものを他人に見せたり自分の携帯から見たりするために気軽に作れちゃいます。 さて、 dotCloud で golang を使うとか、 Tornado を使うとか言った話題になると、出てくるサンプルはたいてい type: custom で設定されています。 type: custom の柔軟性は確かに魅力なのですが、もし使っている言語に type: *-worker が存在しているなら、そちらを使ったほうが PaaS の旨味を引き出せます。 試しに Tornado のチャットデモを dotCloud で動かして見ました。 tornado-on-dotcloud type: custom の場合は virtualenv を作るところから自前でやらないとい
Fresco: a Python web micro-framework — Fresco 3.2.1.dev0 documentation
Fresco: a Python web micro-framework¶ Fresco makes writing web apps easy:¶ from fresco import FrescoApp, Response def hello(): return Response("<h1>Hello World!</h1>") app = FrescoApp() app.route('/', GET=hello) Why Fresco?¶ No restrictions on your choice of templating, database or other libraries. Simple, powerful URL routing, request and response objects. Zero dependencies. Python 3 ready. Pytho
簡単に手元でHTTPのファイルサーバ立てる方法 - かみぽわーる
.zshrcにstatic_httpdって関数つくってる。 dotfiles/.zshrc at master · kamipo/dotfiles · GitHub function static_httpd { if type plackup > /dev/null; then plackup -MPlack::App::Directory -e 'Plack::App::Directory->new(root => ".")->to_app' elif type ruby > /dev/null; then if ruby -v | grep -qm1 'ruby 2\.'; then ruby -run -e httpd -- --port=5000 . else ruby -rwebrick -e 'WEBrick::HTTPServer.new(:Port => 5000, :D
Pythonを始めるなら、１ファイルの軽量Webフレームワーク「Bottle」がおすすめ - モジログ
「全てのwebエンジニアがPythonを勉強するべき2013年到来」（2013-01-01）という記事が人気を集めているようだ。巳年（ヘビ年）にひっかけて、これからPythonを勉強したい人を対象に、書籍やライブラリなどを紹介している。有益な情報が多数含まれているが、ちょっとPythonを試してみたいという程度の人には、これだと敷居が高すぎるように思う。 Pythonに限らないが、あたらしい言語をはじめるとき、もっとも障害になるのは「環境構築」だろう。Pythonの場合、LinuxやMacであれば、Pythonインタプリタは最初から入っているので、Pythonそのものをインストールする必要はない。しかし、「そのあとどうするのか？」というのが、なかなかむずかしい。例えば、「Hello, World!」を出すWebアプリを書くには、そこからどうすればいいのか。なんらかのWebフレームワークを使
KottiではじめるPyramid
この記事は2012 Pythonアドベントカレンダー (Webフレームワーク)の15日目エントリです。 今日はマサカリを投げあうモヒカンどもが大好きなPyramidについて書いてみようと思います。どうでもいい話ですが、Pyramid Tシャツがアメコミ的HAHAHAな感じなので、とても欲しいです。 Pyramidにはとても良くできたチュートリアルがあるので、なにはともあれ、こいつをやっつけて下さい。Step by stepの形式でインストールから最初のアプリケーション作成、そして作ったアプリケーションをテストするところまで教えてくれます。さすがはテストカバレッジの高さが当たり前のプロダクトですね。 続いてドキュメントを読みながら、チュートリアルで写経したアプリケーションを改造しつつ、Pyramidが用意しているAPIに習熟するのがよいでしょう。今から始めれば年明けくらいには全部読み終わるこ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Heroku上でPython と Django
http://kwatch.houkagoteatime.net/blog/2012/12/06/pytenjin/