PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
趣味プログラミングの勧め：仕事しながら1週間で作ったサービスを紹介してみる - 今日学んだこと
2019/1/1追記：メンテの気力もなくなり、でもサーバー代はかかっており・・・という状況なのでクローズしました １週間ほどブログの更新をサボっていたんですが、何をしていたかというと新しいWebサービス作ってました。 作ったもの http://www.programmerprofile.net/ ソースも公開しちゃうよ！ nakazye/ProgrammerProfile · GitHub 何コレ？ プログラマーのツイッターアカウントを言語毎に並べ立てるサービスです。コンセプトだったり作ったきっかけだったり諸々あるんですが、それは正式リリース時にとっておきます（Topに書いてある通り、まだα版の位置づけ） 趣味プログラミングのススメ ここからが本題。 デザインが酷いとか、コードが投げやりとか、色々意見はあるかと思うんですが、一応動いてます。 コレ、2/1(日)の23時から開発始めたので、休
Webサービス作ったので作業の流れを紹介してみる - 今日学んだこと
Twitterのフォロワーさんが「こんなサービスあったらいいな」と呟いておりまして。 いっちょ俺が作るか！という事で、作業記録を残してみようかと思います。 最近MacをOS再インストールし、ほぼまっさら、xcode(使わないけどgit有効化に必要)とemacsだけが入ってるような状態からのスタートです。 Webサービスってどうやって作っていくんだろと思われてる方の参考になれば幸いです。なお、いつもの通りDjango&Heroku構成です。 ※これ見て何かを作れるという訳ではなく、こんな流れで作ってるよという説明ですので、詳細は結構省き気味です。 ※作るときのポイントを先に言ってしまいますが、いきなり完成系を目指すんじゃなくて、ちょっと作って動かしてを繰り返すのがポイントになってくるんじゃないかなと思ってます。僕はSI屋なんですが、新人君とかでもいきなり全部コーディングして、いざ動かすと動か
jQueryプラグインで彩る、ワンランク上のサイト制作 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
必要なのはブラウザだけ。Python使ったWebサービス構築（画面を作ってみよう編） - 今日学んだこと
前回の続きになります 。きっと反響が少なかったのはタイトルが悪かったんだな！ということでタイトル変えました。(もし「お、いいかも」と思いましたら、ハテブよろしくです。モチベーション上がるので・・・) 前回で、環境を作ることができました。今回はページを作っていきます。 前回は「写経しよう！」が主な内容でしたが、今回からは好きなものを作っていこう！を主眼としようかと思います。 その前に・・・Webサービスってどうやって動くの？ 好きなものを作っていこう！と言いましたが、まずはWebサービス（プログラム）の概念的なイメージを抑えていた方がいいと思いまして。 基本的に、プログラムは単純化すると 入力→計算/保存→出力 というプロセスを経ることになります。これが、Webだと 画面で入力して→サーバーで計算/保存して→画面に描画する といった形になります。画面が２回出てくるので 画面をどうつくるか サ
WSGIとPythonでスマートなWebアプリケーション開発を 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
我々は「Python」に何を求めているのか？ - gumi Engineer’s Blog
弊社ではプログラミング言語としてPythonを採用しています。 最近のウェブ系スタートアップが採用しているプログラミング言語やフレームワークまとめ - laiso パッと見て頂くと解るかと思うのですが、思った以上にPythonという言語はスタートアップに採用されています。 日本にはLLというと、 CGIで一世を風靡したPerl、 そのPerlを塗り替えたPHP、 もしくはRailsと共にブームになったRubyというイメージがありますが、 Pythonは十分に実用的な言語でかつ、実践的な言語だということがおわかり頂けるかと思います。 特に我々が重視しているのはその思想です。 バッテリー内蔵言語とも呼ばれるPythonですが、 PythonにはZenの考え方が採用されています。 即ち、 import this The Zen of Python, by Tim Peters Beautiful
今日から使える！ Sass/compass ゆるめ勉強会
Sass/Compass ってよく聞くけど、なんか難しそう…って思っている主にデザイナー/HTMLコーダーさん向けの勉強会で利用したスライドです。勉強会にはハンズオンが組み込まれていたので、この資料には中途半端な部分がありますがご容赦ください。 (*'-'*) 内容的には、基礎的な事柄を、活用のための考え方を添えて解説しています。何かの参考になれば幸いです。Read less
Web開発にPythonを使う理由 - Web屋さんのアレ
僕の周りだけかもしれないですが、国内のWeb受託開発案件は「PHPで作るのが暗黙のルール」ってな勢いでPHP案件ばっかりなのですが、Python大好きな僕としては、何としてでもPythonを使って仕事をしたい！ なので頑張って布教活動をしているのですが、中々良い手応えが得られないのが現状です。。 という訳で、改めてPythonを使うメリットとか、安心してクライアントにPythonを進められる理由なんかをまとめてみました。 技術者がPythonを使うメリット 「今までPHPでやってきて何の問題もなかったし、これからPython始める意味なんてあんの？」 ぶっちゃけ、そんなにないですｗ 結果的に出来上がる物に関しては大差ないですからね。 ただし、開発効率やメンテナンス性は飛躍的に上がると僕は思います。 ライブラリがとても豊富 PHPも沢山ライブラリありますけど、Pythonだっていっぱいあるん
「コピペできない文章」がコピペできなかった理由 - てっく煮ブログ
html5先日公開した 絶対にコピペできない文章を作ったったwwww はおかげさまで好評だったようで嬉しい限りです。「不思議！」「どういう仕組みなんだ？」という声も多かったので裏側を紹介します。コピペできない訳ではないタイトルは「コピペできない」としていいますが、実際にはコピペはできます。正確に表現すると「コピーすると違う文字になる」という状態になっています。 ではなぜ違う文字になるのでしょうか。結論をいってしまうと「そこにある文字が、人間の目に見える文字とは違う」からです。といっても、これでは分からないですね。今回のために作成された独自フォントトリックの肝は「フォント」です。フォントといえば、文字の見た目を変えるために利用するものです。たとえば、「ほ」という文字を「メイリオ」フォントで表示するとこうなります。フォントを変えて「HG創英角ポップ体」フォントで表示すると、ポップな雰囲気になり
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IDEA * IDEA