Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
この記事について 本記事はPythonを使ったWebスクレイピングのテクニックを紹介します。 ※お酒飲みながら暇つぶしで書いたので割と適当です。 今回紹介するテクニックを使えれば経験上大体どんな値でも取得でき、これらはRubyだろうがGolangだろうが同じ様に動作します。 Webスクレイピングが出来ないサイトがあればコメントにて教えてください。全身全霊を持ってやってみます。 また、Webスクレイピングをしたことが無い方は下記の記事を読むことをお勧めします。 Python Webスクレイピング 実践入門 - Qiita 追記更新 6/12 コメントに対応しました。 はじめに 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧
SSL証明書をSHA–1からSHA–2に更新する際にはご注意を！ | さくらのナレッジ
現在SSL証明書の署名アルゴリズムがSHA–1からSHA–2へと変更になる過渡期となっています。今後はSSL証明書の新規取得や更新を行う際にはSHA–2の証明書を取得することになると思いますが、いつも通りの慣れた作業と思っていると、思わぬところでハマるかも知れません。 今回は実際に更新作業をした経験を踏まえて取得/更新作業の注意点について簡単にまとめてみました。 そもそもなぜSHA–2に移行する必要があるのか？ 署名アルゴリズムがSHA–1の証明書は非推奨となり、ゆくゆくは廃止となる流れとなっています。基本的にSHA–1の証明書は2017年1月1日以降使えなくなると考えてよいでしょう。そして2016年12月31日までにSHA–2に移行する必要があります。 詳細はここで説明すると長くなりますので、次のようなSSL証明書の発行元のサイトの解説を参照してください。 SHA–1証明書の受付終了とS
「チーム作りはプログラミングだ」とMisocaのエンジニア社長が豪語する理由 | HRナビ by リクルート
Web上で請求書の作成・処理が行える無料サービス「Misoca（ミソカ）」。2011年の11月にサービスを公開してから3年半で、ユーザー数は既に4万人を上回っている。 サービスを運営しているのはスタンドファーム株式会社。現在、6人のコアメンバーと4人の外部サポートメンバーからなる同社の代表・豊吉隆一郎氏曰く、「創業当初からリモートワークを推奨し、現在もチームメンバーに出勤義務は与えていない」と話す。社員10人中9人がエンジニアという組織をリモートでどのようにマネージしているのか、プログラマ集団をどのように1つのチームとして成り立たせているのか、お話を伺った。 豊吉隆一郎氏。スタンドファーム株式会社代表取締役。1981年岐阜県生まれ。岐阜工業高等専門学校 電気工学科を2004年に卒業後、TOYOSYSTEMとして個人事業でWeb受託開発業を開業。2011年、スタンドファーム株式会社を創立し、
[php] フォームを自動で送信する formデータを送信する 送信ボタンsubmitしなくても送られる
Take a Rest PHPでフォームを介さずにGETとPOSTを送信する 上記ブログに心から感謝！一瞬でできました！ ■ サンプルについて index.phpを開くと、g.phpに対してhttpリクエストが送られます（get / post 両方） このコードではブラウザ上では見た目の変化がないので結果が確認できません リクエストされたg.phpがログを書き出すことで結果を確認するようにしました g.phpと同一ディレクトリ内にdebug_log.txtを作っておくと debug_log.txtにログが書き込まれ、リクエストの履歴とGET/POSTの中身が出力されます。 これで動作確認。 なるほどー、fsockopenでHTTPリクエストをする道筋？を作っておいて、 fwriteでその道に対してデータを送信！fcloseで玄関を閉じる！ そんな感じなのかな。 そのうちやりたい認証系もこれ
![[php] フォームを自動で送信する formデータを送信する 送信ボタンsubmitしなくても送られる](https://cdn-ak-scissors.b.st-hatena.com/image/square/f9e2378bc8be24ba68c6f5710ba6634da507d8c0/height=288;version=1;width=512/http%3A%2F%2Flivedoor.blogimg.jp%2Fqoozy%2Fimgs%2F6%2Fc%2F6c6c35d8.png)
Web・アプリ開発に使える無料のワイヤーフレームツールまとめ
Web制作やアプリ開発では、本格的なデザインに入る前にワイヤーフレーム作ることがよくあります。制作会社によってはPower pointやExcelなどが使われることもありますが、それらはワイヤーフレームに最適化されておらず、やや不便。 以下で紹介するようなツールを使えば、もっと便利で豊富な機能を使うことができます。Excel方眼紙から卒業したい！という方は要チェック。 無料で使えるワイヤーフレームツールまとめ JUSTINMIND こちらはワイヤーフレームからデザインまで可能なプロトタイピングツール。PCサイトはもちろん、モバイル向けのサイトやアプリのワイヤーフレームも作れます。Photoshopのような洗練されたUIで、ドラッグ＆ドロップでコンテンツを追加することができます。 Wireframe CC こちらは完全フリーで使えるワイヤーフレームツール。Webアプリなのでブラウザ上で編集す
はてなブックマーク
キーボードショートカット一覧 j次のブックマーク k前のブックマーク lあとで読む eコメント一覧を開く oページを開く ✕
perl WWW::MechanizeでYahoo!Japanにログインする
perlのWWW::Mechanizeモジュールでヤフー！ジャパンにログインするサンプルコード。 #!/usr/local/bin/perl # Coded by kaworu package K; use strict; use warnings; use WWW::Mechanize; sub yahoo_login { my ($login, $passwd) = @_; my $url = 'https://login.yahoo.co.jp/config/login'; my $mech = WWW::Mechanize->new(); $mech->get($url); if(! $mech->success() ) { return; } if(! $mech->is_html()) { return; } my $r = $mech->submit_form( form_n
HDEラボ
最初のアップデートリリースになります。本アップデートで基本機能(Web/DNS/FTP/Mail/FW)のIPv6対応が完了しました。 IPv6対応 以下の機能を新たにIPv6へ対応致しました。 メールサーバ(postfix) (メールサーバ(postfix)機能はHDE Controller 6.0 ISP相当へアップグレード) (メールサーバ(sendmail)機能はIPv6対応の予定はありません) 基本設定 IPv6経由でのメール送受信の設定に対応 アクセス制御 IPv6アドレスの入力に対応 ※POP before SMTPは廃止予定 スマートリレー設定 IPv6アドレスの入力に対応 英語版対応 日本語版と英語版への切り替えに対応致しました。 「HDE Controller 設定」-「インターフェース設定」で、ユーザーのデフォルト使用言語が選択 RHEL 6対応 LDAPサーバー機能
法と技術とクローラと私 - 最速転職研究会
こんにちは、趣味や業務で大手ポータルサイトのサービスで稼働しているいくつかのクローラの開発とメンテナンスを行っているmalaです。 さて先日、岡崎市立中央図書館Webサイトをクロールしていた人が逮捕、勾留、実名報道されるという事件がありました。 関連URL: http://librahack.jp/ 電話してみた的な話 http://www.nantoka.com/~kei/diary/?20100622S1 http://blog.rocaz.net/2010/06/945.html http://blog.rocaz.net/2010/07/951.html この件につきまして法的なことはともかくとして技術者視点での私見を書きたいと思います。法的なことは差し置いて書きますが、それは法的なことを軽んじているわけではなく、法律の制定やら運用やらは、その法律によって影響が出る全ての人々の常識
下京区jra-jwc
台所の交換を敢行する場合の工事期間は、傷みの進行度や修復の中身次第で決まってきますが、場所を変えることなく、同一寸法のシステム台所を設置するだけなら、1週間もあったら完了すると思います。新築購入時と同水準か、それ以下の水準にしかならない工事... 普通の交換見積りサイトは、申込者のお名前や携帯等を提携業者に引き渡してしまうことが前提だと言えるわけで、セールスの電話が掛かってくることもあり得ると思います。安く買うことができるという理由で、中古として売りに出されていたシステム台所を買って... 交換費用の見積もりを見てみると、結果としては残ることが一切ない諸経費と仮設工事費が計上されておりますが、諸経費に関しては的確に理解されていない場合が多く、利益を増やすための項目に過ぎないと想定されがちですね。交換会社を見たてる際の観点は、人... 台所の交換をやりたいという気持ちはあっても、工事費が幾ら
Librahack ： 容疑者から見た岡崎図書館事件
出来事の詳細 3/13 新着図書データベースを作るためクローリング＆スクレイピングプログラムを作成した ちょうどその頃、市場調査を行うためにECサイトのスクレイピングプログラムを作っていた。そのついでに、前々から構想していたLibra新着図書Webサービスを作ろうと思った。市場調査プログラムの一部をカスタマイズして、新着図書データベース作成プログラムを作った。この時、市場調査プログラムと新着図書データベース作成プログラムは同じプログラム内にあり、パラメータでアクションを指定して振り分けていた。 Webサービスを作ろうと思った動機は「なぜプログラムを作ったか」の通り。 Webサービスの概要は「どんなプログラムを作ろうとしていたか」の通り。 普段読む本を入手する流れ：1. Amazonの各カテゴリの売れ筋をチェックしてレビューを確認し読むかどうか決める（または、書評ブログや新聞などのメディアで
IPv6 enabled TOP 1000000 websites
Here is a list which contains all popular sites (according to Alexa) with an IPv6 address. Out of the 988840 tested websites only 2345 have one or more IPv6 addresses. That is 0.24%. Out of the 4975 IPv6 addresses only 3478 are connectable. That is 69.91%. Click here for the wordwide hall of fame and shame. Complete list: Rank Website IPv6 URL and address
Moodle
Learn about Moodle's products, like Moodle LMS or Moodle Worplace, or find a Moodle Certified Service Provider. Moodle.com Our social network to share and curate open educational resources. MoodleNet Courses and programs to develop your skills as a Moodle educator, administrator, designer or developer. Moodle Academy Moodle.com Learn about Moodle's products, like Moodle LMS or Moodle Worplace, or
aguse.jp: ウェブ調査
あやしいサイトや知らないサイトを訪れる前に、URLを入力するだけでサイト背景情報を調査したり、迷惑メールの送付経路を表示したりすることが出来ます。
Google Analytics以上の超強力なリアルタイムアクセス解析ができる「Woopra」を試しに使ってみました
通常のアクセス解析はある程度時間が経過してからでないとその結果がわからないため、「まさに今！このページがヒットしている！」というのがわかりにくいのですが、この「Woopra」というアクセス解析サービスはとんでもないリアルタイム性がウリとなっており、誰かが訪問しに来たら即座にわかるようになっています。 リアルタイムアクセス解析を最大限活用するため、ブラウザ経由での利用だけでなく、Javaをベースとして作られたWindows・Mac・Linux対応の専用ソフトがあり、来訪者にタグ付けして個別に追跡、IPアドレスなどあらゆる条件で絞り込めるクイックフィルタ、誰がどこから来たのかすぐにわかるマップ、特定の条件のユーザーが来たらポップアップしたり音を鳴らして知らせてくれる機能などなどを搭載。そのすべてがリアルタイムに刻一刻と変化して最新の情報を教えてくれます。Google Analyticsで実現し
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.north-geek.com/entry/programming-rookie
Can I get a list of top sites from an API? – Alexa Support
IPv6 Deployment Aggregated Status
Website Safety Check & Phishing Protection | WOT
魔女っ娘つくねちゃんweb 第20話 コミックパラドックス!?