Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
この記事について 本記事はPythonを使ったWebスクレイピングのテクニックを紹介します。 ※お酒飲みながら暇つぶしで書いたので割と適当です。 今回紹介するテクニックを使えれば経験上大体どんな値でも取得でき、これらはRubyだろうがGolangだろうが同じ様に動作します。 Webスクレイピングが出来ないサイトがあればコメントにて教えてください。全身全霊を持ってやってみます。 また、Webスクレイピングをしたことが無い方は下記の記事を読むことをお勧めします。 Python Webスクレイピング 実践入門 - Qiita 追記更新 6/12 コメントに対応しました。 はじめに 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧
ウェブページを1秒台で表示させる原理と方法 | Philosophy Guides
可能な限り最新の情報を反映していますが、追いつけていないこともあります。本サイトに採用していても、記事に反映できていない設定もあります。ページのソースを読んでいただくと、参考になる箇所があるかもしれません。 ウェブページの高速化に関するテクニックは、ネットで検索すれば簡単に見つけることができます。優れた情報も数多くありますが、｢CSSとJavaScriptはminify（ミニファイ）しておけばOK！」のような都市伝説も少なくありません。 そこで、ここでは本サイトのデザインリニューアル時に施した対策をもとに、一歩進んだウェブページの高速化の方法と、それを支える原理について、できる限り分かりやすく説明したいと思います。フロントエンジニアやデザイナーの方からすれば「んなもん知っとるわ！」な情報なのかもしれませんが、都市伝説を駆逐すべく、私なりの仕方で解説（≒加勢）したいと思います。 初めに結果を
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
インターネットの歴史 - Yahoo! JAPAN
本サイトは2021年4月時点の情報です。正式表記ではない名称も含まれております。あらかじめご了承ください。
ウィルス感染でWebサービスが20日間ダウン。本当にごめんなさい - Qiita
障害が起きたWebサービスは個人で運営しているサービスです。 2016年2月、障害から20日後にサービス再開しましたがアクティブユーザは以前の18%です。未だ回復の目処は立っていません。冗長化していないサーバがウイルス感染し、その後の対応も後手後手に回ってしまいました。 2016年1月末に起こるべくして起こった障害について記事にしてみました。ご迷惑をお掛けしてしまい本当に申し訳ありません。 ■ ユーザは、もう戻ってこない どんなウイルスに感染したのか SYNフラッド攻撃（SYN Flood Attack）を他のWebサイトに行うウイルスに感染して、確認していませんが他のサービスをSYNフラッド攻撃していたと思います。またウイルス感染時にサーバのsshdを書き換えられsshで接続できなくなりました。感染後にコンソールログインして書き換えられた醜い authorized_keys を見た時ゾッ
僕が「ホワイトリスト」を採用しなかった訳 - ockeghem's blog
ホワイトリストという用語はセキュリティの分野では非常に基本的な用語ですが、セキュアプログラミングという文脈では意外に曖昧な使われ方がされているように見受けます。本エントリでは、ホワイトリストという用語の意味を三種類に分類し、この用語の実態に迫ります。拙著体系的に学ぶ 安全なWebアプリケーションの作り方（以下、徳丸本）では、ホワイトリストという用語を一度も使っていませんが、その理由に対する説明でもあります。 ホワイトリストの分類 私の調査によると、ホワイトリストは以下の3種類に分類されます。 許可されたものの一覧表（第一種ホワイトリスト） セキュリティ上安全と考えられる書式（第二種ホワイトリスト） アプリケーション仕様として許可された書式（第三種ホワイトリスト） 以下順に説明します。 許可されたものの一覧表（第一種ホワイトリスト） ホワイトリストというくらいですから、本来のホワイトリストは
サイトのデザインは54%が「好みで決定」、27%が最後に上司にひっくり返され、90%は消費者の意見を参考にせず／デザイン決定プロセス調査 | Web担当者必見！ リサーチ データ&市場調査レポート
参考意見としてターゲット消費者の意見を取り入れているのは10%に過ぎず、90%が消費者の意見を聞かずにデザインを決定している。 デザイン決定のポイントは、「発注側の経営者・上司・担当者の好み」が54%。「サイト制作のゴールを達成できそうだから」（20.7%）の倍以上の割合で「好み」を優先。 27.3%が「発注側の経営者や上司の独断的な意向で最終決定の直前にデザインがひっくり返った」ことで困った経験がある。 これは、デザイン決定のプロセスをビジネス目的に対して最適化するための消費者評価（アンケート）ソリューション「CREATIVE SURVEY」を提供する株式会社フォーデジットとWeb担当者Forumは、共同で行った、「Webサイトのデザイン決定プロセスに関する調査」の結果のハイライトだ。 この調査は、企業サイトの制作において、デザイン決定がどのように行われているのかを調べることで、ビジネス
Common LispがWeb業界を駆逐するとき - Revenge of Lisp in Web
Common Lispはこの世に存在する言語の中でストレスなくプログラムできる唯一の言語であるというのは周知の事実です(ですよね？)。にも関わらず、実際に使われる機会はそれほど多くはありません。僕自身、仕事で使うのは難しいと考えています。 たとえばこんなことを言われたとします。 「やあ深町くん。実は大急ぎでTwitterみたいなサービスをつくってほしいんだ。できれば1週間でね」 そうすれば僕はこう言うでしょう。仕方ない。Perlだ。少しの間Common Lispと別れを告げ、ひたすらCPANを検索しつづける日々を迎えます。(もしくは転職先を探しているでしょう) なぜCommon Lispではないのか。違いは決定的なライブラリの数と質の差です。CPANには考えうる限りのライブラリがあり、しかも多くにおいて複数の選択肢が存在します。 一方のCommon Lispはライブラリがあればラッキーです
TwitterやFacebookのURLには、なぜ#!が含まれるのか (SEOとAjaxのおいしい関係) - kazuhoのメモ置き場
Ajaxを使うためにはページ内リンク (hash fragment=URLの#以降) を使うのが一般的*1 hash fragmentはサーバに送信されないから、JavaScript非対応のブラウザだと動作しない 特にサーチエンジンのクローラ等で問題になる*2 そこで Google は、#! が含まれる URL を hash を含まないものに読み替える仕組みを提唱している。例えば「www.example.com/ajax.html#!key=value」のサーチエンジン用URLは「www.example.com/ajax.html?_escaped_fragment_=key=value」になる。 TwitterやFacebookはこの仕様に従うことで、Ajax な UI と SEO を同時に実現している、というわけ。ということを調べたなう。 参照: Getting Started |
304 - narucissus is Not Modified 「Internet Explorerでは、○○○○をダウンロードできません。」
Google のウェブログ公開ツールを使って、テキスト、写真、動画を共有できます。
高反発マットレスの選び方 | アフィブログに騙されない為の高反発マットレス手記
ウレタン系高反発マットレスでよく言及されるのが密度です。それを頑張って分かりやすく説明してみます。
フリーのWEBアプリで使える高品質アイコン集「aspneticons.com」:phpspot開発日誌
aspneticons.com -- free icons for ASP.NET web applications フリーのWEBアプリで使える高品質アイコン集「aspneticons.com」。 次のようないい感じのアイコンが無料でダウンロードでき、商用/非商用に関わらずウェブアプリで使ってよいとのこと。 配布画像フォーマットはGIFですぐにWEBアプリで使えますね。 これはいいですね。 関連エントリ 2色のハイクオリティなフリーアイコン配布サイト「2pt3」 ソーシャルブックマークのアイコン集 フリーのWindowsVista用アイコン等をダウンロード ロイヤリティフリーのアイコンを試す
Web案件必須 Selenium - 人気急上昇中自動テストツール
Seleniumgはエンタープライズ向けのアジャイル開発メソッドの代表的存在のひとつあるThoughtWorksにおいて開発されているプロダクト。Apache License Version 2.0のもと公開されているオープンソースソフトウェアで、次のコンポーネントから構成されている。 Selenium Core - Selenium本体 Selenium IDE - Webブラウザから編集を可能にするFirefox拡張機能 Selenium Remote Control - リモートサーバ経由で試験を実施するためのコンポーネント Selenium on Rails - Ruby on RailsでSeleniumを使うためのコンポーネント Seleniumの本体となるSelenium Coreは20日(米国時間)に最新版となる0.8.0が公開されている。0.8.0における主な変更点は次の
onsubmit で disable にするやつ
■ onsubmit で disable にするやつ onsubmit で submit ボタンを disable にしてユーザビリティを良くする フォームを送信した時に、submit ボタンを disabled にして二重送信を防ぎましょう、というのがナウなヤングにバカウケ？ そんでもって、ここに書いてあるやつ なら、そこの JavaScript を読み込ませるだけで、自動的に全てのフォームに対して設定が行なわれるので便利。中止ボタン対策もしてあってグッド。 ただ、Deer Park な Firefox で試した所、戻るボタンで戻った場合は disabled が解除されないし、中止ボタンでの復活も効かない様子。 なので、書き直してみました。 var DisableSubmit = { init: function() { this.addEvent(window, 'load', thi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
入力フォームの「クリア」「キャンセル」ボタンは外せ！ そんな機能は必要ない／15か条の11 | 勝手にEFO分析-エントリーフォーム改善
「HTTP/2」制定の背景や「HTTP/1」との違い、Akamaiのマーク・ノッティンガム氏が説明 
Components · Twitter Bootstrap
ネットプリント
How To Use Twitter（Twitterの使い方） - カイ士伝
フリーのCSSデザインテンプレート集「Free Css Templates」:phpspot開発日誌