perlでスクレイピング「HTTPでページを取ってくる」 - メメメモモ
perlでのスクレイピング関連をメモしていきたいと思います。 まずスクレイピングするときに行なう処理は、ページを取ってくることです。 普段は、URLをブラウザのURL欄に入力し、ブラウザがHTTPでサーバにアクセスしてページを取得しています。 この処理をperlで行なうようにします。 使用するモジュールは、次の二つがあります。 LWP::Simple LWP::UserAgent これらのモジュールは、ブラウザと同様にHTTPでサーバにアクセスしてページを取得する機能があります。 それぞれの使用例は下記のようになります。 #!/usr/bin/env perl use strict; use warnings; use LWP::Simple; my $url = 'http://yahoo.co.jp/'; # LWP::Simpleの「get」関数を使用 my $html = get(
【エラーコード】HTTPステータスコードの原因一覧 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
エンジニアのふとしです。 ネットをしていて、以下のような文言に遭遇することはないでしょうか。 404. that’s an error. この状態を見た親から「インターネットが壊れた！」と連絡がきたことがあるので、簡単に説明しようと思います。 普段インターネットをする際には意識しないかもしれませんが、この数字はそれぞれに意味が存在する「HTTPステータスコード」と呼ばれるものです。 ウェブサーバとブラウザの仕組み インターネット経由で情報を得る場合、ブラウザ（IEとかChromeとか）がサーバからページを取得しているというのは、みなさんなんとなく知っているかと思います。 サーバはリクエストに対しHTML形式でデータを返す みなさんのブラウザからサーバに「このページが見たいよ」というリクエストが送られると、サーバはHTML形式でデータを返します。 HTML形式はブラウザが解析できるファイル形
ブラウザ別 HTTPヘッダー モニタリングツールを調べてみた - hideharaの日記
HTTPヘッダー（Request・Response）を確認したい時のツールを探してみました。結果、標準ツールが十分強力であり、Proxyタイプまで使うと何でもありな勢いな事がわかりました。HTML5/CSS3/JavaScript時代だから、これぐらいないと開発も大変ですよねぇ。 ブラウザ標準 個人的に、Chromeだけ目的ピッタリが見つからなかったのですが、どのブラウザも標準ツールが充実しています。機能がありすぎるぐらい。 InternetExplorer ：[F12] > ネットワーク IE9からついてる開発者ツールの１機能。高機能です。取得結果をXML保存も出来ます。 参考：使ってみよう! F12-IE9 開発者ツール – HTTP キャプチャ機能 Firefox ：Ctrl-Shift-K 4以降で導入されたWebコンソール機能。表示も綺麗で便利。保存は出来ないみたいですが、十分で
新人コーダーに知っておいて欲しいリダイレクトの基本｜クロノドライブ
サイトを運営していると、サイト内のページの移動や削除、またはサイト自体の移転をすることがあります。その場合、リダイレクトという処理を用いて新たなページに転送を行いますが、正しい知識と手順を以って対応しなければ、検索順位の下降、ページランクやドメインエイジの喪失といったSEO的なペナルティを招いてしまいます。 そこで、そのようなペナルティを受けないために、ページ移動・サイト移転時の正しいリダイレクトの設定方法と、代表的なリダイレクトの種類やその実装方法をご紹介します。 リダイレクトの種類 リダイレクトには、HTMLやJavaScriptといったクライアントサイドプログラム、PHPやPerlといったサーバサイドプログラム、あるいは.htaccessの設定変更を行う等、様々な対応方法があります。そのうちのいくつかを、実際のサンプルソースとともに解説します。 metaタグによるリダイレクト hea
DefaultHttpClientでHTTP通信を行う | GE Android Blog
Androidでは様々な機能を利用できますが、 今回は単純なHTTP通信を行ってみたいと思います。 Yahoo! JAPANにHTTPでアクセスをして取得できるHTML情報を そのままTextViewに反映させてみます。 HttpCheckActivity .java public class HttpCheckActivity extends Activity { private static String URL = "http://www.yahoo.co.jp/"; @Override public void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout.main); // リスナーの設定 findViewById(R.id
HttpClientで取得とAsyncTaskで非同期処理 « LightJamBox
Androidを使いはじめて、こういうアプリが欲しいけどまだ作られていないということがしばしばあるのでAndroidアプリ開発について勉強しながら色々書いていこうと思います。作りたいものはいくつかあるのですが、まずはメディアマーカーのアプリを作ろうと思います。Myバインダーの閲覧・登録・編集・絞込み検索などのiPhone/iPod touchアプリ相当の機能まで実装できれば基本的なアプリ開発の勉強にもなりそうなので丁度良さそうですし、これを目標としていこうと思います。ちなみに、現在の開発環境はEclipse(3.7.1)+ADT(16.0.1)で行っています。 まずはWeb上のリソースを取得するところから。button1をクリックするとeditText1に入力されているurlのリソースを取得しにいってeditText2へ出力するといった簡単なものから作ってみます。 ソースコード impor
DefaultHttpClientでBasic認証使ったアクセスを行う | TechBooster
「DefaultHttpClientを使ってコンテンツを取得する」でWeb上のコンテンツを取得する方法を説明しました。 DefalutHttpClientではURLを指定してコンテンツを取得することが可能ですが、場合によってはそのURLにアクセスするには認証が必要なことがあります。 今回はBasic認証が必要なURLにアクセスしてコンテンツを取得する方法を説明します。 それでは続きからどうぞ 認証情報とスコープ DefalutHttpClientに認証情報（ユーザー名とパスワード）とその認証を行うスコープを設定することでBasic認証でのアクセスが可能になります。 認証情報（ユーザーIDとパスワード）はCredentialsインタフェースを実装したクラス、スコープはAuthScopeクラスが担います。 Credentialsインタフェースを実装したクラスには NTCredentials：N
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
blunck.info