phpによるスクレイピング処理入門
1. はじめに このサイトは php を利用したスクレイピング処理の具体的手法について記載されたサイトにしようと思っています。なので、あまり面白いサイトではありません。内容も偏重していることと思いますが、ご質問などがございましたら、りょーちまでご連絡ください。 1.1. スクレイピングとは スクレイピングの話しを始める前に、現在のWebサービスについて幾つか言及しておきます。 現在様々な会社が様々なWebサービスを展開しています。かなり昔、今よりWebサイトそのものが少ない頃の時代は、HTMLファイルを手動で作成することが殆どでした。しかし、現在はバックグラウンドにデータベースが存在し、データベースの内容を動的に表示し、ページを作成するようなサイトがかなり多くなっています。 さて、データベースを利用するメリットは何でしょうか？ 幾つかの視点が挙げられると思います。 最も重要な点は、ひとつひ
ApacheからCGI(Perl)を利用できるように設定する(ScriptAliasディレクティブ)
必要なモジュールが利用可能か確認する Apache から CGI を利用するには mod_cgi モジュールが利用可能になっている必要があります。デフォルトで利用可能になっていると思いますが、確認のために httpd.conf ファイルを開き mod_cgi で検索してください。 # # Dynamic Shared Object (DSO) Support # # To be able to use the functionality of a module which was built as a DSO you # have to place corresponding `LoadModule' lines at this location so the # directives contained in it are actually available _before_ they
本当の基礎からのWebアプリケーション入門――Webサーバを作ってみよう
このページの目的は、 Webアプリケーションの基礎の基礎を説明することです。 さて、ここから下のぐだぐだは読み飛ばして、 いきなり実装の説明に 行ってもらってもかまいませんが、一応趣旨を書いておきます。 現在、プロのプログラマーの方々には、日々の仕事でせっせと 「Webアプリケーション」を作っている人が多いと思います。 そして、いまどきWebアプリケーションを作るのに、 CGIとかあり得ないでしょうから、 それなりの高級言語で、 それなりのフレームワーク等を使用して作っているのだと思います。 私自身、現状、仕事では主にC#とASP.NETを使っています。 そうやって生産性を上げるのは大変よいことだと思うのですが、 ことWebアプリケーションにおいては、 そのような「一見簡単そう」なフレームワークを使っても、 ちょっとややこしいことをやろうとするとすぐにうまくいかなくなって、 職場の先輩に聞
「本当の基礎からのWebアプリケーション入門――Webサーバを作ってみよう」始めました - K.Maebashi's はてなブログ
以前から「誰か書いてくれませんかね」とか言っていた「本当の基礎からのWebアプリケーション入門――Webサーバを作ってみよう」ですが、誰も書いてくれないので自分で書きました。 本当の基礎からのWebアプリケーション入門――Webサーバを作ってみよう http://kmaebashi.com/programmer/webserver/index.html 現状、合計で140行くらいのJavaプログラムで、普通に画像やCSSを含むWebページが表示できています。こちらのページの下のほうにも画像を貼っていますが、こんな感じで、ローカルのファイルシステムに置いてある私のWebサイトのトップページが表示できていますし、もちろんリンクをクリックして遷移することもできます。 「えっ? Webサーバってこんなに簡単に書けるの?」と思う人も多いのではないでしょうか。 もちろんこんなのは「わかっている人」から
Hyper Estraier - Wikipedia
Hyper Estraier（ハイパーエストレイヤ）は、日本で開発された全文検索エンジンのライブラリである。ライセンスはLGPLで提供されている。 N-gram法を拡張したインデックス方式であるN.M-gram法を採用し、どの言語でも洩れの無い検索が可能になっている。また、MeCabを用いて形態素解析の結果を用いた処理を行うことが出来る。作者は平林幹雄。 バックエンドには、同じ作者によるQDBMを採用、データベースに対するgathererとsearcher、独自のテキスト分析システムで構成される。 文書が持つ複数の属性をインデックスに保存することができる。属性を用いた検索と、全文検索を併用することができる、実用的な全文検索エンジンである。類似文章検索の機能もある。 Hyper EstraierのAPIを利用したコマンド群 Webブラウザを通じて検索を行うためのCGI 複数台のサーバーのP2
Namazu - Wikipedia
Namazu（なまず）は、オープンソースの全文検索システム。UNIX系OS及びWindowsで動作する。 歴史[編集] 1997年、小中規模のメールアーカイブやWWWサーバ用の全文検索システムとして高林哲によって開発され、その簡便な使い勝手から1990年代末までに日本語圏における検索エンジンの代表格として普及した。2000年にバージョン2.0が公開されて以降は、Namazu Project名義による共同開発となっている。 インデクシング[編集] 転置索引方式のインデックスを採用。Perl言語で書かれたmknmzコマンドにより生成される。形態素解析には、KAKASI・ChaSen・MeCabの分かち書き機能を使用する。 フィルタ機能により、HTML以外にもOffice文書、PDF、TeX等様々な形式の文書を検索対象とすることができる。 検索クライアント[編集] 作成されたインデックスを、C言
基本的なフォーム -- ごく簡単なHTMLの説明
この例をもとに、HTMLのフォームを構成する要素を順番に説明していきます。この例のHTML全体は、本章の最後で改めて紹介します。 フォームの基本枠組み データを送信するためには「何を」「どこに」「どうやって」送るかを示さなければなりません。フォームはこのための手段を提供します。 HTMLのフォームは、データを入力するための手段（コントロールと呼びます）と、それに関するラベルや説明から構成されるひとまとまりのセクションです。「何を」送信するかを示すためにこのセクションの範囲を明示し、「どこに」「どうやって」送信するかを設定します。この枠組みを提供するのがform要素です。 form要素の構造 form要素タイプは2つの主要な属性を持ちます。ひとつは「どこに」、つまりデータを受け取るプログラムを指定するaction属性、もうひとつが「どうやって」、つまりデータの送信方法を指定するmethod属
Namazuを使おう
<記載した内容は確認したつもりですが、間違いがあるかもしれません。アプリケーションのインストールやパソコンの設定などは自己責任でお願いします> Namazu(ナマズ)は高機能でフリーな日本語全文検索システムです。Namazu projectの皆さんが開発を進めています。LinuxなどUNIX系のOSのほか、Windowsにも移植されています。Web Serverと連携してCGIとして動作させれば、日本語で全文検索が可能な仕組みが構築できます。Search-S for namazuというWindows用のGUIなアプリケーションを利用すれば、LocalなPC内で多様なドキュメント(html、text、word、excel、power point、pdf、一太郎など)の全文検索が可能になります。 詳細はhttp://www.namazu.org/を参照してください。 Namazu2.0.13が
るびま
『るびま』は、Ruby に関する技術記事はもちろんのこと、Rubyist へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 Rubyist Magazine について 『Rubyist Magazine』、略して『るびま』は、日本 Ruby の会の有志による Rubyist の Rubyist による、Rubyist とそうでない人のためのウェブ雑誌です。 最新号 Rubyist Magazine 0058 号 バックナンバー Rubyist Magazine 0058 号 RubyKaigi 2018 直前特集号 Rubyist Magazine 0057 号 RubyKaigi 2017 直前特集号 Rubyist Magazine 0056 号 Rubyist Magazine 0055 号 Rubyist Magazine 0054 号 東京 Ruby 会議 11 直
phpによるスクレイピング処理入門
1. はじめに このサイトは php を利用したスクレイピング処理の具体的手法について記載されたサイトにしようと思っています。なので、あまり面白いサイトではありません。内容も偏重していることと思いますが、ご質問などがございましたら、りょーちまでご連絡ください。 1.1. スクレイピングとは スクレイピングの話しを始める前に、現在のWebサービスについて幾つか言及しておきます。 現在様々な会社が様々なWebサービスを展開しています。かなり昔、今よりWebサイトそのものが少ない頃の時代は、HTMLファイルを手動で作成することが殆どでした。しかし、現在はバックグラウンドにデータベースが存在し、データベースの内容を動的に表示し、ページを作成するようなサイトがかなり多くなっています。 さて、データベースを利用するメリットは何でしょうか？ 幾つかの視点が挙げられると思います。 最も重要な点は、ひとつひ
HTMLタグ/フォームタグ - TAG index
フォーム全体の指定 <form action=""> 入力フォームを作る <form method="" action=""> データの送信形式と送信先を指定する <form method="" action="" target=""> 結果が表示されるウィンドウを指定する <form method="post" action="" enctype=""> 送信時のデータ形式を指定する <label> 部品とラベルを関連付ける <fieldset> フォームの部品をグループ化する <legend> 部品グループにラベルを付ける <legend align=""> ラベルの表示位置の指定する フォームの部品 <input type="text"> テキストの入力欄を作る <input type="password"> パスワード形式の入力欄を作る <input type="radio"> ラ
Yomi-Search [ディレクトリ型サーチエンジン] の解説ページ
Yomi-Search は、標準的な機能を搭載したディレクトリ型検索エンジンです。 （サンプルはこちらです。※管理室機能は使用できません） Perl5.005以降での動作を確認済みです。 Perlのバージョンは設置するプロバイダやサーバのヘルプページを見るか、サーバ管理者に問い合わせてみてください。 小数点以下の数値が無い場合でも、Perlのバージョンが5と書いてある場合にはおそらくOKだと思います。 また、メール送信機能を利用にはsendmail又はqmailが使用できる設定のサーバである必要があります。 作成したカテゴリ別にデータの分類が可能 人気(OUT)ランキング機能（on/off可）,(現在/前回/累計/カテゴリ別の集計が可能) アクセス(IN)ランキング機能（on/off可）,(現在/前回/累計/カテゴリ別の集計が可能) キーワードランキング機能(on/off可能) バナ
とほほのCGI入門 - とほほのWWW入門
とほほのCGI入門 トップ > とほほのCGI入門 CGIの概要 CGIとは？ CGIの処理の流れ CGIスクリプト CGIの設置方法 プロバイダが用意した説明書を読む Perlのパス名を調べる CGIスクリプトを作成する .htaccessを設定する CGIスクリプトを転送する CGIのパーミッションを変更する CGIを呼び出す CGIの仕様 CGIスクリプトが書き出すヘッダ情報 CGIスクリプトへ渡すパラメータ CGIデータのエンコード CGIスクリプトが参照可能な環境変数 CGIその他 CGIスクリプトのテンプレート CGIスクリプト作成時の注意 NPHスクリプト CGIのセキュリティについて CGI実行後の?以降を表示しないようにするには？ その他 WindowsでCGIを動かすには？ CGIスクリプトをデバッグするには？ ファイルのロックに関する基礎知識 CGIスクリプトの設置例
ログインシステムを作りたい！！ - OKWAVE
CGI以外では、.htaccessを使う方法があります。 ただし、サーバ側で.htaccessの利用が許可されていないと使えません。 ■.htaccessでBasic認証にチャレンジ http://www.shtml.jp/htaccess/basic.html ■.htaccessの小技編 - アクセス制限ベーシック認証 http://www.futomi.com/lecture/htaccess/htpasswd.html ■ミケネコのhtaccessリファレンス - ユーザー認証 http://mikeneko.creator.club.ne.jp/~lab/web/htaccess/auth.html なんちゃってパスワードでも良ければJavaScriptを使う方法もあります。が、ちょっと知識のある人になら誰にでも簡単にパスワードがわかってしまったり、本当の意味でのアクセス制限はか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
長文日記
https://kennyqi.com/archives/68.html
http://www.amays.com/~mizusawa/namazu_kaisetu/
bayashi.jp
http://blog.tofu-kun.org/070903003706.php