ストアドを使って、Webスクレイピングをしよう！ - moriyoshiの日記
こんにちは、SQLを愛してやまないmoriyoshiです。 ストアドプロシージャは、一連のSQL文をサブルーチンのようにDBサーバに記録しておき、後からそれを呼び出すことができるようにする仕組みです。近代的なRDBMSには標準的に備わっている機能といえます。 制御構造などもSQL文で記述することができるので、結果的に、あらゆるロジックをSQLのみで記述することができます。手続き型プログラミングにどっぷり浸かった現場の方から愛用されていると言われています。 今回は、ストアドプロシージャの応用として、Webスクレイピングを行なってみましょう。Webスクレイピングとは、特定のWebサイトにアクセスし、そのページの内容 (HTML) を取得、解析し、必要な情報を取り出すという一連の操作を自動化することです。Webスクレイピングを効果的に活用すると、人間がブラウザに向かって単純作業を繰り返す必要がな
[JS]モバイル・タッチデバイス用のアプリケーションを構築するためのJavaScriptのフレームワーク -DHTMLX Touch | コリス
DHTMLX Touch [ad#ad-2] DHTMLX Touchの主な特徴 DHTMLX TouchはUIウィジェットのセットだけでなく、モバイルやタッチデバイス用のクロスプラットフォームのウェブアプリケーションを作成することも目的とした完全なフレームワークです。 対応デバイス iPad, iPhone, Androidなど人気の高いデバイス全てに対応。 Firefox3.6, Chrome, Safari など主要ブラウザにも対応。 リリース計画 以下のリリースを予定しています。 フル機能のヴィジュアルデザイナー サーバーサイトのインテグレーション データストアのグローバル化 カルーセルコンポーネント アニメーションの追加 詳細なドキュメント クライアントストレージのサポート ver 1.0のリリースを2011年第1四半期に予定しています。 [ad#ad-2] DHTMLX Tou
どんぞこ日誌(2011-01-06)
* [Perl] 5分で分かる Acmeモジュールを知らない人がAcmeモジュールの便利さを学べる記事を書いたよ Acmeモジュールを知らない人にAcmeモジュールを話して欲しいと言われたことはないけど日誌書きました。 難しい話は抜きにしてAcmeモジュールはuseで呼び出せば動きます。Perlが動くサーバーならなんとかなります。 コピーライトの西暦を自動更新 Acme::Currentを使えばページフッタの西暦も自動更新します。 use Acme::Current; print qq/Copyright (c) 20010-$Acme::Current::YEAR Acme inc. All Rights Reserved./; 他人のサイトの内容を読み込む ジャックバウアーに関するデータをチェックして何かするときなどに便利。 use Acme::24; print Acme::24->
YappoLogs: Groonga for Perl Project
Groonga for Perl Project 表題の通り Groonga さんの Perl バインディングかき始めてます。 Groonga とは senna の後継検索エンジンで、サーバとかついてるんですが Groonga for Perl では libgroonga のバインディングを作ってく感じになるので、 Groonga のサーバとか叩くような物は提供しません。 https://github.com/yappo/p5-Groongaでやってます。 libgroonga を直接叩く事によって Groonga の Ruby バインディングで提供されてるような特定のキーワードに対してマークアップするフィルタのような事も簡単に作れます。 rroonga での tag_keys を Perl に移植すると以下のような感じになります。 Groonga に対する入出力はバイトストリームにする感
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
ウノウラボ Unoh Labs: PHPで暗号化・復号化あれこれ
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
ホームディレクトリをGitで簡単に管理するための.gitignore活用法
さて、まったくブログを更新していないtfmagicianです。 こんにちは。 先月は1記事しか書いてないですね。今年は月10記事以上を目標に、楽しみながら書いていきます。 今日は、Gitをネタに取り上げます。 前回はプロジェクトに関するGitネタでしたが、今回は個人的なモノ。 Gitと一緒にCakePHPを楽しむ – CakePHP Advent Calendar 2010 6日目 あなたの宝物が詰まったホームディレクトリをGitで管理してみます。 ホームディレクトリの”なに”を管理するか これは人によって異なります。 例えば、あなたがMac使いで、Mac上でGitを使うというなら、ドキュメントも管理したくなるかもしれない。 例えば、あたながLinux使いなら、設定ファイルだけGitで管理出来れば良いかもしれない。 .gitignoreをうまく設定出来れば、どちらのパターンも対応出
PostgreSQL関連情報
PostgreSQLバイブル サポートページ サンプル SQLの実行 レプリケーション レプリケーションの設定 pgpool関連情報 pgpool-IIのセットアップ pgpool-II:レプリケーションモード pgpool-II:マスタスレーブモード Streaming Replication はじめに クイックスタート 機能一覧 仕組み memcached mcb: memcached benchmark tool pgmemcached Postgres-XC ver0.9.2クイックスタート gtmのJava版 gtmの多重化 並行プログラミング The Programmer's Guide to the Parallel World MySQL [MySQLの基礎知識] MySQLとは MySQLの概要 データベースシステムの構造 データベースシステムへのアクセス方法 ストレージ
第11回 トランザクション処理に詳しくなろう
富山県高岡市 株式会社イーザー副社長。昔は1月初旬に積雪がないと「いい正月やね。雪なーて」と富山弁であいさつしたものだが，現在は地球温暖化を目のあたりにするようで不気味だ。でも，会社まで公共交通機関はなく，雨やときおり雪が降るので車で通勤している。徒歩や自転車に変えなければと思うのだが，冬場はやはり億劫だ。 「トランザクション処理は関連する複数の処理をまとめて，一つのユニットとして実行する処理方式です」──データベースの入門書にはたいていこんな風に書いてあります。 説明用の最も多い図解が，図1のような銀行の口座間の振替処理ではないでしょうか。Aさんの口座から5万円出金した後で，何らかの原因でBさんの口座に入金することができなかったら，5万円が宙に浮いてしまいます。 トランザクションとして一つのユニットとして実行することで，更新処理をALL or Nothingの状態にできるので，中途半端な
[ThinkIT] 第3回：トランザクションの比較 (1/4) -at- 徹底比較!! PostgreSQL vs MySQL
トランザクション機能をサポートしているのは、PostgreSQLとMySQL＋InnoDBエンジンであり、MySQL＋MyISAMエンジンはトランザクション機能をサポートしていません。ここでのトランザクション機能とは、複数のテーブルやレコードに影響をおよぼす処理を1つの単位とみなし、この単位での処理結果を保証する機能を指します。 具体的には、BEGIN文にてトランザクションを開始していくつかの処理を行った後、処理を確定する場合はCOMMIT文、処理を取り消す場合はROLLBACK文を使用し、トランザクションを終了させるまでの処理です。 トランザクション分離レベルとは、複数のトランザクションが同時に実行された場合に、他のトランザクションからの影響がどのくらい分離するかのレベルを意味します。 ANSI/ISO SQL規格（SQL92）では4つの分離レベル（下記コラム参照）が定義されています。P
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
