Web::Scraper で XPath と CSS セレクタを混ぜて使う例 - Tociyuki::Diary
Web::Scraper はいたれりつくせりの仕掛けが仕込んであって、便利ですね。私が、割と良く使っている機能は以下 2 つです。 process の第一引数に、CSS セレクタだけでなく、XPath も指定できます。ただし、XPath を指定するときは先頭を必ずスラッシュ(/)で始めなければいけません。 process の第二引数以降の、値をどこから取得するかを指定する部分に、コード・リファレンスを置くこともできます。これを使うと、DOM ツリー中の値を加工して抽出することができます。 具体例として、デイリーポータルZのアーカイブ一覧の中からべつやくれいさんのエントリを抽出してみることにします。まず、アーカイブ・ページのエントリ部分を取り出してやると、こうなっています。 <TD width="580" valign="top" class="tx12px"> <P> <B><FONT c
とあるはてな社員の日記 - まっさらなサーバを30分で本番投入できるようにする
すこし前にはてなスターのリリースがされたのですが、サービス開始直後にありがちなことに、時々負荷で遅くなったり、アクセスしにくくなったりしてしまいました*1。これではいけない、ということで、すぐ次の日に、バックエンドのサーバを一気に10台近くまで増やして、おおむね快適に使える状態になっていると思います。この時に、新しいサーバをまっさらな状態から、だいたい30分程度で本番投入することができていました。これを、どのように実現したのかを軽く紹介したいと思います。 ちなみに、サービスの重さは、サーバ増強だけで済むものではなく、それ以降も、Javascriptが重い!とか、アプリケーションロジックで重いSQL を走らせてしまって遅いという問題は何回かありました。が、そこはインフラではなく、アプリケーションの問題で、アプリケーションの改善は、継続的に進んでいると思います。ので、今回は、インフラの話に限定
Mozilla Re-Mix: 無くなったWebページをあらゆるキャッシュから探し出す「Resurrect Pages」
FirefoxやThunderbirdはWEBユーザーの必須アイテム。 初心者からヘビーユーザーまで使える！便利でクールなFirefox拡張機能（アドオン）の使い方やカスタマイズ、Mozilla関連情報をどうぞ。 Adobe 「Flash Player」を緊急アップデート。 by hoge (07/16) Adobe 「Flash Player」を緊急アップデート。 by H.I. (07/16) ウェブページから余計なコンテンツを排除して読みやすく表示できるFirefoxアドオン「Tranquility Reader」 by しんちゃん (07/11) YouTubeのHTML5動画に表示される広告をブロックしてくれるFirefoxアドオン「YouTube Advertisement Blocker」 by はち (06/17) ウェブページ上の不要なリンクを非表示にできるFirefox
MySQLの状態がリアルタイムでわかるMySQL用topコマンド「mytop」と「innotop」
サーバのチューニングをする上でかなりやっかいなのがデータベース系。特にログファイルの量が膨大になると後から中身を見て問題を分析するのも一苦労という場合が。そんなときにこのMySQL用topコマンド「mytop」を使えば一体何が起きているのかがすぐにわかるので問題点の把握が容易になります。ベンチマークするときに併用すればかなり効率が良くなるのではないかと。 インストールと使い方は以下の通り。 まずは「mytop」から。以下が公式サイト。 mytop - a top clone for MySQL http://jeremy.zawodny.com/mysql/mytop/ マニュアルは以下にあります。 mytop - display MySQL server performance info like `top' インストールするにはSSHなどを使ってrootでログイン後、wgetでファイル
オンラインストレージサービス80選『ONLINE STORAGE: 80+ File Hosting and Sharing Sites』 – creamu
Diary オンラインストレージサービス80選『ONLINE STORAGE: 80+ File Hosting and Sharing Sites』 使えるストレージサービスを探している。 そんなあなたにおすすめなのが、『ONLINE STORAGE: 80+ File Hosting and Sharing Sites』。オンラインストレージサービス80選だ。 以下にいくつかをご紹介。 » Mediafire.com 容量無制限のストレージ » MediaMax.com 25GBまで無料のストレージ » Megaupload.com 50GBまで無料のストレージ 転送制限はあるが、容量無制限のものもあるし、大容量のものもたくさん紹介されている。 詳しくは以下から。 » ONLINE STORAGE: 80+ File Hosting and Sharing Sites オンラインストレ
Firefox拡張機能(extension)の作り方 — ありえるえりあ
Firefox拡張機能(extension)の作り方 Firefox拡張機能(extension)の作り方を説明します。 Firefox 拡張機能とは Firefox add-onの一種です。 add-onは次のように分類できます。 plugin ...実体はexeやdll。C++で作成。素人にはお勧めしません 検索バー ...実体はXMLの設定ファイルのみ。見れば分かるので説明はしません スペルチェッカ ...日本語には無縁なので未調査(たぶんファイルを作るだけ) 拡張機能 ...実体はXML、JavaScriptとCSS。必要なら、C++で書くXPCOM。これから説明します テーマ ...拡張機能のサブセット。CSSのみの場合をテーマと呼びます
blog.katsuma.tv
経緯は自分でもまったく分からないのですが、気づいたらMySQLのrootアカウントを削除してしまいました。普段は開発中のDBに対してselect, update, insert, deleteのみを許した限定的な権限のユーザでゴニョゴニョしていたので、いざ新規テーブルを作成しようかと思ったらrootでつなげない→途方に暮れる、ということになったわけです。 よくある事例としては「rootのパスワードを忘れました」ということはあるかと思うのですが、「rootアカウント自体を削除してしまいました」という事例はなかなか聞きません。と、いうわけで地味に対応が困ったのですが、何とか復旧できたのでそのメモを記しておきます。OSはFedora5です。 まず、起動しているmysqldを停止させます。Fedoraだと(*) /etc/init.d/mysqld stop で、停止します。 (*) 起動パスなど
C言語: UNIX最速ファイルコピー
Created: Kazuki Ohta, 2006/06/14 Last Update: Kazuki Ohta, 2006/06/14 「write(2)の正しい使い方」と同じく、OS演習でやった事の延長線の記事を書いてみる。お題は「UNIX上で大規模ファイルを最速でコピーする方法」だ。一般的に、UNIXでファイルをcopyする際には以下のような方法が有る。 read -> write read -> write with posix_fadvice mmap -> mmap -> memcpy -> fsync mmap -> mmap -> memcpy -> fsync with madvise mmap -> write mmap -> write with madvise read, write, mmap辺りは良いとして、posix_fadviseというシステムコールが有
Getting started with XULRunner - Archive of obsolete content | MDN
This article explores the Mozilla platform by building a basic desktop application using XULRunner. Given that Firefox, Thunderbird, and multiple other applications are written using the platform, it's a safe bet that it can be used to build a basic application. There is an article with a more complicated approach to building XULRunner applications at Creating XULRunner Apps with the Mozilla Build
Two Dozen Short Lessons in Haskell
Two Dozen Short Lessons in Haskell - Q Pages and A Pages (WinZip - 0.9 megabytes) A PDF version of Two Dozen Short Lessons in Haskell is contained in a file named twoDznQ.pdf. The reverse sides of some pages, which reveal the information intentionally omitted from the front sides, are contained in the file twoDznA.pdf. Both files are contained in twoDzn.zip, which may be accessed through the follo
(access denied) WebHome < Asio/boost-asio-proposal-0/3/6/libs/asio/doc < TWiki
Access Denied Attention The "Asio/boost-asio-proposal-0/3/6/libs/asio/doc" web does not exist A TWikiSite is divided into webs; each one represents one subject, one area of collaboration. You are trying to 'view' in a web that does not exist. If you came here by clicking on a question mark link A link to a topic located in another web is written like Otherweb.TopicName. Make sure that the name of
Answers and Questions » Page not found
Recent Posts Firefox Modularity and WebExtensions Concert This Sunday: The King of Instruments and the Instrument of Kings Yak Shaving Hiring at Mozilla: Beyond Resumés and Interview Panels Using crash-stats-api-magic Gratitude Comes in Threes Archives 2024 (0) 2023 (0) 2022 (0) 2021 (0) 2020 (0) 2019 (0) 2018 (0) 2017 (0) 2016 (2) 2015 (4) 2014 (6) 2013 (10) 2012 (7) 2011 (7) 2010 (11) 2009 (28)
Internote Home: Persistent & Private Sticky Notes for Firefox
About Internote Internote allows you to create useful and private notes on webpages which will be there once you return. With Internote, you can do many things. Move, resize, recolor, minimize, import, export, print, delete your notes ... choose the pages where a note appears ... or manage them all at once. Internote3 includes new features such as minimized notes, the ability to specify which page
UStream.tvとtwitterでニコニコ動画ってみた、あとJavaScript→ActionScriptブリッジの更新:TKMR.blog.show
UStream.tvとtwitterでニコニコ動画ってみた、あとJavaScript→ActionScriptブリッジの更新 追記：デモページTwitterとUstream.tv のアカウントは切り替えれるようにした。 このエントリの続き JavaScript → ActionScript なオブジェクトブリッジを作ってみた 最近もっぱらActionScript勉強中なのですが、JavaScriptオブジェクトをActionScriptから叩けると楽しいのじゃないか、と思ってオブジェクトブリッジ作成中な訳です。で実際何が便利かと考えたら、まあJSONPかなぁと。やっぱActionScriptでもJSONPでクロスドメインのデータとってきたいじゃない、人間だもの。 で一つサンプルを作ろうと思ってネタ探ししてたら、なんかustream.tvってのが面白そうじゃないか。ustream.tv一言で
第7回 いまさらながらクロスサイトスクリプティングの基礎の基礎 | gihyo.jp
今回はWebアプリケーションを作ったことがない方でも分かるようクロスサイトスクリプティング脆弱性を解説します。 クロスサイトスクリプティングとは？ 初めてクロスサイトスクリプティングと聞いて、どのような問題なのかすぐに理解できる人はいないと思います。サイトAに記述されたJavaScriptプログラムがサイトB上で実行されるために発生することが問題とされたので、「サイト間をまたがるスクリプトの実行」問題として、クロスサイトスクリプティング（XSS）と名前が付けられました。この命名では直感的に分かりづらい、サイト間にまたがらずHTMLメールなどにJavaScriptを挿入する攻撃でも同じ効果が得られることから、「JavaScriptインジェクション」とも呼ばれるようになっています。 図1 簡単なクロスサイトスクリプティング 例1 簡単な直接攻撃 掲示板サイトに投稿されたデータをエスケープ処
WEBデザインに便利なリソース100:phpspot開発日誌
The Open Source Web Design Toolbox: 100 Tools, Resources, and Template Sources at DesignVitality WEBデザインに便利なリソース100リンクが紹介されていました。 フリーテンプレート OSWD OpenWebDesign Open Designs CSS Tinderbox デザインテンプレート TemplateNavigator TemplateBox Template Monster Art for the Web Free CSS Templates CSSレイアウト集 Layout Gala AndreasVilkund.com CSS Template Directory BenMeadowcroft.com Mollio CSS自動ツール、ジェネレーター CSS Creator -
努力、忍耐、謙遜
Diligence,Patience,and Humility 努力、忍耐、謙遜 Larry Wall ラリー・ウォール Translation by Akira Kurahone 我われのＰｅｒｌコミュニティでは、格言を好んで使う。そういった格言の一つに、「物事のやり方は一つではない」と言うのがある。この格言はＰｅｒｌコミュニティの真理である。また、Ｐｅｒｌそのものにも当てはまる。そして、本書の各章で明らかにされるように、オープンソースコミュニティにも当てはまる。私は、ここでオープンソースの効用のすべてを語るつもりはない。それは、英語が役に立つ理由を説明しようとするようなものである。ただ、Ｐｅｒｌの現状と今後についてなら多少は語れると思う。 こんな格言もある。「プログラミングの三大徳目は、無精、短気、傲慢である」。Ｐｅｒｌの偉大なプログラマたちは、それらの徳目を信奉している。オープンソー
parseUri 1.2: Split URLs in JavaScript
I've just updated parseUri. If you haven't seen the older version, parseUri is a function which splits any well-formed URI into its parts, all of which are optional. Its combination of accuracy, flexibility, and brevity is unrivaled. Edit (2024-04-05): See parseUri v2! Highlights: Comprehensively splits URIs, including splitting the query string into key/value pairs. (Enhanced) Two parsing modes:
How to implement a custom autocomplete search component - Mozilla | MDN
This example is your first best try because: it has no specific logic (it just returns a dummy array of choices) it doesn't care about compatibility with older Gecko versions First copy the following JavaScript code into a file named basic_autocomplete.js into the components directory (or whatever components folder is appropriate in your case): const Ci = Components.interfaces; const Cu = Componen
LAPISLAZULI HILL#Hatena - AtomPPやRESTなどのAPIにおける認証のメモ
WSSE認証 Basic認証 Digest認証 ひとまずはBasic認証で充分な気がする．WSSEは消えつつあるのかな? 以下引用メモ # 2007年06月30日 miyagawa miyagawa Basicのほうがいいよ VoxのフィードはmiyagawaさんがBasic認証対応にしたみたいです。確かにWSSE認証に対応したフィードリーダーなんて聞いたこと無い。 でもたとえば記事のPOST/PUT/DELETEとかはBasic認証でやちゃっていいのかな？今作ってるサービスでも認証方法が決まらなくてscaffold_resourceで生成したAPIもPOST/PUT/DELETEはコメントアウトしてるんですよね。 Basic認証 より正確にいうと、Atom 自体に独自の認証スキームは定義せずに、既存のHTTPで利用できるBasic/Digestを使おうということだと認識しています。WSS
Mozilla Re-Mix: Firefoxを高速化する３つのabout:config設定。
Firefoxスピードアップについてはユーザーの誰もが感心を持っていることでしょう。 ブラウジング速度の高速化はブロードバンドの普及に伴い、もっと、もっとと欲求が高まるのは当然なことですね。 前回も書いたように、Firefoxはアドレスバーに”about:config”と入力することによって各種設定項目の追加・変更を行うことができるようになっています、今回も3カ所ほどいじってみましょう。 このネタは海外のブロガーや日本のブロガーもかなり実践・紹介しているものですが、とりあえずIEで言えば「窓の手」を使ったカスタムみたいなものとでも解釈してください。 まず、アドレスバーにabout:configと入力します。 １．フィルタ欄に、”network.http.pipelining”（””は必要ありません。以下同）と入力し、表示されたnetwork.http.pipelining部分をダブルクリッ
入力文字数の制限を可視化する JavaScript
■ 入力文字数の制限を可視化する JavaScript 好評の、読み込ませるだけシリーズ の8番目。 maxlength 属性とかアプリケーション側とかでフォームの入力文字数を制限していても、ユーザにとっては自分が何文字くらい入力したかがわからないと不便そうなので、汎用的なのを作りました。 フォームにフォーカスが当たると、入力した文字数と入力可能な文字数が表示され、リアルタイムに更新されていきます。 動作サンプル コードは次の通りでして、prototype.js(1.5.0くらい) に依存してます。 var VisualLength = Class.create(); VisualLength.prototype = { initialize: function(attribute) { this.fields = ['INPUT', 'TEXTAREA']; this.attribute
Ruby-style metaprogramming in JavaScript (plus a port of RSpec) | Random Hacks
Random code snippets, projects and musings about software from Eric Kidd, a developer and occasional entrepreneur. You're welcome to contact me! Jul 01, 2007 • by Eric Kidd Programming in Ruby makes me happy. It’s a lovable language, with a pleasantly quirky syntax and lots of expressive power. Programming in JavaScript, on the other hand, frustrates me to no end. JavaScript could be a reasonable
SHJS - Syntax Highlighting in JavaScript
SHJS is a JavaScript program which highlights source code passages in HTML documents. Documents using SHJS are highlighted on the client side by the web browser. SHJS uses language definitions from GNU Source-highlight. This gives SHJS the ability to highlight source code written in many different languages: Bison C C++ C# ChangeLog CSS Desktop files Diff Flex GLSL Haxe HTML Java Java properties f
Shibuya.js を終えて #2 - IT戦記
資料置いておきます。(Firefox 推奨、IE では一部エフェクトが効きません) ↓上下キーでページ送りです。 http://sample.ecmascript.jp/shibuya_js_tt2/amachang/ 感想 うーん。テーマがテーマなだけに新しいことを話すのが難しかった。 やっぱ、prototype.js script.aculo.us は語りつくされた感ありますね。 そんな中、 id:motemen さんの Mochikit にびびっとキマシタね！ これだ！みたいな。今後、 prototype.js よりも Mochikit をいじっていきましょうかね。 あとは、最速 ma.la さんがすごかった。Trigger はパクると思う。 関連リンク http://shibuyajs.org/articles/2006/06/15/technical-talk-2
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
script.aculo.usベースのクールなツールチップライブラリ「Effect.Tooltip」:phpspot開発日誌
script.aculo.usベースのクールなツールチップライブラリ「Effect.Tooltip」 2007年07月06日- Effect.Tooltip A simple tooltip build on top of Script.aculo.us requires: Prototype and Script.aculo.us script.aculo.usベースのクールなツールチップライブラリ「Effect.Tooltip」 次のようなカッコいいツールチップを簡単に実装できます。 使い方はscript.aculo.us 風で、次のように非常にシンプル！ new Effect.Tooltip(element, content, {title : 'title', className: 'class', offset: {x:0, y:0}}); これは便利ですね。 関連エントリ Ja
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LiveJournal: Begind The Scenes / Scaling Storytime
Yahoo Developer Network
Yet Another Haskell Tutorial
asio C++ library
IBM developerWorks:わかりやすいコードを作成するための6つの方法
Greasemonkeyの開発をまとめてみる