PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips
はじめに PhantomJS - Scriptable Headless Browser PhantomJS はヘッドレスな（ブラウザ画面のない）QtWebKit ベースのブラウザで、JavaScript の API を通じて、そのブラウザを自由自在にあやつることが出来ます。使用シーンとしては、Jenkins などの CI ツールとの組み合わせによる Web ページの GUI の自動テストや、Web ページのスクリーンキャプチャ、スクレイピングなどが挙げられます。 今回は、ログインが必要なページの情報をパースして自分専用に RSS 化したいなと思い、３つ目のスクレイピング用途をベースに調べてみました。その内容を備忘録として残しておきます。 出来るようになること ログインが必要なページの HTML を取ってくる ログインが必要なページのスクリーンキャプチャを撮る PhantomJS の導入
Flakes - 管理画面用HTML5テンプレート
Bootstrapの登場以降、管理画面テンプレートと言った類のものが数多く登場しています。Bootstrapをサービスにそのまま組み込むのには躊躇してしまっても、運営者側の管理画面であれば十分すぎる品質と言えます。 今回紹介するFlakesもその一つですが、管理画面のUIに特化したテンプレートであるというのが特徴的です。 Flakesの使い方 Flakesは管理画面特化型とあって、管理画面上で必要そうな機能が揃っています。 Flakesはダッシュボード的な機能からデータメンテナンスまで幅広い管理画面テンプレートとなっています。カラーリングも最近のフラット系にあるほどカラフルではなく落ち着いた雰囲気なのが良いですね。 FlakesはHTML5/JavaScript製のオープンソース・ソフトウェア（MIT License）です。 Flakes • An Admin UI & Template
Bootstrapベースの管理画面向けHTML5テンプレート・「Cascade」
CascadeはBootstrapベースの管理画面を構築する為のテンプレートです。派手な装飾もなく、全体的に管理画面デザインとしてとても良さそうな印象を受けました。デモもあるので興味のある方は触ってみては。 Cascade
Bootstrapベースの管理画面用テンプレート·Charisma MOONGIFT
CharismaはHTML5/JavaScript製のオープンソース・ソフトウェア（Apache Licnese 2.0）です。 Webシステム開発において意外と不遇なのが管理画面です。内部の人が使うものなので適当に作られるケースが多くなります。そこで使ってみたいのがCharismaです。リッチな管理画面をBoostrapをベースに作り上げる事ができます。 ウィジェットがついた、リッチな管理画面です。ここまで恵まれているケースは早々ないでしょう。 ドラッグ&ドロップによる配置変更もサポート。 折り畳んで隠す事もできます。 グリッドは細かくサポートされています。 カレンダー。システム内部のデータをマッピングすると見通しが良くなりそうです。 メンバー一覧。検索やラベルもあって便利そうです。 ギャラリー。サムネイル写真をきれいに並べています。 タイポグラフィ。様々なタグをサポートしているので奇麗
自作ソフトのホームページをMediaWikiからJekyllに移行した - ブログのおんがえし
MilkodeのホームページをJekyllでリニューアルしました。 Milkode - 行指向のソースコード検索エンジン ※ 旧Wikiページにリダイレクトされてしまう方はお手数ですがブラウザのキャッシュを削除してみて下さい。 移行の経緯 MilkodeのホームページはずっとMediaWikiを使っていたのですが、以前別の自作ソフトのドキュメント作成にJekyllを使い結構感触が良かったので思い切って移行することにしました。 文章量が多かったため移行に2週間位かかりました。 MediaWikiからJekyllに移行して良かったこと ファイルで原稿を書ける Rubyを使ってフィルター処理をしたり、まとめてコピーといった一括処理が簡単です Markdownで書ける emacsのmarkdown-modeやKobito等、対応しているエディタが多いのがいい所です git管理出来る 編集履歴が見や
Railsでviews/sharedは古い? - rono23
viewsディレクトリ下にsharedというディレクトリを作成してそこに置くか、あるいはlayoutsディレクトリ下に置くこともできますが、Rails 3.1ではviewsディレクトリ下のapplicationディレクトリに置きます。 #269 Template Inheritance - RailsCasts mjd? このsideという部分テンプレートがすべてのコントローラから参照可能になります。これは、ビューの継承がコントローラの継承と並行して動作するからです。コントローラはすべてApplicationControllerを継承しているので、テンプレートはapplicationディレクトリから継承されます。 #269 Template Inheritance - RailsCasts 例えば、↓のように書くと、app/views/users/_side.html.erb、app/vi
今時のクールな掲示板を作れるRails製OSSディスカッションボード「Discourse」:phpspot開発日誌
Discourse 今時のクールな掲示板を作れるRails製OSSディスカッションボード「Discourse」。 ユーザインタフェースが今時の物になっており、Likeボタンやお気に入り、Ajaxによる次ページ読込機能等、使いやすく、必要な物が揃ってる感じです。 社内のディスカッションボードなんかに使ってみるとよさそうです。 GitHubでソースコードが入手出来ます 関連エントリ コーディングもブラウザ上でできるオープンソースソフトウェア「Codiad」 オープンソースのHTML5お絵かきウィジェット「Literally Canvas」 Excelそっくりな表計算モジュールを実装可能なオープンソースモジュール「Gelsheet」
既存のHTMLをMarkdownに変換·reMarked.js MOONGIFT
reMarked.jsはHTMLコンテンツをMarkdown記法に変換するJavaScriptライブラリです。 ライトなマークアップ言語として広く使われるようになっているのがMarkdownです。とは言え新規ドキュメントはよくとも既存のドキュメントの変換は面倒で、利用を控えてしまっているかも知れません。そこで使ってみたいのがreMarked.jsです。 こちらは標準のページ。普通のHTMLです。 reMark it!ボタンを押すとMarkdown記法に変換されます。 他のページでも… 変換されます。dlはHTMLのままになっています。 reMarked.jsを使えば既存のHTMLコンテンツをMarkdownに変換できます。つまり他のフォーマットから乗り換える場合も、まずHTMLに変換してからMarkdownに変換すれば良いということです。これからMarkdownを使おうという方に便利ではな
少ない手間と知識でそれなりに見せる、ズルいデザインテクニック// Speaker Deck
少ない手間と知識でそれなりに見せる、ズルいデザインテクニック with Sass / Compass (English Version) https://speakerdeck.com/ken_c_lo/zurui-design-technique-english-version 第一回 プログラマ向けデザイン勉強会 #design4p http://connpass.com/event/1185/ で発表させていただきました。 （#p4d プログラマ向けデザイン部 主催イベント http://prog4designer.github.io/） @mah_lab さんが ズルいデザインのRails gemを作って下さいました http://blog.mah-lab.com/2012/11/07/zurui-design-for-rails/ (Repository) https://git
jqueryでチェックボックスを一括変更する方法
チェック項目がたくさんある場合、一括でチェックをつけたり、はずしたりできるとユーザーの手間がだいぶ省けますよね。 ということで html <input type="checkbox" id="all" />全て <div id="check"> <input type="checkbox"/>お金 <input type="checkbox"/>愛 <input type="checkbox"/>知識 <input type="checkbox" />時間 <input type="checkbox" />健康 </div> 全てのinputにid=”#all”、その他をdiv id=”#check”でくくっています。 $(function(){ $('#all').click(function(){ if(this.checked){ $('#check input').attr('ch
Rails で Lazy high charts を使ってチャートを実装してみた - present
はじめに Rails アプリでチャートを実装したくて、The Ruby Toolbox で Rails プラグインを探してみた。 The Ruby Toolbox - Graphing 上記のページによると、Lazy high charts、Googlecharts、Open flash chart、Gruff の4強みたいだ。 Gruff はサーバー側でチャートを描画しないといけないからパス。Googlecharts は Google Chart API に依存するからパス。Open flash chart はチャートをブラウザ側で描画できるけど、 Flash なのでパス。 Lazy high charts は highcharts.js を使っていて、HTML5 の Canvas にチャートを描画できる。これ良さそう。Lazy high charts プラグインを使ってみよう。 Laz
Bootstrapを使おう！様々なカラーテーマ、プラグインを用意·Kickstrap MOONGIFT
KickstrapはBootstrapをベースにしたテーマ、プラグインを提供するソフトウェアです。 最近作られるWebサービスでよく使われているBootstrap。そんなBootstrapは固定色でそれっぽさが感じられてしまうのが欠点でしたが、見事に打ち消してくれるのがKickstrapです。 色が変わると随分印象が違います。 テーマ機能があります。 青と白。 こんな感じのシンプルなテーマも。 逆にカラフルなものもあります。 基本は同じですが、印象は違いますね。 好みのテーマを選べます。 JavaScriptプラグインがデフォルトよりもぐっと増えています。 Kickstrapを使えばBootstrapをより便利に使えるでしょう。JavaScriptプラグインも通知機能をはじめ、色々なものが追加されていますのでWebサイトをより強力にパワーアップできるはずです。 KickstrapはHTML
正規表現確認ツール RegEx Cafe を作った - 9mの日記
RegEx Cafe - JavaScript Regular Expression Tester http://kkosuge.github.com/regex-cafe/ CoffeeScriptで書いたのでCafeです。 サクッと正規表現の確認をしたいとき Rubular が便利で使う事が多かったんだけど、落ちてる事が多かった。サイト自体が落ちてなくても、テスト結果の表示がベラボーに遅い事があったりする。入力するたびAjaxで結果取りに行ってるから遅くなるのは仕方ない気するんだけど、簡単な確認くらいならJavaScriptでいいじゃんと思ったので再開発しました次第です。Githubページにホスティングしてもらってるので落ちる事ほとんどないだろうし、通信しないので速いです。 正規表現テストツールの既出感やばいけど、その中でもRegEx Cafeはだいぶ使い易くて良いと思う。 Cof
Chrome Extentionで高機能なデスクトップ通知を作る - TechTalkManiacs
ふと思いついたことがあって、Chrome Extentionを作っています。某所に対してごにょごにょしてデスクトップ通知をするのですが、単なる通知ではさびしいですし、なにより不便です。Opera標準のRSSリーダーのようなクリックしたらリンク先に飛ぶなどのリアクションがあるデスクトップ通知が欲しいのですが、意外とこのあたりの情報がまとまっていなくて苦労しましたのでまとめておきます。 デスクトップ通知する よく知られているようにChrome ExtentionはHTML+JavaScript+CSSでChromeの拡張が作れる仕組みです。 まず、Manifest Fileと呼ばれるJSON形式のファイルがあり、ここに記述された挙動やファイル構成を元に動作します。 デスクトップ通知を行うにも、まず使用者からデスクトップ通知をしてもいいよ、という許可をもらう必要がありますので、このファイルに許可
-out of date- ブログ版：HTMLを解析してRailsのデータベースに格納
■[Ruby] HTMLを解析してRailsのデータベースに格納 「バーチャルコンソール 現在配信中のタイトル（スーパーファミコン）」の内容を解析して、Railsのデータベースに格納するコードを書いてみた。以前に構築したCygwin環境で動いてます。 指摘とか突っ込みとかありましたら、お気軽にコメントへどうぞ～ ちなみに、HTMLパーサのHpricotライブラリの弄ってたら いつの間にかこんなものが出来上がっていたｗ ◎参考書籍 → ライド・オン・Rails Ruby on Railsを徹底攻略 RubyからRailsのデータベースにアクセスする方法。(p.236あたり) ◎参考サイト → RubyScraping - Hpricot → pylori*style wiki - HTMLパーサ Hpricot → Greenbear Diary - RubyでHTMLとWebを操作するため
[ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize - Greenbear Diary (2007-02-05)
■ [ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize 今日は、RubyでWebサイトを解析するときに強い味方となるライブラリ、HpricotとWWW::Mechanizeを紹介します。 どちらも非常に強力なので、覚えておいて損はないよ！ 以下ではまずHpricotでHTMLを解析・編集する方法について解説します。 次に、「はてなダイアリーの自動更新」を例にWWW::Mechanizeの使い方を解説します。 Hpricot HpricotはHTMLを解析するためのライブラリです。 例えば「あるページのリンクだけを全部抜き出したい」と思ったとき、どうしますか？scrAPIを使う？でもscrAPIはやっぱり ちょっと使いたいだけなのにパーザ(Scrape)用のクラスを定義するのが面倒なんだよね！ Hpricotなら、たったこれだけで
![[ruby] RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize - Greenbear Diary (2007-02-05)](https://cdn-ak-scissors.b.st-hatena.com/image/square/b0dd2a08b2c0fff30d70543ed7fa340ebfeb5697/height=288;version=1;width=512/https%3A%2F%2Froute477.net%2Fd%2Fassets%2Fogimage.png)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IDEA * IDEA
Web制作をこれから始める人の為のスキル・HTML・CSS・ブラウザ・写真素材入手の基礎情報*ホームページを作る人のネタ帳