GitHub - BruceDone/awesome-crawler: A collection of awesome web crawler,spider in different languages
Scrapy - A fast high-level screen scraping and web crawling framework. django-dynamic-scraper - Creating Scrapy scrapers via the Django admin interface. Scrapy-Redis - Redis-based components for Scrapy. scrapy-cluster - Uses Redis and Kafka to create a distributed on demand scraping cluster. distribute_crawler - Uses scrapy,redis, mongodb,graphite to create a distributed spider. pyspider - A power
ActionCable + Reactでチャットをつくってテストをして、と一通りやってみたのでメモった。 - Qiita
まだ比較的に新しい機能なのでぐぐりんぐが効果を発揮せず、結果として、ちゃんとドキュメントやコードを読むことによる学びや、床板を踏みぬくなどがあったのでまとめます。 ActionCableの機能紹介といったものではなく、こうしたかったからこの機能を使った、使えなかった、こうしたら具合が良かった、という備忘録となっています。 書きながらコードも増えていったので長いです。 どのようなチャット マーマーチャットを覚えてる人はいますか？というか、まだあったりするんですかね。 ふきだし位置を自由に決められるチャットで、16年ぐらい前、チャットにはまっていた時期に利用していたのを思い出しながら、似た感じのをつくりました。 たしかJavaアプレットで動いていて、あれってWebSocketじゃないのかなーとフンワリ思い出したのがつながりみたいなものです。 バージョン Rails 5.0.0.rc1 よって今
Railsでチャット機能を実装する方法(実装編) - Qiita
チャット機能を実装する場合、WebSocketを使う、Server Sent Event(SSE)を使う、Pusherなどのサービスを活用するなど、いくつかの方法がありますが、私のケースでは、WebSocketを使うのが最もマッチしていたので、WebSocketを利用することを考えます。この辺の選定についてはまた別途まとめたいと思います RailsでWebSocketを使う場合、websocket-railsを使うのが、手っ取り早くて良いのではないかと思います そこで、websocket-railsでの、チャネル、プライベートチャネル、セキュリティ、認証あたりの関係性が分かりにくかったので、自分なりに整理してみました websocket-railsの基本的な使い方 Event Routerへのイベントの追加 JSクライアントからのリクエストをRailsのコントローラーとマッピングしている
Turbolinksをオフしないためにやった事 - Qiita
fetchReplacement失敗時は再度レンダリングされ, landingの状態になる。 よく出てくるおまじない $(document).on 'ready page:load', -> これはjqueryが提供する'ready'とTurbolinksが提供する'page:load'の両方で定義すること。 非Turbolinks遷移時は'ready'で発火。 Turbolinks遷移時は'page:load'で発火の両方をカバーするという意味。 Turbolinksをサポートしていないブラウザでも'ready'が発火するので安心。 jquery-turbolinks gem 'ready'triggerにpage:loadを追加してくれる機能を提供。 Trigger tips 通常、page:changeでaddEventListenerしてはいけない。 fetchHistoryの際に
uu59のメモ | RailsとJS(vue.js)の連携
前書き Railsを使いつつJSもそこそこ書きたい、という条件であればまず前提としてjQuery脳を捨てましょう。jQueryスタイルで考えるかぎり何をどうやっても破綻するのでJSを諦めるか保守性を諦めるかして覚悟を決めましょう。 捨てるのは「jQuery」ではなく「jQuery脳」です。jQueryでグローバルな領域に進出してメソッドチェインで狼藉を働いたり、いま現在目の前にあるHTMLだけを考えてDOM操作をしたり、$.onと$.triggerを使ったクロージャ内部へのGOTOなどを記憶から消しましょう。 可能な限りスコープを小さく保つのはプログラミングの基本原則といえます。その原則を思い出し、JSを軽く扱わず、一般的なプログラミングと同様に閉じられた関心事にのみ注力するようにしましょう。 RailsとJSと役割分担 Railsもviewとしてテンプレートエンジンの処理を持っていますが
Railsが時代に合わなくなってきた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 追記 RailsでJS辛い問題に関しての結論：http://qiita.com/kaiinui@github/items/dad6180f1910c6a4bfd5 -- 近年、(1) Web/App両対応が増えてきたこと、(2) WebでもJSを多用するようになったこと、の二つがあり、以下の点でRailsが微妙になっている。 ViewのJavascriptがRailsから独立している API層のサポートが微妙 最初に書いておきますが、特に決定的な解決策もなく、辛いから今後解消されてほしいよね、な話です。 ViewのJavascriptが
Opal: Ruby to Javascript Compiler
Opal Ruby to Javascript Compiler It is source-to-source, making it fast as a runtime. Opal includes a compiler (which can be run in any browser), a corelib and runtime implementation. The corelib/runtime is also very small. Opal Documentation opal.min.js opal-parser.min.js Use the CDN Opal is hosted on GitHub . You can join the community by chatting on Gitter at opal/opal or on Freenode IRC (chann
Rails4.0でangularjsを使ってRESTfulなajaxを実装する - is Neet
長文注意。 angularjsについて今更ながらに触り始めて色々と感動したので纏めておく。 angularjsがどういったフレームワークかは公式のチュートリアルを眺めてたらぼんやりと把握できると思うので今回その辺の話はあまり触れない。 http://angularjs.org/ angularjsのAPIについては公式のドキュメント含めて様々なメディアやブログに取り上げられているが、導入から体系的に語られてるものはあまり無い印象だったので、僕のブログでは導入から具体的な目的に沿った実装方法を紹介していこうと思う。 ちなみに自分のangularjsへの理解も触り始めて一週間程度なのでだいぶ甘い。 angularjsを一週間やってみた感想 最初の2日くらいがだいぶつらい。 飲み込みが早い人ならすぐに使いこなすのかもしれないが、angularjsはdirective, controller, f
MapReduce的ベクトルタイル作成（地価公示）Pt. 1 - 世界の測量
UNIXのsortを使って、TileStacheよりも原理的に早く、ベクトルタイルを作成する。狙うは、国土数値情報（地価公示）。小分けにして記録していく。これはその1回目。 原理 mapの出力でありsortの対象のデータは、古き良き「行指向」データである。形式は次の通り。 [z,x,y,payload].join("¥t"), "¥n" reduceの結果として作成するデータはGeoJSONを想定するので、payloadは、GeoJSONのfeatureに対応するデータとする。タイル作成の処理コマンドは次のようにしていく。 $ ruby map.rb | sort | ruby reduce.rb データ入手 国土数値情報 地価公示データの詳細からデータを入手する。平成25年度全国データを選択。3.54MB。展開すると、L01-13.shpが入手できる。 map.rb map.rbを次のよ
Railsアプリでリアルタイムアップデートをサポートするmessage_bus - ワザノバ | wazanova
http://samsaffron.com/archive/2014/01/15/vintage-javascript-begone1 comment | 0 pointsDiscourseのSam Saffronが、Railsでリアルタイムアップデートするためのmessage_bus gemを紹介しています。 The Problem ユーザが最新のバージョンにバンドルしているJavaScriptとCSSを読込んでなくて、古いバージョンいよる変なバグに遭遇する可能性がある。どうするか？ The message bus シングルページアプリでは、リアルタイムをサポートするなんらかのメッセージング busが求められるが、今回Rails向けに用意したmessage_busのコアは、クライアントでメッセージをpub/subできるシンプルなAPIを提供できることである。 # in ruby Mess
Railsとcapybaraで何かをドラッグアンドドロップしてソートするテストを書く - リア充爆発日記
今回はカテゴリを画面でソートできることをテストする。たとえばブログで言えばブログカテゴリの表示順を管理画面でソートしたいとき、などの話。 こんな画面で、ドラッグアンドドロップでソート後、更新ボタンを押したら、その順番に更新される、という仕様のテストを書く。 実装はここでは省くとして、テストを書こうと思ったときにD&Dをどうやるかがポイントになると思われる。 で、capybara-webkitにはdrag_toというメソッドがあるので、これで解決した。 なので、capybara-webkitを使う前提なので使えるようにしといてください。 ちなみにソートUIにはjquery-sortableを使ってます。 具体的にはこんな感じ。 view <section id="blog-categories" class="categories"> <header class="page-header c
Railsアプリを『浅く』パフォーマンス・チューニングしてみる（その３） | Oh My Enter!
前回はView周りのパフォーマンス・チューニングを実施しました。今回はクライアント側、すなわちJavascriptのチューニングを『浅〜く』実施して本トピックを終了したいと思います。 パフォーマンス・チューニング３：Javascript チューニングを始める前に、rack-mini-profilerで現在のパフォーマンスを確認しておきましょう。 『161.6 ms』と十分なスピードを叩き出していますね。しかし、実はこれはサーバサイド側の処理時間なのです。クライアント側の処理時間は詳細ウインドウの下段に表示されています。 つまり、173msにレスポンスを受け取り → 247msからブラウザで描画を開始し → 418msにDOM構築が完了（DOMContentLoadedイベント発火）、 103ms費やしてJavascriptを処理した・・・ということになります。 チューニングの対象となるのは
ラムダ式で学ぶクロージャとDSL - Qiita
はいこんにちはこんにちは！ 今日はラムダ式でクロージャとDSLの解説をします。 ガチなラムダ計算の話ではまったくないのでご安心ください。函数型プログラミング言語の話でもないので怯える必要はありません。 それと、実用なDSLそのものではなく、どちらかといふと ふざけたDSL をシンプルに作ってみました! といふ例題なのでその点はご承知おきください。 謎のコピペとDSL まづはこちらのソースコードをお読みください。 # -*- Coding: utf-8 -*- scripter = ->(*args){->{puts args.join("\n")}} title = ->(text){"『#{text}』\n"} paragraph = ->(*args){args.join("\n")+"\n"} chara = ->(name){ ->(text){"#{name}「#{text}」"
Sapporo.js-2013.07.27にいってきた/静的Webサイト制作再考 - iakioの日記
Sapporo.jsでid:tricknotesのMiddlemanの話を聞いてきた。 How to relaunch "sapporojs.org" ~Introduction to middleman~ from Ryunosuke SATO 個人的には、今WordPressやMovable Typeなんかで構築されているサイトの何パーセントかは、こういった静的なWebサイトジェネレータで作成したほうがいいんじゃないかなと思ってます。WordPressが嫌いなわけじゃないですよ。でもPHPを動かしてMySQLを動かして、何かのバージョンアップに追随したりってやるほどのものなのか、ちょっとバランスが悪いんじゃないかと思うんですよ。静的であれば、セキュアだし負荷対策もやりやすい。 WPやMTから今すぐJekyllやMiddlemanに乗り換え可能かといえば結構ハードル高いと思うんですが、あ
ScaleOut | Supership
日々の出来事、メンバーの働く様子や声、未来への想いなど、Supershipの“BE SUPER”なストーリーをシェアしています。
昨今の自分用Webアプリケーションひな形 - naoyaのはてなダイアリー
ちょっと jQuery と簡単なサーバサイドの処理を組み合わせた処理を試しに書いてみよう･･･なんて時に、いちいち jQuery を取ってきて HTML を書いて script タグを書いてロードして sinatra 立ち上げて云々･･･というのが毎度面倒なので、ひな形になるアプリケーションを作った。 https://github.com/naoya/boilerplate ひとまず sinatra でサーバーサイドを書き、HTML は slim で、CSS は sass 。JavaScript は CoffeeScriptで書くにあたって jQuery、underscore、Backbone をロードしてある、というような構成にしてあります。 まあ、この類のことは人それぞれ自分なりにカスタマイズしてやっていると思いますが、どういうコンポーネントで構成しているかを、備忘録も兼ねてちょっと紹
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RailsのRailから解放される始めの一歩
Rubyのイテレータメソッドと似ているJavascriptの便利なメソッド - Qiita
Node.js を選ぶとき 選ばないとき
デブハゲ