ot2sy39のブックマーク - はてなブックマーク

バッチ処理について再考 - プログラマでありたい
作業途中のメモです。バッチ処理の定義を確認しようとしてWikipediaをはじめとして幾つかのサイトをみてました。その時に目に入ったのが、下記の文章です。利点バッチ処理には以下のような利点がある。・多くのユーザーがコンピュータのリソースを共有できる。・処理をコンピュータのリソースがあまり忙しくない時間帯（多くは夜間、休日）にシフトできる。・人間がついていなくてもコンピュータのリソースが暇にならないように最大限有効活用できる。・高価なコンピュータをフルに活用することで費用対効果の効率向上に寄与する。バッチ処理 - Wikipedia これだけみると、人件費に対してコンピュータリソースが高い時代の産物なんですよね。今は、クラウドの登場で、有り余るコンピュータリソースをほぼ自由に低コストに使える時代です。そもそもバッチ処理である必要があるか、考える必要がありますね。特に夜間バッチにつ
ot2sy39 2015/02/13
計算機リソースは比較的余裕でも、回線帯域なんかは違うからな。

運用

開発
リンク
ヤフー「つぶやき感情分析」で、衆議院議員の人気度を見る - プログラマでありたい
ネットを見てると、面白いサービスが出ていました。ヤフー株式会社は12日、ソーシャルメディア上の投稿を検索できるYahoo!検索の「リアルタイム検索」において、「つぶやき感情分析」の正式版を公開した。つぶやき感情分析は、Twitter上の投稿を分析し、検索したキーワードについてユーザーがどのような感情を持っているかを、「ポジティブ」「ネガティブ」の割合でグラフ表示する機能。2013年9月にベータ版として提供を開始し、今回、正式版として公開した。ヤフー「つぶやき感情分析」、Twitter上の感情を「ポジ／ネガ」で判定 -INTERNET Watch Twitterの情報をもとに、感情分析をするというサービスです。簡単にいうと、入力されたキーワードに対して、世間は好きか嫌いかを出すというサービスです。こういったことをやりたいなぁと思って、Twitterのデータを大量に収集したり、そのデータ
ot2sy39 2014/11/13
クローラ開発技法、買ったのにまだ半分も読んでない(^^;

webサービス

スクレイピング
リンク
Ruby製の構文解析ツール、Nokogiriの使い方 with Xpath - プログラマでありたい
RubyでHTMLやXMLをパースする構文解析ツールの定番は、Nokogiriです。スクレイピングする際の必需品で、なくてはならないモジュールの１つです。ただ色々なことが出来る反面、どこから取りかかれば良いのか解り難い部分もあります。自習を兼ねて、Nokogiri概要と主要な機能を紹介してみます。 Nokogiriとは何か？ ReademeによるとNokogiriとは、「HTMLとXMLとSAXとXSLTとReaderのパーサー」で、特徴としては、XPathとCSS3セレクター経由で探索する機能を持つことのようです。他にもHTMLやXMLのビルダーの機能を持っていますが、HTMLとXMLのパーサー（構文解析器）と覚えておけばよいでしょう。 Nokogiriのクラス構造 Nokogiriは、なかなか巨大なライブラリです。10以上のモジュールと70以上のクラスで構成されていて、yardでダイア
ot2sy39 2014/04/15
nokogiri

Ruby

スクレイピング
リンク
1