書くと宣言しながら、すっぽかしていたクローラー／スクレイピング Advent Calendar 2014の11日目です。ExcelのVBAで、IEの操作が出来ます。またその中の機能にDOM操作があります。この二つがあれば、Excelだけでスクレイピングできますよという話です。 何を隠そう、私が初めてスクレイピングに手を染めたのはこのExcel VBAスクレイピングでした。毎月定期的に所定のデータを観測するという仕事があって、面倒くさくて仕方がない私は記録用のExcelを魔改造して勝手に取得するようにしました。1時間くらい掛かってた作業も、ボタンポチになったので随分楽になったと記憶しています。（結局、ボタンを押すのも面倒くさくなって、毎日サーバサイドで動かすようにしましたが） スクレイピングの手始めにピッタリのExcel VBAスクレイピングです。環境の用意が簡単なので、ノンプログラマーでも

一人Advent Calendarの3日目です。 JSONPを使って外部のAPIを呼び出して、結果を取り込むということは色々なところで行われています。しかし、そもそもJavaScriptを利用した場合、クロスドメイン通信が使えないという前提があります。JSONPだったら、何故そこを回避できるのでしょうか？あまり詳しく考えたことが無かったので、簡単に調べてまとめてみました。なんというか4周くらい遅れている話題ですが、気がついた時に整理するとスッキリします。 JSONPの動作原理 Wikipediaさんをみてみると、そのものずばりのことが書かれています。scriptタグ内のsrc属性は別ドメインのURLを指定できるという点と、そのレスポンスはJavaScript関数呼び出し形式になるという点をついたのが、JSONPの動作原理です。なんというか、仕様の考慮不足を利用した仕組みだと思います。 JS

ネットを見てると、面白いサービスが出ていました。 ヤフー株式会社は12日、ソーシャルメディア上の投稿を検索できるYahoo!検索の「リアルタイム検索」において、「つぶやき感情分析」の正式版を公開した。 つぶやき感情分析は、Twitter上の投稿を分析し、検索したキーワードについてユーザーがどのような感情を持っているかを、「ポジティブ」「ネガティブ」の割合でグラフ表示する機能。2013年9月にベータ版として提供を開始し、今回、正式版として公開した。 ヤフー「つぶやき感情分析」、Twitter上の感情を「ポジ／ネガ」で判定 -INTERNET Watch Twitterの情報をもとに、感情分析をするというサービスです。簡単にいうと、入力されたキーワードに対して、世間は好きか嫌いかを出すというサービスです。こういったことをやりたいなぁと思って、Twitterのデータを大量に収集したり、そのデータ

先行発売で、検索エンジン自作入門を購入しました。まだペラペラと眺めている状況ですが、これが非常に面白いです。 「検索エンジン自作入門」は、集めた文章をいかに整理するかをテーマとして扱っている本です。整理するという意味は、検索エンジンを利用するというライフハック的な意味ではありません。整理する為の検索エンジン自体を自分で作ることで理解するという、極めて硬派な本です。 「検索エンジン自作入門」とは？ 「検索エンジン自作入門」は、未踏IT人材発掘・育成事業にスーパークリエータに認定された山田浩之氏と、Senna/groongaの開発者の末永匡氏の共著です。検索エンジンについて語らせたら、日本でこれ以上の人たちはいないだろうという組み合わせです。ということで、内容は非常に濃いのですが、難しい内容を解りやすく解説されています。 一方で、扱っている内容は非常にマニアックです。下に目次付けておくので見て

何度か紹介しましたが、先日「Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例」が発売されました。全国の書店の店頭に、ぼちぼちと並び始めています。 と言いたいところですが、タイトルから解るとおりかなりニッチというかマニアックな内容の本で、初版3,000部です。と言うことで、それなりの規模の書店ではないと置いていません。感覚的にいうと、コンピュータの棚で２〜３棚以上ある規模でないと置いているところを見たことがないです。私自身の観測範囲では、池袋のジュンク堂とリブロ、有楽町の三省堂書店です。他の目撃情報だと、紀伊國屋や丸善、有隣堂、或いは、秋葉原の専門店のような所に置いてあるようです。複数フロアにわかれている、いわゆる大型店か専門店ですね。 書店の規模と配本数 軽く調べてみたところ、全国の書店数は14,000店足らずで、その内で500坪以上の大型店は500店程度の模様です。初

プラレール用の電池の考察の記事を書いたように、最近はもっぱら子供とプラレールで遊んでいます。作っているとついつい、プラレールのレイアウトに凝りだしてしまいます。レイアウトを作る上で、無意識のうちに満たしたいと思っている要件があるようで、考えてみたら次の３点がありました。 自動で、ずっと走りつづける 切り替えポイントを使う 構築した全てのレールを利用する 自動で、ずっと走りつづける 1つ目の「自動で、ずっと走りつづける」という要件は、出発点と終点で終わらないということです。つまりループしているということです。この要件を満たす最低限の構成は、次のレイアウトです。 構成 1/2直線レール　4本 曲線レール　8本 切り替えポイントを使う 上記の例は、簡単ですね。ただ、この構成だと飽きるのが早いです。そこで２つ目の要件である「切り替えポイントを使う」が出てきます。具体的には、ターンアウトレールや8の

今まで読んできて良かったなぁという本をまとめてみました。せっかくなので100冊をまとめて一挙公開です。趣旨としては名著を紹介する訳ではなく、考え方の上で参考になった本を紹介するという方針です。しかしロクに記録していないし記憶も定かではないので、本当に良いと思ったものでも抜けているものも多数あると思います。また技術書については、専門外の人には意味が無いので省いています。 一般的に本を勧めるうえで、100冊並べるというのは一番効率が悪い方法です。書評ブログとしては、1冊もしくは類似の２〜３冊くらいを紹介するのが一番効率が良いのです。でも、私は意地悪なので、本を１冊紹介してくださいと言われると、10冊紹介するようにしています。暇な時に眺めてください。 歴史関係の本 私がジャンルとして一番好きなのは、歴史関係の本です。時間が許す限り延々と読んでいたいですが、そうも言っていられないのが現実です。面白

今年の4月にTwilioのアカウントをとって早8ヶ月。これは色々なことに使えるとワクワクしながら、すっかり放置していました。日本ではKDDIさんと組んで展開し、色々な所でハンズオンなども開催されていたので、知名度的にも手軽に使える音声APIのデファクトになりつつあるのではないでしょうか？簡単ながらTwilioの紹介とユースケースを考えみます。 Twilioから電話を掛けてみる アカウントと電話番号の取り方は忘れました。アカウントは本家とKDDI経由での取り方あるようです。私は本家の方でとっています。APIの使い方は色々なところで載っていてあまり悩むことはないと思いますが、おさらいを含めてまとめておきます。 rubyで電話を掛けるサンプル make_call.rb require 'rubygems' require 'twilio-ruby' @account_sid = 'Your Ac

（写真は保険発祥の地、ロイズです） 年末調整の季節で、久々に保険について考えてみました。考えたテーマは、もし私が死んだらどうなるかです。私はサラリーマンで、厚生年金に加入しています。その場合は、残された配偶者と子供にはどんな保障があるのでしょうか？ 遺族基礎年金と遺族厚生年金 厚生年金に加入している被保険者（≒私）が死亡した場合、遺族（妻と子供）には２種類の年金が支給されます。遺族基礎年金と遺族厚生年金の２種類です。遺族基礎年金は、子供の数に応じての支給です。これに対して遺族厚生年金は、被保険者の生前の月収を考慮したものになります。言葉で言っても解り難いので、下記の表を見てください。 遺族厚生年金　月額（年額） 子供が18歳になるまで支給されます。 妻のみ 妻と子一人 妻と子二人 妻と子三人 0（0） 84,400（1,012,800） 103,258（1239,100） 109,542（

プログラマ系ブログですが、ワインの記事が好評で生き方に迷っています。さてワインを選ぼうとする時の最初の障壁は、品種だと思います。ワインのリストは大抵の場合、銘柄の他に生産地と品種が書いています。銘柄を知らないとしたら、生産地と品種（と値段）で選ぶしかありません。でも、ワインのブドウの品種は多すぎてとてもじゃないけど覚えられませんよね？そんな人に、最低限覚えておいて欲しい赤ワイン用の３つの品種を紹介します。 覚えておくと良い品種は、３種類だけ ワインのブドウの品種は、基本的にはフランスのボルドー＆ブルゴーニュの系列とイタリア＆スペインの系列がメインです。そして、イタリア＆スペインの品種はかなり細分化しているので最初は覚えるのを諦めて、フランス系の品種を覚えましょう。アメリカ・チリ・オーストラリア・ニュージランド・南アフリカで栽培される品種は、フランスとほぼ同じです。そうすると、品種をみるだけ

フランス人じゃないですが、日常的にワインを飲んでいます。しかし、お大尽ではないので、必然的にコストパフォーマンスの良いワインを探すことになります。だいたい1000円台のワインを飲むことが多いです。最近では選び方が解ってきたので、千円台のワインであれば比較的大外れすることもなくなりました。 大体のポイントをまとめてみると、身も蓋もない結果になりました。賛否両論だと思いますが、参考にして頂ければと思います。 スーパーで買わない まず1つ目ですが、スーパーで買わないということです。以前にも書きましたが、大手スーパーは大量仕入れが前提となります。それに答えられる生産者は、大量生産する生産者だけになります。大量生産の生産者は自前の畑だけではぶどうが足りないので、近隣の農家からぶどうを買い集めることになります。その構造になると、ぶどうを納める農家側の行動原理は、出来るだけ多く納めることになります。そう

はてブを見てると、NASやクラウドドライブなどストレージ関係のエントリーが幾つかあがっていました。私は、家庭内ストレージには比較的うるさいので一言いわせて頂きます。 家庭内でのストレージの種類 まずは一般的に家庭内のストレージはどういった種類があるのか整理してみましょう。主に下記の5種類くらいに分類出来るのではないでしょうか？ パソコンのローカルストレージ（HDD/SSD） スマフォ／タブレットのデータ領域 NASなどのネットワーク接続型共用ストレージ Dropboxなどローカル同期型のクラウドストレージ Amazon S3やBitcasaなどのローカル非同期型のクラウドストレージ ストレージを考える上でのポイントは、速度・容量・価格の3点です。 まず速度については、パソコンからファイルを読み取るスピードです。小さいサイズのファイルだと余り問題になりませんが、動画系など大きなファイルだとこ

先日、銀行口座の口座集約のとあるiOSアプリの記事について、危険だよなぁと何気なく呟いたら中の人からリプを貰いました。Twitterで呟いているのですが、文字だけでは解りにくいのでまとめてみます。ただ、そのアプリ固有の問題ではなく、構造的な問題なのでアプリ名は開示しません。（安全なので安心ですという論調は、どうかと思いますが。。。） 口座集約アプリの構造 口座集約のアプリは、アカウント・アグリゲーション(Account aggregation)サービスと言われています。サービスの実体は、複数の銀行の口座情報とID,Passwordを預かり、代行でログインして結果のhtmlを解析（スクレイピング）して利用明細や残高を集約するものです。口座とID,Password情報、解析エンジンをどこに置くかで、クライアント型とサーバ型に分類されます。 サーバ型アプリケーション まずサーバ型アプリケーション