新年あけましておめでとうございます。今年もボチボチやっていきます。 本稿ではPHP製のWebスクレイピングライブラリGoutteを紹介します。 Goutte（グット）とは Goutteは必要十分な機能を持ったWebスクレイピングライブラリです。そもそもWebスクレイピングというのは、外部Webページから必要なデータを取ってくるくらいの意味です。つまり、GoutteはWebスクレイピングを簡単に行う道具だと考えればいいでしょう。 具体的には、GoutteはWebクローラとHTMLパーサを組み合わせたようなものです。Cookieやフォームの扱いなどWebブラウザとしての機能は一通り揃っていますし、CSS風の要素指定もできるなど、機能面では他のライブラリと遜色ないように感じます。 さらに僕個人がGoutteに期待している点は、安定性とロングサポートです。Goutteは主要機能をSymfony2お

Vim Advent Calender 2011 45日目の記事です。今回のテーマはソースコードを素早く追いかけるです。 Vimをお使いの皆さんは設定ファイルや文書作成以外にもソースコードを作成・メンテ・閲覧などに利用されている事と思います。 そこで、ソースコードを追いかける時に便利なプラグインをご紹介したいと思います。なお、この記事は過去に私が書いたエントリーを再構成した内容となっています。 追いかけるソースコードを用意する まずは、追いかけたいソースコードを用意しましょう。例としてあげるソースコードはVimで世界的に有名なc9sさんが作った、巷で話題のRubyのBundler（やVimのVundle）ライクなPHP版Onionです。 $ git clone https://github.com/c9s/Onion.git cd ./Onion プラグインを設定する Source Exp

すぎやまこういち先生の80歳を祝う某誌に掲載予定だった原稿が、雑誌の方向性がコラム中心→インタビュー中心に変わったために宙に浮いてしまいました……。で、先方の了解も得られましたので、ここに公開しておきます。くわしい人やマニアにはぬるいかもしれませんが、元もと予備知識のないオッサンも読む一般誌向けの原稿ということで、そこは大目に見てもらえればと。あとナンバリングも文字化けを手作業で直してるんで、間違いがあってもカンベンな！ ●すぎやまサウンドは現代のクラシック 『ドラゴンクエスト』（以下ドラクエ）シリーズを彩るすぎやまこういち氏の楽曲、それは現代のクラシックだ。国民的RPGとともにあり、様々なジャンルを遍歴してきた大人から、初めて「音楽」なるものに向きあう子供まで、年齢性別を問わず聴かれるメロディは、嗜好の細分化が激しい現代ではまれな存在と言っていい。 のみならず、ドラクエの楽曲は“時を超え

バージョン管理とかgitとかが「おおげさでめんどくさいもの」だと思う人は多い。でも、それは生産性向上のチャンスを逃していると思う。特に業務として多人数で開発している人たちの「変更前にはまずトピックブランチ」というやり方が、それはそれでよい方法なんだけど、いかにもめんどくさそうで尻込みさせてしまうのではないか。 先日の日曜日に、テキトーなgitの使い方をして、とても役に立ったのでユースケースとして報告しておこう。ただし、若干特殊な環境なのでここでやった方法が直接そのまま皆さんの所で使えるとは限らないが。 まず環境の説明。プロジェクトは「次の日曜日、新感覚シューティングゲームを展示します」で紹介している、テーブル型ディスプレイで動くシューティングゲーム。メインは @tokoroten で、ソースコードをバリバリ変更している。土曜日にとりあえず動くところまでは行った。改善点は山積みだ。使える時間

http://blog.joda.org/2011/11/scala-feels-like-ejb-2-and-other.html 以下、Stephen Colebourne氏の意見をまとめてみた。 モジュールシステムがない 複数のクラスを含むレベルでバージョンと依存関係を管理するものでなきゃ駄目。 「Jar Hell」を招く CORBAなどはこの問題を解決しようとした結果(の失敗作) (このようなモジュールシステムを持っている言語は例にあげていない) 並列処理 (Concurrency) 関数型言語だから安全にマルチスレッドのコードが書けるとい言うけどこれは嘘 並列処理の問題は「shared mutable state」にあるがスカラはこの点において鈍感 (clojureは可変状態を別扱いにすることによって並列処理を安全にしているという点で違うようだ) コミュニティー 関数型言語ファン

KDDIは、楽天が運営するネットショッピングモール「楽天市場」での決済方法に「auかんたん決済」を導入すると発表した。これによりau携帯電話料金と合算した支払いが可能となる。 KDDIは10月6日、楽天市場の決済手段として、新たに「auかんたん決済」を導入すると発表した。 これにより楽天市場内でauかんたん決済を導入した店舗の決済に関して、auの携帯電話料金支払いと合算することが可能となる。 導入を記念し、auかんたん決済に対応する店舗で決済を行うと、楽天スーパーポイントが通常の10倍付与される「auかんたん決済導入キャンペーン」企画が行われる。実施は10月中旬以降の予定。 関連記事 KDDI、au oneショッピングモールで「auかんたん決済」提供を開始 KDDIとDeNAは、au oneショッピングモールにおいて、さまざまなデバイスで利用できる「auかんたん決済」の提供をスタートする。

5月31日に本ブログでベータテストの開始をお知らせした、ソーシャル・ニュースリーダーの『Crowsnest』が、今日正式にリリースされました。 Crowsnestは、これまで、多くの方からいただいたフィードバックを参考に、機能の改善を進めてきました。7月1日のエントリーでは、その一部をご紹介しています。その後もチューニングを続けた結果、サービスが一定のレベルに達したと判断し、このたび公開の運びとなりました。 僕は長い間、Webの情報収集ツールとしてRSSリーダーやソーシャルブックマークを使ってきました。ところが、ここ1、2年ほどで、TwitterやFacebookの情報流量の方が明らかに多くなり、情報収集はソーシャルメディアだけで十分なのではないかと感じ始めました。とはいえ、ソーシャルメディアの情報はノイズが多すぎることと、Google リーダーのように洗練されたツールもないことから、結局

気になる記事をスクラップできます。保存した記事は、マイページでスマホ、タブレットからでもご確認頂けます。※会員限定 無料会員登録 詳細 ｜ ログイン 米アップルが今秋にも発売する「iPhone5」を、KDDIが日本で販売することが判明した。日本では初代iPhoneから3年間続いたソフトバンクによる独占販売体制が崩れる。加入者数でソフトバンクに追い上げられているKDDIにとって強力な援軍になりそうだ。 関係者によると、KDDIは米アップルと既に「iPhone5」の国内での販売契約を締結し、全国のauショップなどで11月頃から販売を開始する方向で関係各方面との準備に入っている。iPhone5は10月中旬頃、全世界で発売が開始される見通しだ。 1社独占崩れる これまでiPhoneを独占販売してきたソフトバンクモバイルは9月29日に2012年冬春モデルの新製品発表会を実施することをインターネット上

ちょっと気になったので調べてみたら、営業のためのデータはどんな業態でも一社だいたい月10億件くらいで頭打ちっていう感じになった。 追記 2011/9/17 15:54 業態を比べたいので、国内の最大シェアっぽい企業で比べてます。 世界に広げたとしても、実業にからむなら、だいたいは会社が分かれてシステムも分けるだろうし、トヨタの販売台数が世界770万台、国内130万台でせいぜい6倍というのを見ても、一体だとして10倍の差は出ないし。 トヨタの2011年国内販売台数、130万台の見通し | ロイター 追記ここまで コンビニ 最初にたくさんデータが発生しそうだと思って考えたのがコンビニ。 フランチャイズ協会のデータによると、全国の店舗数が43690店舗、月間客数が13億人で、客単価が600円。 http://www.jfa-fc.or.jp/particle/42.html 一番でかい7-11の

『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day

たしかに神奈川こんな感じ。

『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day

Hbase勉強会のまとめの延長として 今後の考え方をまとめておきます。 まずは前提として <一般論> Hbaseにかぎらず、NoSQL系一般に言えることではあるが Usecaseを意識して利用する事が必要だ、ということだと思う。 最近の傾向としては、Googleでも顕著だけど、 一定の用途をターゲットにして 特定のミドルを開発するという方法が結構多い。 Hbaseもその流れはあるので、 そのあたりは意識する必要はあるかもしれない。 Hbaseついては、注目するとすればFacebookになるかな。 http://www.cloudera.com/resource/hw10_hbase_in_production_at_facebook いずれにしても、割とうまくいっているUsecaseの情報の有用性は 他の技術よりも高いと思う。 基本的に単純に分散KVSを使いたいならHbaseにこだわる必要

次世代アーキテクチャについての考えをまとめておく。 まずは、Hbaseの勉強会のお話。 某界隈では割と話題になったので、 細かいブログやサイトは結構、紹介されている。 ので特に詳細は省く。 一応tatsuyaさんのSlideshareは Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and HB… slideを見ているだけでは、よくわからないと思うが Jonathanとの会話では、FBはバックエンドの部分を含めて バッチ処理は別のHadoopクラスターで行っている。 相当バリバリ使っているようだ。 したがって、割と話題になっているHbase上でHadoopMRはどうよ？ っていう話は「分ける」ってのが正解に近く、 フロント処理とバック処理は明快にわけることが基本になるようだ。 その上での印象で、 自分の思ったこ

Hadoop 第2版 作者: Tom White,玉川竜司,兼田聖士出版社/メーカー: オライリージャパン発売日: 2011/07/23メディア: 大型本購入: 9人 クリック: 182回この商品を含むブログ (24件) を見る 第ー版の翻訳、第二版の原書（のepubデータ）を持っている身としては第二版を買うかは悩んだが結局買ってしまった。 書店で買ったのでHadoopのTシャツは持ってないです。欲しい方はこちらを見てください。http://www.oreilly.co.jp/sales/2011/07/web-direct-campaign-july-hadoop-tee.html 手に持つと重いw　それもそのはず第ー版の翻訳が539ページに対して、第二版の翻訳は642ページあります。 比べるとこんな感じ 気になる差分ですが、 4.3.5にAvroの記述が追加されています。次世代シリアラ

いよいよWebサーバのログをScribeを通して処理してみます。examplesディレクトリに入っていた、scribe_catとscribe_ctrlはそのまま使えそうなのでこれを利用してみます。 # cp examples/{scribe_cat,scribe_ctrl} /usr/local/bin/ まず、ログサーバ(ログを集約するサーバ)の設定をします。このサーバに各Webサーバのログが書き込まれていきます。設定ファイルは/usr/local/etc/scribeの下に置くものとします。 # mkdir /usr/local/etc/scribe # mkdir /var/log/scribe # touch /usr/local/etc/scribe/scribed.conf ログサーバの設定ファイル(scribed.conf)の内容は下記になります。 port=1463 # 待

前回の記事で静的ファイルを別サーバから配信することにしましたが、今度はアクセスログがサーバ毎に分散してしまうので、少々やっかいだなと思いました。 出来るだけ正確でリアルタイムに近い形でログを収集できればいいなという感じです。 まず、考えていたのは一定期間毎に一つのサーバにログを収集していく方法です。せっかくlsyncdも入れているので、rsyncで収集するのが一番簡単そうです。しかし、lsyncdでそのままログファイルをミラーしてしまうと、ログが書き込まれる度に送信しちゃうわけで。。。この辺りはどうにか出来るとは思いますが、みんなはどうやっているのかちょっと調べてみました。 とりあえず、検索してみたら下記のページが見つかりました。 ログ集約・収集について【syslog - 集約】 - プログラマ 福重 伸太朗 〜基本へ帰ろう〜 どうやら、「集約」と「収集」では意味合いが違う模様。たしかにそ

ScaladocではWikiスタイルの記法がサポートされているのでHTMLではなくWiki記法を使うのがいいらしい。 http://d.hatena.ne.jp/kiyoshihosoda/20101209 http://www.scala-lang.org/node/4285 http://yanana.github.com/scala-style/scaladoc/index.html こんな感じ。 /** This is a paragraph * * This is another paragraph (note the empty line above) containing '''bold''', * ''italic'', `monospace`, * __underline__, ^superscript^, and ,,subscript,, words. * * {{{

静岡県富士市の名物として売り出し中の『つけナポリタン』。 つけ麺の要領で麺をトマトベースのつゆにつけて食べるナポリタンといった感じのＢ級グルメなのだが、お店によって麺もつゆも様々なこだわりと味があり、これが美味い！！ つけ麺とはまたちょっと違ってなかなかお目にかかれない味です。 食べて美味い美味い言ってたら『つけナポリタン大使』に任命されました！！ 早速『つけナポ大使』として東京でも紹介できる機会を作れるようになど色々動いております。 富士市吉原商店街の新名物『つけナポ』！ 皆さんも静岡に行ったら何がなんでも食べて帰って下さいね！