著者の中山さんに「勘違いをなくせば、あなたのホームページはうまくいく」を頂きました。ありがとうございます。 対象読者 この本は直接的には自社ホームページの運用を改善する為の指南書です。その為に対象読者は、次のような方となっています。 ・ウェブ活用がなかなかうまくいかない中小企業の経営者 ・がんばってホームページを作ったのに，売上が増えずに困っているWeb担当者 ・本やネットで必死に学んだのに，ホームページやWebで成果を出せずに悩んでいる方 一方で、私はもっと色々な人に読んで貰えると良いと思っています。この本は、実は目的をどのようなプロセスで達成するかを書いた本なのです。そのプロセスの具体例としてはホームページ運営を使っていますが、他の分野でも充分応用が聞くと思います。私も、この本を読んでいて、直接的にはこのブログの改善のことを考えましたが、それ以外に現在の仕事を拡大させる為の戦略・道筋を

AWS本の第三弾として、Amazon Web Services 業務システム設計・移行ガイドという本を書きました。その名のとおり、企業内でAWSを使うということにテーマを据えています。ユーザー企業の情シスの人も、事業部で直接AWSを使っている人も、或いはSIerでユーザー企業にAWSを提案している人にも読んで欲しい内容となっています。 Amazon Web Services 業務システム設計・移行ガイド 作者: NRIネットコム株式会社:佐々木拓郎,林晋一郎,株式会社野村総合研究所:瀬戸島敏宏,宮川亮,金澤圭出版社/メーカー: SBクリエイティブ発売日: 2018/01/20メディア: 単行本この商品を含むブログを見る Amazon Web Services 業務システム設計・移行ガイドを書いた理由 過去2冊AWSの本を書いていて、一冊目のAmazon Web Services パターン別

何度かボヤいていましたが、はてなダイアリーからはてなブログに移行し独自ドメインを割り当ててから検索流入が激減しました。日に500〜1,000近くあった検索流入が100以下といった激減っぷりです。移行したのが2014年3月前後で、下記のグラフのようにストンと落ちて地を這っていました。それが最近復活したようです。 ドメインオーソリティの低下ではなく、SEOスパム扱いのペナルティだった 検索の減少の原因について、単純にドメインオーソリティの低下と考えていました。というのは、ドメインとしての非常に評価の高いhatena.ne.jpから新設のドメインの移行、さらに今までの被リンクもリダイレクトされるということで、SEO的には不利になります。といっても６〜７割くらいに落ち込む程度だろうと高をくくってたのですが。蓋をあけると１〜２割まで落ち込むという結果でした。当然、何らかのペナルティの可能性も考えて、

Pythonクローリング&スクレイピングを頂きました。ありがとうございます。まだざっとしか読んでいませんが、Pythonのクローラー本で一番バランスが良いのではないでしょうか？ Pythonクローリング＆スクレイピング ―データ収集・解析のための実践開発ガイド― 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: Kindle版この商品を含むブログを見る 本書の内容 PythonでスクレイピングするのであればBeautiful Soup、クローラーフレームワークとしてはScrapyが定番です。この2つをしっかり抑えながら、ブラウザを操作するためのRoboBrowser、ブラウザ＋JavaScriptに対処もできるSelenium+PhantomJS、PDFからのテキストの抽出など多岐に渡るテーマを扱っています。またデータ収集術だけではなく、分析を助けるた

Serverless Advent Calendar 2016の11日目です。ちょっと趣向を変えて、Serverlessでアプリを構築する場合、こんな感じになったよというのを紹介しようと思います。 Amazonのほしい物リストから商品情報を抜き出して、安売りしていたら通知してくれるBot 最近の読書はもっぱらKindleさんです。いつでもどこでも、そして保管の場所を取らないというのは素晴らしいですね。このKindleですが、定期／不定期にセールをやっています。問題は頻度と対象が多すぎて、欲しい本を見つけられないという問題です。Kindleのセール情報をまとめているサイトなども多数ありますが、そちらを追うのも大変ですよね。 そこで、自分が欲しい本だけのセール情報を取得するという方法を考えてみましょう。解決策は簡単で、気になった本は自分の欲しいものリストに追加していき、そこの本が安くなったら通

遅くなりましたが、クローラー／Webスクレイピング Advent Calendar 2016の4日目です。先日、データを集める技術という本を出しました。冒頭の部分は、次のように始まっています。 2014年8月に「Rubyによるクローラー開発技法」という本を出版しました。書名の通りRubyというプログラム言語を使って、自作のクローラーを作りデータ収集を効率化しようという本です。ニッチなテーマにも関わらず、多くの方に読んで頂けたようです。想定以上の売れ行きで不思議に思って読者層を調べてみると、プログラム書にも関わらずマーケッターやコンサルタントなどITエンジニア以外の読者の方も多かったようです。ITエンジニア以外も読むかもということは、執筆時にある程度念頭には入れていたものの、結果としては想定以上の比率でした。 そこで、もっと多くの人にデータ収集術を知ってもらう為に本書を執筆しました。前著に較

Webからデータを集めるというテーマで、「データを集める技術」という本を書きました。中身は、クローラー／スクレイピング本なのですが、それだと内容が「Rubyによるクローラー開発技法」と丸かぶりになってしまうので、本職プログラマでない人でも読めるような内容を目指して書いています。 データを集める技術 最速で作るスクレイピング&クローラー 作者: 佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2016/11/29メディア: 単行本この商品を含むブログを見る Excelでデータ収集をする理由 メインのターゲットは、ITエンジニアです。ただし前述のとおり、プログラマでない人でも何とかなるように目指しています。ということで、メインのデータ収集環境は、ExcelとGoogleスプレッドシートです。何故、Excelを選んだかというと、技術書で10万冊売れるのはExcelだけだから。環境構築の

ふと気がついたのですが、ここ１〜２年で言語ごとのクローラー／スクレイピング本が出てきています。まとめがてらに感想と一緒に紹介してみます PythonによるWebスクレイピング 直近で出たスクレイピング本としては、PythonによるWebスクレイピングです。購入だけしてまだ読んでいないのですが、BeautifulSoupとScrapyを利用してスクレイピングしているようです。個人的にはrubyを使ってスクレイピングすることが多いのですが、BeautifulSoupはrubyのnokogiriより使いにくいと思っています。一方でrubyのクローラーフレームワークであるanemoneよりScrapyの方が優れた設計・特性をもっているかなぁと思っています。スクレイピングを始める前にrubyかpythonかの選択に悩んだのですが、BeautifulSoupよりnokogiriが良いやという理由でru

ソラコムのSimを入手しました。これがあれば、後はデバイスと組み合わせることで、個人でも数千円〜数万円くらいでIoTの試作機が作れるという素晴らしい世界が待っています。一方で、IoT以外でも色々な用途が思いつきます。ハンズラボさんさんやリクルートさんのPOSでの利用例など、バックアップ／屋外での通信用というのも1つでしょう。その場合、機器に直接Simが刺せないので何らかのデバイスを介する必要があります。どんな方法があるか、少しまとめてみました。 モバイルWifiルーター+クレードル+Sim 一つ目のパターンが、モバイルWifiルーター+クレードルのパターンです。モバイルWifiルーターについては、たぶん説明不要だと思いますが、持ち運びを前提とした小型のルーターと無線LANアクセスポイントの複合機です。ポケットWifi等で呼ばれることもあります。私の会社の人は、昔のe-mobileの影響でた

全部俺の15日目くらいです。昨年、今年と1冊づつ技術書をだしています。勉強会に行くと、たまに経緯を聞かれるので共有しておきます。 直接的なキッカケ 直接的なきっかけは、編集者からメールでお誘いがあったことです。Rubyのクローラー関係の記事をブログに幾つか書いていて、それを見た編集者が声を掛けてくれたという経緯です。当時はRubyでクローラーに関する情報も少なく、幾つかのワードで検索すると私の記事が常にトップに出るという状態でした。ということで1冊目のRubyによるクローラー開発技法は、著者である私の持ち込み企画ではなく、編集者の企画で書ける人を探していたというのがスタートです。 発売された当時は仕事やプライベートで勉強会やセミナー等で登壇していたことは何度もあったので、それ経由で声を掛けられたと思われることもありますが、実は全く関係なかったのです。また声を掛けられた当時は、完全に匿名でブ

昨日、オフィスグリコについて書いていて考えていたことがあります。メーカーであるグリコにとって、あの販売形態は重要な意味があるのではないかという点です。一般的な流通形態は、卸売店・小売店を経由してエンドユーザである消費者に届きます。オフィスグリコは、ロジスティクスの具体的な事は知りませんが、限りなくメーカーとユーザを直接結びつけています。このことは、恐らく大きな意味を持つようになるのではと思います。 実は、この構造は最近のIoTでも同じなのではと思います。IoTが注目されている点は、機器にセンサーを付けることによって今まで集めることが出来なかったデータを収集できることにあります。一例をあげれば、AppleWatchのようなもので、一日の脈拍や運動量というデータを集めることができます。まだ、それほど進んでいませんが、家電にセンサーを付けることにより、その家電が実際にどう動いたか（頑張ってプラッ

AWS本やクローラー本を出していると、「上級者向けの本は出さないのですか」とよく聞かれるます。残念ながら日本のIT業界向けの出版事情を考えると、なかなか難しいというのが正直なところです。 IT業界向け出版物の市場規模 難しい理由として、市場規模があります。IT業界で働く人の数は定義次第なので幅がありますが、100万人程度と仮定します。市場の規模は、この母数に対して1人あたり何冊買うかが上限となります。この段階で、コミックや一般書に較べて、著しく小さいことが解ると思います。 さらに初級・中級・上級とカテゴライズすると、この母数に対して更にフィルタリングすることになります。コミックだと対象年齢はある程度はあるものの、レベルによってフィルタリングすることはないですね。市場規模は下の概念図のとおり、上級者の市場は必ず初級・中級者の市場より小さくなります。 細分化されたカテゴリ この段階で上級者向け

Amazon Web Services パターン別構築・運用ガイド 改訂第2版 作者:NRIネットコム株式会社,佐々木 拓郎,林 晋一郎,小西 秀和,佐藤 瞬SBクリエイティブAmazon 新幹線の中で、もうすぐ発売される「Amazon Web Services パターン別構築・運用ガイド」の前書きを考えています。ふと、AWSとの出会いはどうだったのかなと思い、過去の記録と記憶をサルベージしてみました。 AWSとの出会い AWSとの出会いは、2006年のAmazon S3です。当時はアメリカのシリコンバレーで働いていて、レンタルサーバのようなものを探していました。幾つか探している時に、ちょうどAmazonがWebサービスを出すというニュースが飛び込んできました。ストレージのWebサービスとは何か、さっぱり見当つかなかったものの、とりあえず惹かれるものを感じ使いだしたのが最初です。実はそれ以

Amazon Web Services パターン別構築・運用ガイド 作者: NRIネットコム株式会社,佐々木拓郎,林晋一郎,小西秀和,佐藤瞬出版社/メーカー: SBクリエイティブ発売日: 2015/03/25メディア: 大型本この商品を含むブログ (1件) を見る 先日、『Amazon Web Services パターン別構築・運用ガイド』を書きましたというエントリーで、執筆のご案内をしました。せっかくの機会なので、もう少し踏み込んで目標などを解説していきたいと思います。ちなみにタイトルを「AWSパターン別本」と省略していますが、今勝手に考えました。元のタイトル長すぎで、覚えられません。 本書の目標 今回書いた本の目標として、例えば「読んだ人がAutoScalingくらいを苦もなく使えるようになる」というのがあります。AWSを使いこなしている人にとっては、AutoScalingなんて当たり

書くと宣言しながら、すっぽかしていたクローラー／スクレイピング Advent Calendar 2014の11日目です。ExcelのVBAで、IEの操作が出来ます。またその中の機能にDOM操作があります。この二つがあれば、Excelだけでスクレイピングできますよという話です。 何を隠そう、私が初めてスクレイピングに手を染めたのはこのExcel VBAスクレイピングでした。毎月定期的に所定のデータを観測するという仕事があって、面倒くさくて仕方がない私は記録用のExcelを魔改造して勝手に取得するようにしました。1時間くらい掛かってた作業も、ボタンポチになったので随分楽になったと記憶しています。（結局、ボタンを押すのも面倒くさくなって、毎日サーバサイドで動かすようにしましたが） スクレイピングの手始めにピッタリのExcel VBAスクレイピングです。環境の用意が簡単なので、ノンプログラマーでも

10/30発売の「サーバ/インフラ徹底攻略 (WEB+DB PRESS plus) 」を、@imai_factoryさんに献本頂きました。ありがとうございます。まだパラパラめくっている状態ですが、最近のサーバ／インフラの構築・運用方法の潮流について、これ1冊で解る内容になっていて面白いです。 サーバ/インフラ徹底攻略とは？ WEB+DB PRESSに掲載されたサーバ／インフラ関連記事を再編集したものです。2013年後半から2014年の記事が中心となっているので、取り扱うトピックスとしてもホットなものが多いです。かつ、ある程度時間が経っていることもあり、数ある類似の技術の中で定着しつつあるものが選ばれている印象です。 章ごとの感想 [入門]コードによるインフラ構築 入門Chef SoloによってInfrastructure as Codeの概念を一気に普及させた@naoya_itoさんによる

2014/10/26に開催された第3回Webスクレイピング勉強会@東京に参加して、発表してきました。今回は、スクレイピングと少し離れてAWSを使ってクローリングするという話です。クローラー／スクレイピングとAWSは相性が良いというのは、昔から思っていたのでテーマとして扱うことは早めに決めていました。しかし、話の構成を、具体的なテクニックの話にするか、概念的な話にするか、少し悩みました。なるべき多くの人に伝わるように、概念的な話をしたつもりです。具体的な部分についてはRubyによるクローラー開発技法を読んで頂ければと思いますw 発表資料 Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス from Takuro Sasaki Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス 資料の構成としては、クローリングする際の悩み

先行発売で、検索エンジン自作入門を購入しました。まだペラペラと眺めている状況ですが、これが非常に面白いです。 「検索エンジン自作入門」は、集めた文章をいかに整理するかをテーマとして扱っている本です。整理するという意味は、検索エンジンを利用するというライフハック的な意味ではありません。整理する為の検索エンジン自体を自分で作ることで理解するという、極めて硬派な本です。 「検索エンジン自作入門」とは？ 「検索エンジン自作入門」は、未踏IT人材発掘・育成事業にスーパークリエータに認定された山田浩之氏と、Senna/groongaの開発者の末永匡氏の共著です。検索エンジンについて語らせたら、日本でこれ以上の人たちはいないだろうという組み合わせです。ということで、内容は非常に濃いのですが、難しい内容を解りやすく解説されています。 一方で、扱っている内容は非常にマニアックです。下に目次付けておくので見て

勉強会やスライドで紹介していましたが、Ruby×クローラーという題材で、『Rubyによるクローラー開発技法』という本を書かせて頂きました。RubyとEmacsの鬼であるるびきちさんとの共著です。 Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 作者: るびきち,佐々木拓郎出版社/メーカー: SBクリエイティブ発売日: 2014/08/25メディア: 大型本この商品を含むブログ (1件) を見る この本を書いた理由 そもそものキッカケは、るびきちさんのエントリーにある通り、SBクリエイティブの編集者さんが、クローラーの作成経験のある人を探していて、私の書いた「オープンソースのRubyのWebクローラー"Anemone"を使ってみる」を読んで打診してくださったというのが始まりです。 私自身も、Webからデータを収集して分析するということは、趣味として長年やってきました。一

CocProxyというツールがあります。名前の通りプロキシサーバーなのですが、用途が開発用です。置換プロキシと言うらしいですが、これがとっても便利です。例えば、クローラーの開発や、HTML,CSS,JavaScriptの修正をする際に、このCocProxyを利用するとダウンロード待ちのイライラが解消され、効率アップ間違いなしです。ローカルのみで完結するのと、Webへのアクセスが必要とするのでは、スピードが数十〜数百倍違います。一回だけでみたら、数百ミリSecの差ですが累積で考えると大きいですよ。 CocProxyとは？ Ruby製のProxyServerです。かつ標準ライブラリで動くことを目標としているので、Rubyの環境があれば、ダウンロードして直ぐに使えます。また基本的には1ファイルで完結するので、導入も簡単です。Ruby1.9をベースにしていますが、Ruby 2.0でも特に問題なく動