クラウドファーストとクラウドネイティブ - プログラマでありたい
今年の春（2015年３月）に出版したAmazon Web Services パターン別構築・運用ガイドの序文に次のような文章を書いています。 クラウドという言葉が一般的になってから、もう何年も経とうとしています。当初は、不慣れな従量課金やセキュリティへの不安から、採用する企業はごく一部の企業に限られていました。しかし、クラウド自身の進化と、それを取り扱うユーザ・企業・コミュニティの成長とともに、多くの企業がクラウドを検討・導入するようになりました。そして最近では、クラウドファーストという考え方のように、システムの導入の際はまずクラウドで実現できないかという考え方が当たり前になりつつあります。今では更に考え方が進み、クラウドネイティブという名のもとに、クラウドを前提としたアーキテクチャ・設計が採用されつつあります。 半年前は、現時点ではクラウドファーストが浸透してきた所で、その次はクラウドネ
サーバレスアーキテクチャ（ServerLess Architecture）とBaaSの違い - プログラマでありたい
先日、サーバレスアーキテクチャ（ServerLess Architecture）について簡単にまとめてみたところ、様々なご意見頂きました。その中で特に多かったのが次の２つです。 サーバレスといっても、裏にはサーバがある 単なるSaaSやPaaS,BaaSを別の言い方にしただけでは？ 面白い視点だと思うので、個人的な見解を整理してみます。 裏にサーバがあるのに、サーバレス？ 「サーバレスといっても、裏にはサーバがある」というツッコミは、その通りです。この文脈で言うサーバレスというのは、利用者側から見て管理するサーバがないという意味です。従来だと、自前でサーバの設定をして、パッチ当てやログの管理が必要でした。ChefやAnsibleなどの構成管理ツールを使ったとしても、自分で管理する必要があるという点では同じです。 これに対して、サーバレスの場合はユーザがサーバを管理する必要はありません。例え
サーバレスアーキテクチャとは？ - プログラマでありたい
サーバレスアーキテクチャの整理です。少し前は、2-Tier Architecture（クラウドネイティブなアーキテクチャ）と3-Tier Architecture（従来のアーキテクチャ）という対比で論じられることが多かったです。しかし、API Gatewayの登場により、3-Tierな構造でもクラウドネイティブなアーキテクチャにしやすくなりました。ということで、サーバレスアーキテクチャ（ServerLess Architecture）と呼ばれることが多いです。 サーバレスアーキテクチャのパターン それでは、従来型のアーキテクチャ（旧3-Tier）と2-Tierパターン、API Gatewayを利用したサーバレスアーキテクチャをそれぞれ見てみましょう。 従来型のパターン（ アプリケーションサーバ・パターン） まずは従来型のアーキテクチャです。間にELBを挟んでAutoScaleにすることは多
バッチ処理について再考 - プログラマでありたい
作業途中のメモです。バッチ処理の定義を確認しようとしてWikipediaをはじめとして幾つかのサイトをみてました。その時に目に入ったのが、下記の文章です。 利点 バッチ処理には以下のような利点がある。 ・多くのユーザーがコンピュータのリソースを共有できる。 ・処理をコンピュータのリソースがあまり忙しくない時間帯（多くは夜間、休日）にシフトできる。 ・人間がついていなくてもコンピュータのリソースが暇にならないように最大限有効活用できる。 ・高価なコンピュータをフルに活用することで費用対効果の効率向上に寄与する。バッチ処理 - Wikipedia これだけみると、人件費に対してコンピュータリソースが高い時代の産物なんですよね。今は、クラウドの登場で、有り余るコンピュータリソースをほぼ自由に低コストに使える時代です。そもそもバッチ処理である必要があるか、考える必要がありますね。特に夜間バッチにつ
5分で何となく解るAmazon Cognito - プログラマでありたい
年末年始でじっくり調べてみようと思っていたのがCognitoです。先日ようやく時間が取れて、何となく解ってきたので簡単にまとめてみます。Cognitoは、モバイル向けに設計されたユーザーアイデンティティおよびデータ同期のサービスです。主な機能としては、以下の3点です。 FacebookやGoogleなどのOpenID ConnectベースのIdentity Providerを利用して認証できる Cognito Syncで、同一ユーザの複数の端末のデータを同期できる 認証／未認証のユーザにIAM Roleを利用して、AWSリソースのアクセス制御 上記の説明を聞いても、Cognitoの良さはさっぱり解らないと思います。私もCognitoの説明を読んでも、Facebookで認証できるのかぁくらいにしか感じませんでした。Cognito Syncの同期機能も、ほーっと思ったけど必要とする場面はどれく
Excel VBA+IEでのスクレイピング - プログラマでありたい
書くと宣言しながら、すっぽかしていたクローラー／スクレイピング Advent Calendar 2014の11日目です。ExcelのVBAで、IEの操作が出来ます。またその中の機能にDOM操作があります。この二つがあれば、Excelだけでスクレイピングできますよという話です。 何を隠そう、私が初めてスクレイピングに手を染めたのはこのExcel VBAスクレイピングでした。毎月定期的に所定のデータを観測するという仕事があって、面倒くさくて仕方がない私は記録用のExcelを魔改造して勝手に取得するようにしました。1時間くらい掛かってた作業も、ボタンポチになったので随分楽になったと記憶しています。（結局、ボタンを押すのも面倒くさくなって、毎日サーバサイドで動かすようにしましたが） スクレイピングの手始めにピッタリのExcel VBAスクレイピングです。環境の用意が簡単なので、ノンプログラマーでも
AWS Lambda Meetup #0に参加した感想 - プログラマでありたい
先日開催されたAWS Lambda Meetup #0に参加してきました。もともと聞きに行く予定だったのですが、主催者の@Keisuke69さんから打診を受けて急遽登壇することになりました。 発表資料 発表内容は、Lambda Advent Calendar用にネタ的に作ったクローラー／スクレイピングを題材にしています。 AWS Lambdaで作るクローラー／スクレイピング from Takuro Sasaki Lambdaクローラーの背景 最初にLambdaのサービスの発表を受けて、SIer脳の私はバッチサーバの代替として使いたいと考えました。なぜならばバッチサーバの運用は、思いのほか面倒くさいのです。レガシーな作りになりやすく、フェイルオーバーなど自動復旧の仕組みが取りづらいためです。そんなバッチサーバを、そもそもサーバレスのLambdaに置き換えると、運用が楽になってハッピーです。
Lambdaで作るクローラー／スクレイピング - プログラマでありたい
話題のAWS Lambda Advent Calendar 2014の14日目です。クロスポストで、クローラー／スクレイピング Advent Calendar 2014の14日目でもあります。 re:Inventで発表されて以来、注目のLambdaです。サーバを用意しなくても、バッチを直接実行できるとあって、ユースケースを考えるだけで夢が広がります。今年はクローラー本を出したこともあって、Lambdaで作るクローラー／スクレイピングをテーマにします。 クローラー／スクレイピングとは？ Webクローラーは、Webサイトを巡回してデータを取得するプログラムです。スクレイピングは、取得したデータから目的の情報を抜き出すことを指します。一般的には、クローラーの中に、スクレイピングの機能を包含していることが多いです。また、特定のページだけ取得してデータを抜き出すことを、スクレイピングと呼ぶことが多い
AWSのアカウント管理の話 - プログラマでありたい
AWS Advent Calendar 2014の7日目です。あと、全部俺Advent Calendarも開催中です。 運用絡みで何か書くと宣言したので、AWSのアカウント運用について書いてみます。テクニックや技術より、考え方の面での整理です。 AWSのアカウントの種類 AWSで利用するアカウントは２種類あります。AWSアカウントとIAMアカウントです。AWSアカウントは、マスターアカウントと呼ぶこともあって大元のアカウントになります。AWSにサインアップ時に作るものが、AWSアカウントで１つだけ存在します。それに対して、IAMアカウントはユーザアカウントです。AWSの管理コンソールから、個々のユーザ向けなどに作成します。 AWSアカウントの取扱について AWSアカウントは、全権限を持っています。強力すぎるアカウントで、日常の運用に利用するには危険すぎます。日常の運用には使わないというのが
賃貸物件でも食洗機！！ - プログラマでありたい
一度食洗機付きの物件に住んでから、その便利さの虜になっています。そんな中、今年の7月に引っ越しました。当然といえば当然なのですが、引越し先の物件には食洗機がついていませんでした。ということで、食洗機を取り付けられるよう色々動きました。 不動産屋経由でオーナーに設置の確認 不動産屋経由で確認したのですが、今住んでいる物件のオーナーは高齢の人らしく、そもそも食洗機はという状態だったようです。そこで、食洗機の写真や蛇口の改修についての説明資料を送りました。蛇口の根本部分を交換するだけなので原状回復可能ということを強調したら、あっさり許可が取れました。 食洗機の選定 許可が取れたので、次は食洗機の選定です。食洗機は主に据置型とビルトインタイプがあります。後者はシステムキッチンと一体なので、さすがに賃貸では導入は難しいです。そこで、据置型を選びました。据置型の食洗機なのですが、選択肢としてほぼPan
Ruby+Nokogiriでスクレイピング入門 - プログラマでありたい
クローラー／スクレイピング Advent Calendar 2014の5日目です。あと、全部俺Advent Calendarも開催中です。 Webからデータを取るためにスクレイピングする際は、Rubyを使うことが多いです。理由としては、Nokogiriが手軽で簡単だからの一点です。Rubyによるクローラー開発技法でも随所に紹介しています。随所というレベルではなく、手を変え品を変えNokogiriでデータ取っているだけじゃねぇかと批判を受けるのではと、懸念するレベルかもしれません。Nokogiriは手軽で便利なので、ちょっと使い方を覚えておくだけで楽できるケースが一杯あります。ということで、Nokogiri入門編です。 Nokogiriの使い方 Nokogiriは、Rubyで実装されたHTML/XMLの構文解析器（パーサー）です。Rubyの中では、デファクト・スタンダードと言っても差し支えが
何故JSONPでJavaScriptのクロスドメイン通信ができるのか？ - プログラマでありたい
一人Advent Calendarの3日目です。 JSONPを使って外部のAPIを呼び出して、結果を取り込むということは色々なところで行われています。しかし、そもそもJavaScriptを利用した場合、クロスドメイン通信が使えないという前提があります。JSONPだったら、何故そこを回避できるのでしょうか？あまり詳しく考えたことが無かったので、簡単に調べてまとめてみました。なんというか4周くらい遅れている話題ですが、気がついた時に整理するとスッキリします。 JSONPの動作原理 Wikipediaさんをみてみると、そのものずばりのことが書かれています。scriptタグ内のsrc属性は別ドメインのURLを指定できるという点と、そのレスポンスはJavaScript関数呼び出し形式になるという点をついたのが、JSONPの動作原理です。なんというか、仕様の考慮不足を利用した仕組みだと思います。 JS
はてなダイアリーから、はてなブログ（独自ドメイン）に移行したらこうなった - プログラマでありたい
全部俺AdventCalendarの2日目です。 今年の4月に、はてなダイアリーからはてなブログ（独自ドメイン）に移行しました。その顛末というか困っているところです。まずは、アクセス数の推移のグラフを見てください。 はい。だだ下がりです。 アクセスが下がった要因 アクセス数が減った直接的な原因としては、Googleからのオーガニック検索が減ったことが一番大きいです。1日1,000アクセスくらいあった検索が、1/3くらいになっています。 Googleからの検索結果の流入が減った要因 移行前から、アクセス数は７〜８割くらいになるかと思っていました。しかし、現状だと半減以上となかなか厳しい状況です。原因は幾つか考えられるのですが、予想よりひどくてよく解からんという状況です。幾つか考えている要因としては、次の3つくらいです。 評価の低いドメインの使用 301リダイレクトによる被リンク効果の減少 は
S3のイベント通知機能（S3 Event Notifications）に対するユースケースを考える - プログラマでありたい
日本のAWS関係者がre:Inventの発表で盛り上がっているなか、風邪ひいて寝込んでました。季節の変わり目には、気をつけましょう。 さて、そんな感じで全然追いつけていませんが、特に面白いなぁと思ったのが、S3 Event NotificationsとAWS Lambdaです。Lambdaについてはまだ触っていないので何ともいえない部分がありますが、発表内容を見る限りインフラの在り方を変えるような存在かもしれません。そして、S3のEvent Notifications。これ、めちゃくちゃ便利です。S3のイベント（現在は、putとpushとcopy）が発生したら、SNSやSQSに通知を送れるという機能です。何が便利かというと、ファイルのアップロードをトリガーに処理を書けるということです。頭に浮かんだユースケースを1つ書いてみます。 S3 Event Notificationsを使ったクローラ
ヤフー「つぶやき感情分析」で、衆議院議員の人気度を見る - プログラマでありたい
ネットを見てると、面白いサービスが出ていました。 ヤフー株式会社は12日、ソーシャルメディア上の投稿を検索できるYahoo!検索の「リアルタイム検索」において、「つぶやき感情分析」の正式版を公開した。 つぶやき感情分析は、Twitter上の投稿を分析し、検索したキーワードについてユーザーがどのような感情を持っているかを、「ポジティブ」「ネガティブ」の割合でグラフ表示する機能。2013年9月にベータ版として提供を開始し、今回、正式版として公開した。 ヤフー「つぶやき感情分析」、Twitter上の感情を「ポジ／ネガ」で判定 -INTERNET Watch Twitterの情報をもとに、感情分析をするというサービスです。簡単にいうと、入力されたキーワードに対して、世間は好きか嫌いかを出すというサービスです。こういったことをやりたいなぁと思って、Twitterのデータを大量に収集したり、そのデータ
今どきのサーバ／インフラの構築の仕方。"サーバ/インフラ徹底攻略 (WEB+DB PRESS plus) " - プログラマでありたい
10/30発売の「サーバ/インフラ徹底攻略 (WEB+DB PRESS plus) 」を、@imai_factoryさんに献本頂きました。ありがとうございます。まだパラパラめくっている状態ですが、最近のサーバ／インフラの構築・運用方法の潮流について、これ1冊で解る内容になっていて面白いです。 サーバ/インフラ徹底攻略とは？ WEB+DB PRESSに掲載されたサーバ／インフラ関連記事を再編集したものです。2013年後半から2014年の記事が中心となっているので、取り扱うトピックスとしてもホットなものが多いです。かつ、ある程度時間が経っていることもあり、数ある類似の技術の中で定着しつつあるものが選ばれている印象です。 章ごとの感想 [入門]コードによるインフラ構築 入門Chef SoloによってInfrastructure as Codeの概念を一気に普及させた@naoya_itoさんによる
クローラーとAWSが出会ったら？第3回Webスクレイピング勉強会@東京 - プログラマでありたい
2014/10/26に開催された第3回Webスクレイピング勉強会@東京に参加して、発表してきました。今回は、スクレイピングと少し離れてAWSを使ってクローリングするという話です。クローラー／スクレイピングとAWSは相性が良いというのは、昔から思っていたのでテーマとして扱うことは早めに決めていました。しかし、話の構成を、具体的なテクニックの話にするか、概念的な話にするか、少し悩みました。なるべき多くの人に伝わるように、概念的な話をしたつもりです。具体的な部分についてはRubyによるクローラー開発技法を読んで頂ければと思いますw 発表資料 Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス from Takuro Sasaki Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス 資料の構成としては、クローリングする際の悩み
『Rubyによるクローラー開発技法』関連書評・イベントまとめ - プログラマでありたい
Rubyによるクローラー開発技法の発売から2ヶ月くらいが経ちました。ニッチすぎるとの予想を覆し、かなり好調な売れ行きです。既に2回目の増刷を迎えております。筆者としては、ありがたい限りです。最近、いろいろな方が書評を書いてくれています。自分用の整理を兼ねて、ピックアップしてみました。是非、ご覧ください。 書評 沢山の書評ブログを頂いています。どれも参考になります。抜けているものも多数あると思うので、指摘して頂ければ幸いです。 書評：Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例 - Togetterまとめ @k5okadaさんによるTweetのToggeterまとめ。学ぶべきことの定義がきっちりとされていて、それに沿って行くと効率が良いとのお言葉頂きました。執筆の際に編集者さんに、何に対しての説明なのか常に意識して書けと、繰り返し指摘されていました。この書評を読んで、
Mac miniを買ったった！ (Late 2014 MGEN2J) - プログラマでありたい
2014/10/16に、Mac miniの最新機種が発表されました。1年近く待ち続けていたので、小躍りして買いました。 Mac mini Late 2014のラインナップ まず最初に、2014年版のMac miniのラインナップは何があるのでしょうか？松竹梅の3モデルがあるので、それぞれ仮にハイエンド、ミドルエンド、ローエンドと呼ぶことにします。カスタマイズ前の状態で、スペックを較べてみます。 ローエンド ミドルエンド ハイエンド 型番 MGEM2J/A MGEN2J/A MGEQ2J/A CPU Core i5 1.4GHz Core i5 2.6GHz Core i5 2.8GHz メモリ 4GB 8GB 8GB グラフィックス Intel HD Graphics 5000 Intel Iris Graphics Intel Iris Graphics ストレージ 500GB HDD
Amazonのランキングの不思議 - プログラマでありたい
2014年8月末発売の「Rubyによるクローラー開発技法」が好調です。１ヶ月半くらい経過した今でも、Amazonのランキングで1000〜2000位くらいを維持しています。また2回目の増刷も決まり、望外の売れ行きです。 ところで、自分で本を出して疑問に思うことがあります。それは、Amazonのランキングの謎です。在庫数や順位の変動、アフィリエイト経由の売上を見ていると、意外な疑問が出てきました。それは、トップヒット以外は、殆ど売れていないのではないかという疑惑です。Amazonといえばロングテールという新しいモデルの旗手ですが、実はテール部分の売上が想像以上に小さいのではという気がしてきました。理由としては、次の3点です。 1日100冊程の売上で、ランキング100〜200位 1日10冊程の売上で、ランキング1,000〜2,000位 100,000位以降は、在庫数（残り何冊）の変動がなくても殆
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
