この投稿は クローラー／スクレイピング Advent Calendar 2014の12月23日用です。 はじめに人間って凄い。 まずはこの画像を御覧ください。 図1 各国のECサイトの画像 Eコマースのサイトで、商品の詳細のページを見るだけですぐに商品名、価格を判断出来ましたよね？ それが英語のサイトでも中国語のサイトでも、韓国語のページでも分かりましたよね？ 凄いですね。 人間のスクレイピング能力人間は恐ろしいほどのスクレイピング能力を持っている事が分かりました。 ソースも見ない、タグも見ないで、なんとなく雰囲気だけでスクレイピングしています。 もしこの能力をコンピュータに移植できたら凄いことですね。 もし、先ほどの画像を身の回りのインターネットに一番疎い人に見せてみて下さい。 きちんとスクレイピング出来たでしょうか？ おそらく出来なかった事が多いのではないかと思います。 こんな事させて

はじめに 今インフラエンジニアをやっているんだけど、どうもクラウドとかって最近流行っているらしい。やってはみたいが、ブラウザでいろいろ操作するとなると、覚えなきゃいけないことがたくさんありそうだ。 そもそも、ブラウザでインフラを管理することに対してどうしても違和感を感じている。コマンドラインでの操作のほうがプロっぽくてかっこいいし、何より速い。クラウドに触れていかなきゃいけないのはわかっているけど、何から初めていいかわからない。 けど、ふとこんなものを見つけたんだ。AWS Command Line Interface（CLI）。 AWSをコマンドラインで操作するというなんとも俺好みのツール。 今から俺はこのAWS CLIでクラウドを使いこなしてやるんだという気持ちを忘れないために、やったことを書いて残していくことにした。 AWS CLIのインストール AWS CLIをインストールにはPyt

クローラー／スクレイピング Advent Calendar 2014の12月20日です。 タイトルに書いてあることが全てではありますが、いちおうスクレイピングするにあたっての事を。 スクレイピングする時のアプローチとして、大きく2つあると思います。 1つは、完全にテキストとして正規表現で抜き出してくる方法。 もう一つが、HTMLをパースしてXPathやそれに似た(CSSのセレクタ)構文で取得する方法。 今回は後者のパースして取得する方法について書きます。 なぜパースする必要があるのか世の中のHTMLは汚い。CMSを使っていたとしても汚い。 タグがグチャグチャです。 グチャグチャのタグの構造からXPathで取得しようとすると、思った動作をしないことが多々あります。 なので、一旦パースをして、きちんとした構造を使わないと痛い目を見ることがすくなくありません。 どのパーサを選ぶべきなのかHTML

2014年9月6日 JAWS FESTA Tohoku 2014 これで 得上竜一(とくがみりゅういち) | JAWS FESTA Tohoku 2014 これを喋ってきました。 今回しゃべるにあたって、最先端物産展というトラックだったこともあったので、 最近人工知能界隈は Softbankがpepper売るとか言ってきたり、 Googleが猫論文出してきたり、 人工知能学会誌の表紙が話題 になったり と、人工知能が何やら盛り上がっているし、今自分の興味の対象が人工知能だしって言うことで、話してきました。 人工知能がそもそも何だっていうのと、人工知能が今までにどんな問題にぶつかって乗り越えてというのがあったのかという歴史と、 今の技術と、クラウドのインフラがあるからこそ解決出来る事とを考えていくと、 あら、今なら人工知能作ることなんて、自分の技術とお財布でも出来そう。身近になったものです。

何かしらのAMIを作る時、本来使うインスタンスよりも高級なインスタンスを使って、 作成するとコンパイルも早いし便利ですよね。 でも、高級インスタンスを使うと時間は短くなったとしても、お高かったりします。 そんな時にはSpotインスタンス。 Spotインスタンスを使ってAMIを作れば安いし、速度的にも快適なことこの上ないです。 Spotインスタンスならc3.xlargeのお値段でc3.8xlargeが使えます。 しかし、SpotインスタンスでAMIを作る時に気にしなくては行けないのは、途中で落ちてしまう事。 (私はSpotインスタンスは最低価格でしか入札しないんです。) せっかく作ってたのに、途中で落ちてしまっては元も子もありません。 今回はCloudAutomatorを使って自動的にAMIを作り続ける事をやってみます。 まずはSQSでQueueを作ります。 そしてCloudAutomato

所属 (株）マイニングブラウニー 代表取締役（社）クラウド利用促進機構 技術アドバイザー 所属コミュニティ JAWS-UG 浅草 自己紹介 2代目 JAWS-UG代表です。 データベース周りと分散処理が好きでしたが、最近はこの2つの技術を併せて人工知能や機械学習にはまっています。クローラでインターネットの情報を集めてきて、人工知能に教えてAWS上に自宅警備員を作る事が最近の趣味です。全国のポン酢と、ノベルティ（特にステッカー）を集めるのが好きです。 web http://www.miningbrownie.co.jp SNS facebook：https://www.facebook.com/tottokug Twitter：@ Kinesis とGPGPUで人工知能を気軽に活用する未来 最先端物産展 Kinesis とGPGPUに期待する、やっと来る21世紀。GPGPUにはグラフィックス

2014-08-01 サイト内部のリンク構造を重複しないでクロールする サイトのトップページを開始地点として、クローラーで サイト内のaタグを巡回し、リンク元とリンク先を一覧取得したい。ということはよくあると思います。問題として、既に訪れたページのURLを管理しておかないと、 同一ページを何度も訪れてしまい、残念なときは無限ループに おちいってしまいます。webクローラー mitsubachi では、URLに一意なキーを振り出すことで この重複を発生させることなく、1度訪れたページは再度訪れないように クロールすることができます。 # -*- coding: utf-8 -*- require 'mitsubachi.rb' require 'digest/sha1' #URLからドメインを抽出します。 def url_to_domain url url[/:\/\/(.*?)\

東北のみならず全国で活動するITコミュニティがJAWS-UGを中心にジャンルの枠を超えて集結する、コミュニティによるコミュニティのためのお祭り「JAWS FESTA Tohoku 2014」が地方から日本の未来を変える！この歴史的な第一歩をみんなで楽しもう！！...

【A-5】　プロレス as a Service公式戦（第２弾）：デベロッパー争奪戦勃発！ 開発者をメロメロにするクラウドはどこだ？ クラウドランキング上位に位置する国内外クラウドベンダーの論客たちが集まる夢のバトルロイヤルステージ再び！クラウド使うと固定費下がってコスト安くなるのは当たり前。デブサミ参加者ならそんなこたぁもう知っている。クラウドたるもの、インフラ周りの面倒を開発者から肩代わりし、開発生産性と運用生産性高めまくってナンボ。開発者の能力をブーストするのが一番得意なクラウドはどいつだ？てか、なにができたらデベロッパーはメロメロになるのか？ （客席を含めて割とガチで）激論を繰り広げます。 参戦メンバーは追ってご紹介とさせてください。 レフリーはIaaSランキング仕掛け人の川田が務めさせていただきます。 【レフリー＆司会】川田 大輔〔atoll Project〕 atoll Proj

全国40支部にもおよぶAWS（Amazon Web Services）ユーザーが一堂に集う「JAWS DAYS 2014」がいよいよ来週の3月15日（土）に近づいた。クラウドの御旗の元に集うハイテンションイベントの内幕と聞き逃せないその中身について、JAWS-UGの実行委員会の2人に聞いた。 「去年のJAWS DAYSはあまり面白くなかった」から始まった AWSの強さの源泉は、革新性やスピード、スケールメリット、エコシステムだけでなく、コミュニティの存在が大きい。国内においても「JAWS-UG」と呼ばれるAWSのユーザーグループの活動が非常に盛んだ。そんなJAWS-UGが主催するイベントが、3月15日に東京の新宿（ベルサール新宿グランド）で開催される「JAWS DAYS 2014」である。 イベントの概要について、JAWS DAYSの実行委員会の吉田真吾氏（アイレット cloudpack事

3月15日に開催された「JAWS DAYS 2014」に関して書こうと思う。実は5分前まで、AWSで披露された事例のレポートを書いていたのだが、今回は個別の講演内容より、そのイベントが醸し出す雰囲気やコミュニティ論についてざっくり書くことにした。 JAWS DAYSの本質はやっぱり勉強会 JAWS DAYS 2014は、全国に41の支部を持つJAWS-UG（AWS User-Group Japan）による全国規模の交流イベント。今年で3回目となるJAWS DAYS 2014では、インフラ関連や事例、ハンズオンなど全7トラックで50以上のセッションが行なわれた。 AWSが製品戦略や事例を披露する「AWS Summit」と異なり、JAWS DAYSはAWSユーザーが有益な情報を交換する勉強会がベースになっている。実際、会場となったベルサール新宿グランドでは、「ビッグトラック」を行なうメイン会場

イベントの詳細 公式サイトをご覧ください！ 主催 JAWS DAYS2014実行委員会 イベントのお申込みにあたり（補足） イベントの申込みにて、事前アンケートを入力した次の画面で「チケットをまだ購入していません」と表示されます。右側にある 「今すぐ支払う」 をクリックすると決済画面に移りますので、こちらで決済をしてください。 決済をされない場合、当日会場受付でのお支払い となります。 決済画面にて、左側の「お知払い内容」に「得上 竜一 ¥895 JPY」と表示されますが、 JAWS-UGの口座管理人が表示されている もので問題ありません。 事前にお支払い戴きました参加費については、 参加キャンセルに伴う払戻しを致しません。 何卒ご了承願います。 参加登録締切と当日参加受付について 事前の参加登録受付は前日3月14日(金）12時までとなります。当日のスムーズな受付のため、事前の参加登録にご

JAWS-UG Advent Calendar 7日目です。 昨日は高校生でも使えるAWSでした。 今日はみんなが大好きで仕方ないAmazon SimpleWorkflowService(以下SWF)のWorkerとDeciderをAWS Elastic Beanstalk(以下Beanstalk)で動かす方法についてです。 SWFといえば、分散処理をするために非常に便利なもので、Amazon SQSに比べて正確な制御がし易いという特徴を持っています。 しかしSWFでもめんどくさいところがあります。 それは新しいバージョンのデプロイの作業です。 SWFでは各ActivityとWorkflowにバージョンを持っていて、ExternalClientによって呼び出されるバージョンと、Workflowのバージョンが合っていないと実行されなかったり、当然WorkflowからActivityを呼び出す

注意事項 受付開始は18:30を予定しております。 懇親会 後日掲載予定！ LT募集のお知らせ 5分のLTを6本予定しております。 登壇者を以下のテーマで大募集中ですので詳しくは下記を御覧ください！ 【テーマ】AWSのストレージ関連(S3, glacier, StrageGateway,EBSなど) ご応募くださる方は下記コメント欄、もしくはjawsugコアメンバー宛にご連絡下さい！ 応募者多数となった場合は懇親会会場での飲み会LTをお願いする場合もあります。 ネタLTなど懇親会での発表に限定したいLTはその旨ご連絡下さい。 (懇親会LTでは特に発表カテゴリを指定致しません) 【応募内容】 * 発表タイトル(タイトル無しは対象外とさせて頂きます) * 発表内応 * 連絡先(Twitterアカウント、メールアドレス等) * 注意：自社サービスや製品の宣伝、エンジニア採用などのメッセージが強い

先日UPした各社最強エバンジェリスト スペシャルパネルディスカッションに引き続き、JAWS Festa Kansai 2013のレポートです。2本目はイベント全体の模様を、写真を多めに交えてお伝えして行ければと思います。セッション的には今回計2つしか参加・聴講していないので、個別のセッション内容については各々参加された方々のブログやレポートを楽しみにしたいと思います。:-) About | JAWS FESTA Kansai 2013 2013/09/28 JAWS Festa Kansai 2013 #jawsfesta #jawsug - Togetter JAWS FESTA Kansai 2013 前/後日色々詰め - Togetter JAWS Festa Kansai 2013 各社最強エバンジェリスト スペシャルパネルディスカッション 詳細レポート #jawsfesta ｜

“ChefがキライでもOpsWorksはキライにならないでくださいっ!!” カスタムAMIとAWS OpsWorksの使い方：AWS OpsWorksアプリケーション運用の勘所（3）（1/3 ページ） 「OpsWorksってあれだろ？ Chefでレシピを書くんだろ？ 」と言ってみたけど、本当は書いたことがない人が一番幸せになれる情報。Chefがいなくてもオイシイ仕組みは作れるようになりそう！ 前回の記事から2カ月近くあいてしまったのですが、その間にOpsWorksは大きくアップデートを遂げました。前回の記事では、 次回は、「こんなトラブルのときはOpsWorksならこうするねっ」という情報をまとめていきます と書いていましたが、今回はアップデートの内容が大きなインパクトを持っていることから、変更点の紹介と、この変更点を生かしたコマンドライン操作の方法を紹介していきます。 OpsWorksの

個人から法人まで幅広い主催者の方にご活用いただいています。 イベント主催者8万人以上 チケット販売550万枚以上