dots.女子部のもくもく会で、AWS Lambdaを使ってクローラーを作ろうと思い、重い腰を上げました。 腰、本当に重いんですよ。 Lambdaといえば月１００万回無料なので、1分間に23回も実行できるんだと思います。 Lambdaで作るクローラー／スクレイピングが参考になりそうなので、最初はこれを見ながらS3にrequestで取得したものをとりあえずアップロードしようと思いました。 言語はもちろんPythonで！ import boto3 import requests BUCKET = 'test_requests' s3 = boto3.client('s3') def lambda_handler(event, context): key = 'corp.camon.tokyo' target_url = 'http://corp.camon.tokyo' target_html

AWSアカウントを作成したら最初にやっておきたいことをまとめてみた。 あわせて読みたい 本記事の内容を含めた最新の手順は、下記の書籍にまとまっている。 クラウド破産を回避するAWS実践ガイド AWSアカウント（ルートアカウント）の保護 AWSアカウントが乗っ取られると詰むので、真っ先にセキュリティを強化する。 AWSアカウントへ二段階認証を導入 AWSアカウントでのログインは、AWSアカウント作成時のメールアドレス・パスワードだけでできてしまう。心許ないにもほどがあるので、まずは二段階認証を設定しよう。 IAMのページを開く https://console.aws.amazon.com/iam/home 「ルートアカウントのMFAを有効化」を選択して、「MFAの管理」ボタンをクリック 「仮想MFAデバイス」にチェックが入っていることを確認し、「次のステップ」ボタンをクリック 注意書きを読ん

.gitignore し忘れて他人に見えちゃマズいファイル（パスワードをベタ書きしたファイルや AWS_SECRET_ACCESS_KEY を書いたファイルとか）を git commit しちゃった！そんなときは すればすぐ何もなかったことにできます。 が！そこで気付かずに GitHub へ git push してしまった！こうなると容易に何もなかったことにはできません。 この記事では、こういうときに何もなかったことにする方法を紹介します。 そのデータを無効にする 特に Public Repository の場合はすでにそのデータが他人の目に触れていた…ということも十分ありえます。AWS_SECRET_ACCESS_KEY なんかは取得用のクローラが存在するとも聞きます。ので、まずは不正利用されても影響が出ないように、パスワードの書き換えやトークンの無効化を施しましょう。 （この時点でもう

クローラー／Webスクレイピング Advent Calendar 2015の16日目の記事です。 ・2015/12/16 追記 コメント欄にてriocamposさんにご指摘いただいた点を元に記事を修正しました。 ありがとうございます。 ・2017/07/06 追記 久々にコードを見たら酷いコードが残されていたのでリファクタリングしました。 GitHubにも置いてありますので、良ければ使ってみてください。 リファクタリングついでに、文章も修正して再アップロードしようと思います。 今回の目的 rubyでWebスクレイピングする際の処理を練習する。 ・特定のページからカクテル情報を収集する - カクテル名 - カクテルを作るのに必要な材料 - 作り方 ・持っている材料で作る事が出来るカクテルの列挙 準備 rubyとbundlerがあれば大体動くと思います。 ・ruby >= 2.1 ・bundl

こんにちは！freee ソフトウェアエンジニア @toshi0607 です。 この記事は freee Engineers Advent Calendar 2015 14日目です。 自己紹介 去年かいたもの 見積書 契約書 提案書 稟議書 はじ 今年かいたもの Ruby C# freeeに転職してもう少しで1年。それまではIT業界で営業をしていました。 週末にコードを書いていたものの、実務レベルにはほど遠い…。そんな僕は今でもまだエンジニアとしてお仕事させてもらっています。 今日はそんな風に生き延びることができた所以やエンジニアを育てるfreeeの文化について順番に紹介していきたいと思います。 恐怖の入社前課題 内定から数日後、食い気味にやる気をアピールしたかった僕はCTOにお願いして入社前課題を求めました。結果、以下全てを3ヶ月でマスター勉強することに…！ Ruby on Railsチュー

※この記事はクローラー／Webスクレイピング Advent Calendar 2015の8日目の記事です。昨日はプリキュアで学ぶワンライナーWebスクレイピングでした。 こんにちは、trebyと申します。 プロデューサーの皆さん、今日も元気にアイドルたちとお仕事していらっしゃいますでしょうか。 私自身は基本的にはミリオンから入ったクチなのですが、デレステがリリースされてからシンデレラの魅力にも気づきまして、ますますお仕事が捗る今日この頃です。舞踏会最高でした。 今日はそんなプロデューサーの皆さんが幸せにお仕事できるようにするためのスクレイピングの技を紹介します。 ※お約束ですが、プログラムを使って人様のサーバにリクエストする以上、節度のある行動を心がけましょう。 プロデューサー予定表をGoogle Calendarに取り込みたい さて、お仕事を効率よくこなすために大事なことといえばスケジュ

「確かに人事にはLinuxができる人が欲しいとは言ったが、まさか顔合わせでcurlとgrepでプリキュア全員の名前を端末で出力するような奴が来るとは思わなかった。」 — ぐれさん (@grethlen) 2014, 10月 21 クローラー／Webスクレイピング Advent Calendar 2015の7日目です。 IT企業を志望する就活生の方々は「FizzBuzzで100まで数えろ」とか「素数を表示しろ」とかいきなり言われても、得意な言語でならサクッと実装できるスキルは身につけておきたいですね。いつ面接で聞かれるかわかりません。 そして当然のごとく「プリキュア全員表示しろ」と言われても対応できるようにしておくべきでしょう。文字列処理、Webスクレイピングの基本が身についているかどうかがこの問い一つでわかります。面接で既に出題された方も少なくないのでは？ そこで、いくつかのアプローチでW

業務でもクローラを見ることが多いのですが、今回は新しくクローラ作るならとりあえずDjango+Celery使うだろうなぁということで、個人でサンプル書いて見つつ思ったところをつらつらと書いてみようと思います。 クローラの基本的な処理段階 クローラといっても人によって微妙に定義が違う状態で会話する事が多いのでとりあえず今回の対象は、 一定の条件に従ってWebページのリンクを収集する 各リンク内のページ内容をスクレイピングする スクレイピングした後の処理については、今回は対象外とする という前提でお話します。 今回のサンプルの構成 y-matsuwitter/django_sample_crawler 今回サンプル書く上での構成ですが、 Python 3.4.3 Django 1.9 Celery 3.1.19 lxml 3.5.0 requests 2.8.1 を利用し、下記を実施するものを

ソース 以下のようになると思います． スクレイピングしたいページのURLと出力ファイル名を指定すると，ページのタイトルなどがJSON形式で帰ってくる仕組みです． 関数scrapingが本体です． import sys import json import requests from bs4 import BeautifulSoup import codecs def scraping(url, output_name): # get a HTML response response = requests.get(url) html = response.text.encode(response.encoding) # prevent encoding errors # parse the response soup = BeautifulSoup(html, "lxml") # extra

anemoneが人気だけど物足りない Rubyでクローラーと言えばanemoneですよね。ですがanemoneは2012年で更新がほぼ停止しています。 また大きめのサイトをクロールするとページ数が数万を超えて来ますし、プラスアルファで属性情報を収集する必要が出てくるので素のanemoneだと対応が難しくなります。 仕事で技術方向に特化したSEOをしている事もあってanemoneをクローラーとして使うのには物足りませんでした。具体的に物足りなかった機能を列挙します。 Charsetのサポート、自動判定 中断再開機能 一時停止後のオプション変更 複数サイトに対する平行稼働 許可するサブドメインの指定 除外するサブドメインの指定 UserAgentの切り替え（GoogleBotに成りすますなど） 除外するパラメータやパスの指定 多段リダイレクトの追跡 クロールするページ上限数の指定や切り替え 日

クローラー／スクレイピングに関する話題ならなんでも誰でも OK な Advent Calendar です。 Webからどうやって情報を集めるか、いろいろな方法を共有しましょう。 例: 言語別のクローラー／スクレイピング方法 ノンプログラムで使えるサービス やっぱりExcel最高！！ 情報収集に関する注意点（著作権法、岡崎図書館事件） クローラー／スクレイピング本について 2014年度版 http://qiita.com/advent-calendar/2014/crawler

概要 急遽100サイト以上のクローラを作ることになりました。 サイトの数だけプログラムを書いていると保守で死ぬ😱ため ソースコードを書かなくても大量のクローラ・スクレイパを作成できる方法 を探しました。 といっても、何もせずにクローリングできるわけではなく、要は サイト構成に依存する部分は別ファイルに外出しして、ソースコードは少なくしようぜ! という話です。 ハードコーディングを辞めることで、普段ソースコードを書かない人でもクローラ作成できるというメリットもあります👼 1. XPathを使う XPathとは XML Path Languageの略 XML文章の中の特定の要素や属性の位置を指定するためのルール これを使えば、サイトの構成ごとに異なる「どの要素を抽出するか」のルールのみ外部ファイルにもたせて、それを読み込むことで 処理の大部分を共通化できる😊 XPath はW3Cで規定さ

Wikipedia からスクレイピングして… とか言ってる人におすすめしたい，DBPedia からの情報抽出rdfスクレイピングWikipediaSPARQLdbpedia みなさん DBPedia をご存知でしょうか．DBPedia とは，Wikipedia から構造化データ (RDF) として情報を抽出するものです．DBPedia では Linked Data として情報が体系化されているので，Wikipedia 内の必要な情報を，非常に簡単に抽出することができます． 「◯◯ の情報を Wikipedia からスクレイピングして取ってきて…」みたいな話をよく耳にし，そんなのスクレイピングしなくても DBPedia 使えば一瞬なのに… と感じることが最近多々あるので，DBPedia の普及もかねて簡単にまとめてみることにしました．DBPedia なんて初めて聞いたという方は，ぜひチェック

「Amazon Web Services パターン別構築・運用ガイド」 Chapter1 AWSの基本のまとめ 1-1.サービス全体像 Amazon Elastic Compute Cloud(EC2)

iOS9で問題になりそうなATSをまとめました。 ご指摘事項あれば是非コメントをいただきたいです。特にAFNetworkingまわり・・。 AFNetwotking部分は下に記載していますが、iOS8向けのビルドでiOS9端末でも発生したので要注意です。 2015/09/21追記 iOS9GM以降は（もうreleaseされちゃいましたが・・）AFNetworkingでの証明書判定がiOS8とおなじになりました。。。 2016/07/27追記 toshi0383さん 修正依頼ありがとうございます。 1年間間違っていることに気が付きませんでした。。修正ありがとうございます。 App Transport Security App Transport Security (ATS) enforces best practices in the secure connections between a

こんにちは。 先日、AWS 認定ソリューションアーキテクト（アソシエイト）に合格した者です。 私が実践した勉強法をまとめます。 はじめに AWS実戦経験はほぼ皆無。2ヶ月前にAWSアカウント取得後、EC2やVPCあたりを少し触った程度。ただし日頃からサーバーサイドの開発したり、VMWareなどの仮想化環境いじっているため、インフラ周りの知識は多少あるつもり。 試験の準備は5月中旬から始め、6月末の受験まで勉強期間は1ヶ月ちょっとでした。 参考までに、技術系の主な保持資格は以下の通り。 基本情報処理技術者 ネットワークスペシャリスト 製品・サービス 手を動かしてみるのが一番なので、書籍やインターネット情報を参考にできる限り多くのサービスに触れるように心がけました。 EC2 VPC EBS S3 RDS SNS Route 53 IAM AWS CLI Elastic Beanstalk Cl

概要 CapybaraからSeleniumを使う綺麗なコードが分からなかったので、 Rubyによるクローラ開発技法を参考に簡単なサンプルを残しておきます。 仕様 hit_numの引数に渡したワードで検索して検索結果の数を返します。 検索結果の件数がない場合は、allメソッドの返り値がnilなので、分岐しています。 実装 #! /usr/bin/env ruby require "capybara" require "selenium-webdriver" Capybara.current_driver = :selenium module Crowler class Google include Capybara::DSL def hit_num keyword visit URI.escape("https://www.google.co.jp/search?q=" + keyword)

概要 社内プロキシに様々なサイトへのアクセスをブロックされたり、社外サーバにsshできなかったりする人向けに社外プロキシを立ててあらゆるサイトにアクセスする方法のまとめです。(後述しますが半分くらいネタポストです。) 他にも以下のような効果がありますので、プロキシフリーな会社にお勤めもし良かったら参考にして頂ければと思います。 なぜか2015年になっても存在するカフェとかホテルとかでの保護されていなかったりする無線wifiを使っても盗聴されない。 日本からアクセスできないサイトにアクセスできる。(海外のデータセンタ上のVMを使った場合) なお、非認証プロキシを例にしてます。認証プロキシでもあまり変わらないとは思いますが、環境が無いため未確認です。また、プロキシの挙動や設定方法はプロキシサーバの種類や設定によって多岐に渡るため、全てのプロキシで同じ方法が使えるとは限らないとは思います。 最後

【総計５万はてブ！】QiitaのAdvent Calendarのはてブ数をNode.jsで集計してRactive.jsで表示するNode.jsRactiveJS 総はてブ数: 50,681 総記事数: 3,818/5,350 テーマ数214 【完走✕】1位 Git はてブ数合計: 2018, 記事数: 22 【完走○】2位 Vim はてブ数合計: 1887, 記事数: 25 【完走✕】3位 クローラー／スクレイピング はてブ数合計: 1759, 記事数: 24 【完走✕】4位 Yahoo! JAPAN Tech はてブ数合計: 1700, 記事数: 22 【完走○】5位 Pepabo はてブ数合計: 1622, 記事数: 25 【完走○】6位 Webアプリエンジニア養成読本 はてブ数合計: 1413, 記事数: 25 【完走✕】7位 VirtualDOM はてブ数合計: 1370, 記事数