AWS上にサーバレスな汎用クローラを展開するぞ。 - 超平面あのにのに
サーバレスな汎用スクレイパーを作った。 - あのにのに 前回はAPIGatewayとLambdaで、指定したURLの指定した位置にあるデータを抜き出すAPIを作った。 今回はサイト内探索をするようなシステムをAWS上に構築しようと思う 注意:クローラは用法用量を守って、相手方のサイトに迷惑がかからないように十分な配慮を徹底しましょう。 今回作るもの こんな感じの構成をイメージしてる。 DynamoDBの１レコードがサイトへの１リクエストに常に対応するものとし、内部リンクのURLを新たにDynamoDBのテーブルに追加していく。 得られたデータは対応レコードに格納される。 URLがテーブルに追加されると、DynamoDB Streamsに流され、Lambdaで実行される。 というような繰り返し。 DynamoDBのデータスキーム 1.Request先URL :target_url 例) ht
DynamoDB ベストプラクティス - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 今年は始めて、re:Inventに参加してきたので、その際に見た「Amazon DynamoDB: Data Modeling and Scaling Best Practices」というセッションの内容を共有したいと思います。 内容をだいぶ端折ってるので、間違っている場合には、びしばしツッコミいただければと思います。 では、まいります。 1. CacheはCashなり なんでDynamoDBを使うかといえば、やっぱり、ポチポチっと設定するだけで簡単に読み込み、書き込み性能を上げたり、下げたりできるっていうのが大きなポイントかと思います
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
