はてなブックマーク

本記事は「AWS LambdaとServerless Advent Calendar 2020」の17日目の記事です。 やりたいこと Amazon Redshiftにある10億レコードを越えるデータを1レコードずつ、特定の列を判定したりという、シンプルな処理だが全レコードを見ていく必要のある処理をしたい 従来やってた方法 RedshiftからSQLでELTしてUNLOAD UNLOAD結果をEC2へS3からダウンロード JavaやPythonなどのプログラムでバッチ処理実行 結果をS3に格納 この方法でも良かったのですが、大規模データをEC2で高速に並行で処理する、、、前に少し考えてみると、あれLambdaが相性良いのでは？と思い試してみました。 具体的な方法 MAXFILESIZEを指定してUNLOAD UNLOAD先をLambdaのイベントトリガで発火 Lambdaのおおよそのコード

前置き データ連携のお仕事にも携わることになりまして、契約した企業へと自社データを提供するAPIを作りました。 画面で動く既存サービスもAPI構成にはなっており、そっちのWebAPIのテストはFrisby.jsで書いてみたりしたのですが、新たにWebAPI対応をするにあたり そもそも自分はそんなNode.jsっ子ではないな... 社内でPythonが浸透してきているのでPythonで書けないか と思いました。 pytestをある程度調べたあたりで、TavernというAPI testing frameworkの存在を知り、これが良さそうだったので使ってみました。 前置き2：テスト対象とするAPI こんなAPIをテストしていきます。 契約すると発行されるAPIキーをHTTPヘッダに埋め込む形で認証を行う RESTではない リクエストヘッダをContent-Type:application/js

やりたいこと デジタルプロモーションのお仕事にも携わることになりまして ・複数の広告媒体のレポートデータを取得してセキュリティが担保された場所に置きたい ・複数の広告媒体のレポートデータを、ある軸で集計できるよう良い感じに加工したい ・加工したデータを良い感じにダッシュボードにしたい と、いったことをしたくなりました。 課題感 広告媒体のレポートは取得できるデータ項目がとても沢山あるため、古来の手法だと1つずつ調べてRDBMSのテーブル設計に落としていくことになり日が暮れて朝が来る事が繰り返されそう 取得する「元データ」をどこでどう管理するか悩ましい ダッシュボードの変更をすると、データセットの変更となり開発サイドの工数が掛かりがち やったこと ・S3をDatalake Data lake Storageとして利用 ・Athenaでデータ確認、データ加工、データチェックまでを担当 ・Tab

経緯 APIを設計する時に「利用制限をどうすべきか」という議論が起きると思います。 とりあえず有名なAPIを調べて、傾向やビッグウェーブなどあればと思い調べました。 以下、各サービスのAPIドキュメントは2018年7月時点くらいに調べたものとなります。 結論（まとめ） 十人十色でした！！ 言い換えると、共通のベストプラクティスという物は無さそうで 以下の2つの軸を元にサービスに応じてカスタマイズしていく形かなと考えます。 制限をかける粒度を選択 / 組み合わせる ・サービス（大きな機能）単位で制限 ・機能に応じて何種類かの区分を作り制限 ・APIエンドポイント単位で制限 ・重要度に分けて制限 ・認証の種類で制限 実行制限の枠（rate limit window）を決める 制限を掛ける＝リセットされるまでの、時間。 また、上記以外にもセットで現在の利用制限状況の表現方法を決める必要がありそう

経緯とやりたいこと 社内でRedshiftが広く使われるようになり、色々なシステムや人から色々なクエリが実行されるようになって久しい。 時間の掛かったクエリが自動的に通知されるようにしたい。 やったこと LambdaのS3に作成されたファイルの内容をメール送信する仕組みを作り、そこへ目掛けてRedshiftでunloadを実行。 1.実行するクエリ STL_QUERYを利用 参考：http://docs.aws.amazon.com/ja_jp/redshift/latest/dg/r_STL_QUERY.html こんな感じで。querytxtは通知先のツールで見やすいくらいのものが良さそう。 select userid, starttime, datediff(second,starttime ,endtime) as query_time , substring(querytxt,0

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?