AWS Lambda Pythonでs3に接続する - Qiita
AWS LambdaがPythonに対応したので試しに使ってみました。 今回はS3のバケット間ファイルコピーに使ったのですが、色々とはまりどころがあったので共有したいと思います。 やりたいこと s3のバケット内に存在するファイルを別バケットにコピーしたい シングルプロセスでコピーすると遅いのでマルチプロセスで同時にバケットコピーしたい AWS Lambda Pythonを使いたい 主に3番目の理由からやってみました。 やったこと Lambda functionを作ってs3バケットを取得、コピーを並列で行うスクリプトを実装しました。 Lambda Functionの作成 Lambda Functionを作成します。 Create a Lambda Functionをクリック Select blue print 使用するテンプレートを選択します。 hello-world-pythonを選択 C
巨大なデータを扱う場合のRedisの運用戦略 - Qiita
はじめに Read/Writeともに高速で，様々なデータの持ち方が可能なことでキャッシュDBとして人気のあるRedisですが，何も考えずに実運用システムで使用しているとデータが肥大化してしまい非常に扱いにくくなることがあります． 今回は，データの肥大化とともに顕在化する問題と，データの肥大化に対する戦略についてまとめたいと思います． データの肥大化時に顕在化する問題 何のキーが入っているか分からなくなる Redisはオンメモリ型のKVSであるため，データがある程度増えてくるとサーバのメモリ容量を圧迫し始めます． このような状態で，プロダクション環境に対して keys * などをやってしまうと，一時的にメモリ使用量が跳ね上がり，メモリ使用量を抑えるためにRedisがキーを削除したり，OOM KILLERにRedis Serverごと殺されてしまう可能性があるため，そういったコマンドはうてなく
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
