Cloud Functions で SFTP サーバから GCS にファイル転送してみた。 | DevelopersIO
こんにちは、みかみです。 やりたいこと SFTP サーバにアクセスしてファイルを取得するバッチ処理を実装したい バッチサーバは管理が面倒だしコストが嵩むので建てたくない Cloud Functions 関数から SFTP サーバにアクセスして、ファイルを GCS に転送したい 前提 環境構築時などでコマンドを使用していますが、Google Cloud SDK（CLI）の実行環境は準備済みの前提です。 本エントリでは、準備不要ですぐに使える Cloud Shell を使用しました。 Cloud Shell の使用 ｜ Cloud Shell ドキュメント SFTP サーバを準備 動作確認で使用する SFTP サーバを建てます。 以下の記事を参考にさせていただきましたmm GCPにSFTPサーバーを立てる。 ｜ Qiita Google Cloud 管理コンソールのナビゲーションメニュー「Co
Google Cloud Storage（GCS）でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記
皆さんこんにちは。 コンペで頑張ったので疲れました。 さて、Google Landmark 2021が終了し、Retrieval5位（金）、Recognition12位（銀）となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て反面教師にしてください。 事象 9月入ってからLandmark2021に参加し、Google Cloud Platform、通称GCPを利用していた。 主な利用はGoogle Cloud Storageのみで、ほぼ容量課金だろうと高をくくっており、課金請求の上限など入れ忘れてました。 すると9/18に久々に請求額を確認すると32万ほどの請求額がありました。 さすがに目玉が飛び出て、調査にあたったといったものになります。 課金内容を確認したら原因はすぐにわかり、チームで対策を打ちました。（私が慌てて学習にスト
CDNのオリジンにGCSを使う際に注意したいポイント | GREE Engineering
こんにちは、いわなちゃんさん(@xcir)です。 Webサイトには様々なリソースが存在し、それらをS3やGCSなどのオブジェクトストレージに格納することはよくあります。 しかし、多くのサイトではオブジェクトストレージを直接使うことはあまりなく（そもそもお勧めできませんが）通常はCDNを被せて利用します。 オブジェクトストレージを提供するプラットフォームはCDNも提供しています。 例えばAWSであればCloudFrontがありますしGCPであればCloudCDNがあり、それらを組み合わせで使う場合も多いでしょう。 ところが機能、コストなど様々な理由でAkamaiやFastlyなどの外部CDNを使うことがあります。 オブジェクトストレージなので単純にファイル置き場として考えればそこまで気にするポイントはないのかもしれません。 ところが、GCSについては組み込みキャッシュ(Built-in ca
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
