Cloud Functions で SFTP サーバから GCS にファイル転送してみた。 | DevelopersIO
こんにちは、みかみです。 やりたいこと SFTP サーバにアクセスしてファイルを取得するバッチ処理を実装したい バッチサーバは管理が面倒だしコストが嵩むので建てたくない Cloud Functions 関数から SFTP サーバにアクセスして、ファイルを GCS に転送したい 前提 環境構築時などでコマンドを使用していますが、Google Cloud SDK（CLI）の実行環境は準備済みの前提です。 本エントリでは、準備不要ですぐに使える Cloud Shell を使用しました。 Cloud Shell の使用 ｜ Cloud Shell ドキュメント SFTP サーバを準備 動作確認で使用する SFTP サーバを建てます。 以下の記事を参考にさせていただきましたmm GCPにSFTPサーバーを立てる。 ｜ Qiita Google Cloud 管理コンソールのナビゲーションメニュー「Co
Google Cloud Storage（GCS）でうっかり30万以上溶かした話 - のんびりしているエンジニアの日記
皆さんこんにちは。 コンペで頑張ったので疲れました。 さて、Google Landmark 2021が終了し、Retrieval5位（金）、Recognition12位（銀）となりました。 本日は自戒と反省により、クラウドで30万円消失した話を 記録として書こうと思います。皆さん私を見て反面教師にしてください。 事象 9月入ってからLandmark2021に参加し、Google Cloud Platform、通称GCPを利用していた。 主な利用はGoogle Cloud Storageのみで、ほぼ容量課金だろうと高をくくっており、課金請求の上限など入れ忘れてました。 すると9/18に久々に請求額を確認すると32万ほどの請求額がありました。 さすがに目玉が飛び出て、調査にあたったといったものになります。 課金内容を確認したら原因はすぐにわかり、チームで対策を打ちました。（私が慌てて学習にスト
CDNのオリジンにGCSを使う際に注意したいポイント | GREE Engineering
こんにちは、いわなちゃんさん(@xcir)です。 Webサイトには様々なリソースが存在し、それらをS3やGCSなどのオブジェクトストレージに格納することはよくあります。 しかし、多くのサイトではオブジェクトストレージを直接使うことはあまりなく（そもそもお勧めできませんが）通常はCDNを被せて利用します。 オブジェクトストレージを提供するプラットフォームはCDNも提供しています。 例えばAWSであればCloudFrontがありますしGCPであればCloudCDNがあり、それらを組み合わせで使う場合も多いでしょう。 ところが機能、コストなど様々な理由でAkamaiやFastlyなどの外部CDNを使うことがあります。 オブジェクトストレージなので単純にファイル置き場として考えればそこまで気にするポイントはないのかもしれません。 ところが、GCSについては組み込みキャッシュ(Built-in ca
Google Apps Script でスプレッドシートデータを CSV にして GCS に出力してみた。 | DevelopersIO
Google Apps Script でスプレッドシートデータを CSV にして GCS に出力してみた。 こんにちは、みかみです。 スプレッドシートでは、画面 GUI 操作でデータを CSV 形式でダウンロードすることもできますが、 ダウンロードした CSV を GCS に配置したい場合、いちいち手動でアップロードするのは面倒です。 ということで。 やりたいこと スプレッドシートデータを CSV ファイルで GCS に出力したい 前提 ファイル出力先の GCS バケットは作成済みです。 また、本エントリでご紹介の内容は、以下の記事を参考にさせていただきました。 どうもありがとうございました！ gcsにgasからファイルを公開して、アクセス耐性100万倍させるゾッと ｜ Qiita スプレッドシートを準備 まずはスプレッドシートを作成します。 シート名を data に変更して、出力データを
gcsにgasからファイルを公開して、アクセス耐性100万倍させるゾッと - Qiita
これは、Google Cloud PlatformのAdvent Calendar の9日目のエントリーです 静的ファイルと私 マイクロダイエットでハードダイエット中のa2cです、GoogleDeveloperExpert(Apps)を担当しています。 GAS(GoogleAppsScirpt)を使えば、公開Webサーバが作れるのでスプレッドシート上の情報を元にJSON返したり、HTML返したり結構自由な公開ライフが送れたりします。がしかし、遅い！大量アクセスさばけない（なさそう）のです。 スプレッドシートでこさえたデータをデータベースに突っ込んでそこから再送するとか有りますが、静的ファイルをGCSに配備して一般公開することで、大量アクセスも難なく捌けるし、GoogleSpreadSheetの各種関数や、時限実行、履歴機能もそのまま使える素敵な管理画面が出来ます。 とは言え、GASには標準
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
