APIを使ってGoogle Cloud StorageへUploadしてみた - Qiita
初めに やりたいことはすごく簡単なはずなのに、いろんなドキュメント見てもぱっと見て実装出来そうな良いのが無かったので書きます。 やりたいこと(背景) Hadoopに入ってるアクセスログをHiveで抽出して、Google Cloud Storage(GCS)に上げる。 それをGoogle Cloud Platform(GCP)の解析基盤に流してよしなにする。 このフローにおける前者の部分をサクッとバッチ化しました。 PHPのクライアントライブラリを利用しています。 1. 取り敢えずHiveからファイル出力する 別にHiveの話したいわけじゃないので割愛します。 こんなかんじ。 sudo -u hdfs hive -e "$query" | grep -v WARN > $filename 1.7GBくらいのファイルを走査して350MBくらいのファイルを吐きます。 30秒位で終わる。優秀！（自
Google Cloud Storage に google-api-php-client で普通にアップロード - Qiita
先ほど次のような記事を書きましたが。 Google Cloud Storage に AWS CLI や AWS SDK for PHP でアップロード Google Cloud Storage に S3 互換の REST でアップロード よく考えたら普通に SDK とか使って Google Cloud Storage にアップロードしたことないな、と思ったのでやってみました。 Client ID の作成 デベロッパーコンソール を開きます。 https://console.developers.google.com/ 対象のプロジェクトを選択します。 「APIと認証」の「認証情報」を選択して「新しいクライアント ID を作成」をクリックします。 アプリケーションの種類に「サービスアカウント」を選択し、キーのタイプに「JSONキー」を選択します。 「クライアント ID を作成」をクリックする
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
