サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
体力トレーニング
qiita.com/munaita_
背景 GCSにファイルがuploadされたら、そのイベントをトリガーにそのファイルを処理してBigQueryにLoadする処理を作りたい 先に結論 Cloud Run + Eventarcの組み合わせが良さそうでした コンテナベースでの開発が可能 CloudFunction(1st gen)に比べるとtimeoutやmemoryなど採用できるリソースが大きい 第二世代はCloudRunにかなり寄ってきているらしいがpreviewなのでここでは取り扱わない GCSのファイルuploadをトリガーとする場合はEventarcのdirect eventによるトリガーが良さそうでした Cloud Function? Cloud Run? イベントドリブンと聞いてまず思い浮かんだのはCloud Functionでした。イベントをトリガーとして処理を動かす場合、以前はCloud Functionが一番
今年の10月からグロービスのデータサイエンスチームに配属され、2ヶ月間データ基盤構築をしてきました。実際やってきたことを踏まえて、データ基盤の構築時に気をつけるべきポイント7つを紹介していきたいと思います。 最強だと思う分析用データベースを選ぶ ワークフローエンジンでジョブを管理する ステークホルダーとの調整を優先度高くする 権限(IAM)の運用ルールを決める 監視設定を忘れずに メタデータ管理ツールを用意する SQL中心アーキテクチャを意識する 1. 最強だと思う分析用データベースを選ぶ ここが一番大事です。自分が最強だと思う分析用のデータベースを選んでください。ちなみに、私はBigQuery信者なので、BigQueryを強くおすすめしますが、いろんなデータベースがあるので今の環境に一番あった分析用データベースを選んでください。 分析用データベースの全体像を掴むには渡部徹太郎さんの資料「
Cloud PubSubのAcknoledgeがよくわからなかったのでまとめ。基本pullのsubscriptionであることを前提としています。すべて公式docに載っている内容です。 Cloud PubSubとは? イケてるマネージドキューサービス https://cloud.google.com/pubsub/docs/overview Pubsubのack(Acknowlede)とは? サブスクライバーがpubsubに送る確認応答のこと pubsubはacknowledeを受け取ると、message storageからメッセージを削除する Pub/Sub の概念とメッセージ フロー データプレーン - メッセージの一生 at-least-once配信 ackDeadliceSecondsで設定された期限前にackされない場合は、subscriberに再送信される(デフォルト10秒/最
環境 サーバーRails5 フロントをReact/Angular Railsのdeviseのsign_outリクエストをX-CSRF-Tokenのヘッダーを付けて実行したときに発生 Started DELETE "/api/v1/users/sign_out" for 127.0.0.1 at 2018-11-29 11:26:51 +0900 Processing by Users::SessionsController#destroy as JSON Parameters: {"session"=>{}} User Load (2.2ms) SELECT `users`.* FROM `users` WHERE `users`.`id` = 1 ORDER BY `users`.`id` ASC LIMIT 1 ↳ /Users/xxx/.rbenv/versions/2.5.3/li
__FILE__ # => "/Users/user_name/Documents/workspace/ruby/project_name/spec/exec_file.rb" Rails.root.dirname # => "/Users/user_name/Documents/workspace/ruby" File.dirname(__FILE__) # => "/Users/user_name/Documents/workspace/ruby/project_name/spec” Rails.root.join('hoge', 'huga').to_s # =>"/Users/user_name/Documents/workspace/ruby/project_name/hoge/fuga" File.expand_path('../../shared/log/unicorn.lo
背景 サーバーのタイムゾーンはUTCで運用しているけど、crontabはJSTで運用したい。という場合の設定です。 設定するcrontabにCRON_TZを設定する
日本語を含む配列をjson_encodeすると、日本語部分が文字コードで表示されてしまう。 そんな場合は、json_encodeの第二引数にJSON_UNESCAPED_SLASESを入れると日本語でjsonを返してくれる。(バージョン5.4.0以上のみ) $array = array('key1': 'あああ', 'key2': 'いいい'); $jp_json = json_encode( $array , JSON_UNESCAPED_UNICODE) ;
このページを最初にブックマークしてみませんか?
『qiita.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く