Cloud Armorを使って、サーバーレスなサービスに対して特定の国からのアクセスをブロックする | inthisfucking.world
GAE (standard) に対して、ロードバランサー及びVPCからのトラフィックのみを受け付けるようにする設定が追加されました。詳しくはこの記事のGAEの項目を参照ください。 External HTTP(S) Load BalancerとCloud Armorの関係 External HTTP(S) Load Balancerは、Googleのpoints of presence (PoPs) において実装されています。Googleのpopとは、Googleのネットワークへの入り口のようなもので、世界中に沢山存在しています。Googleのサービスへのアクセスは、これらのpopを通り、Googleのデータセンターに到達します (厳密には、使用しているGCPのVPCがPremium Tierかどうかが関係しています)。 “Google Cloud Armor security policy
Google Cloud Platform で実現するプロダクションレディ マイクロサービス
This document summarizes a microservices meetup hosted by @mosa_siru. Key points include: 1. @mosa_siru is an engineer at DeNA and CTO of Gunosy. 2. The meetup covered Gunosy's architecture with over 45 GitHub repositories, 30 stacks, 10 Go APIs, and 10 Python batch processes using AWS services like Kinesis, Lambda, SQS and API Gateway. 3. Challenges discussed were managing 30 microservices, ensur
今日 (2019/09/10) 現在のGAE/goをUPDATEする際の注意点、俺まとめ - 寝ても覚めてもこんぴうた
Appengine/goが過渡期とでもいいましょうか、 日々変化も目まぐるしく、いろいろ気をつけるべき点もありそうなので雑にまとめました。 ご参考まで。（2019/09/10現在） GAE/go 1.9 は終わり 画像のとおりです。 警告: Go 1.9 ランタイム バージョンは非推奨になりました。2019 年 10 月 1 日以降、新しいデプロイではこのバージョンを使用できなくなります。2019 年 10 月 1 日までに、Go 1.11 または Go 1.12 を使用するようにアプリケーションをアップグレードしてください。 とあるので、今年の10月1日以降はgo1.9でのデプロイは不可能になります。 すでにデプロイしているものは動くんじゃないか（未確認）と思いますが、速やかに移行しましょう。 go1.11 への移行は比較的容易だと思います。（appengineパッケージも利用できるので
モノレポ（mono repository）内でmodで管理しているアプリケーションをGAEにデプロイするために必要な2つのポイント - 寝ても覚めてもこんぴうた
前回は モノレポ（mono repository）内でgoのmoduleを相対パスで利用する方法 という記事を書きましたが、今回はさらにモノレポで管理しているAppengineの複数のサービスをデプロイする方法になります。 なぜGAEのデプロイの記事が必要？ 前回の記事を試した方がいるかいないかは不明ですが、モノレポ内でmodで依存を解決したものをデプロイした場合、modを利用したデプロイ（GO111MODULE=on）ではGCP上のCloudBuild上でコンパイル（依存の解決）を行うため、相対的に管理しているモジュールを取得することができないためエラーになり、デプロイが完了しません。 なので、今回はサンプルも作り、丁寧に説明したいと思います。 サンプルのソースコードはこちらになります。 https://github.com/chidakiyo/benkyo/tree/master/ap
Datastoreのtips - スティルハウスの書庫の書庫
Datastoreのパフォーマンス Datastoreのパフォーマンスは、エンティティの数とは無関係 保存されているエンティティが1件でも、1000件でも、1000万件でも、パフォーマンスに変化はない Datastore performance doesn't depend on how many entities you have 個々のエンティティに対する更新処理のスピードは、1〜10回／秒程度 個々のエンティティの更新処理は遅い アプリケーションのパフォーマンスを決めるのは、更新処理の実装方法。参照処理は桁違いに速い low-level APIを使えば少し速くなるが、ドキュメントがあまりない http://groups.google.com/group/google-appengine-java/browse_thread/thread/e717f7ba37749ea4/0b37a3
Datastoreで検索エンジンを作る
Datastoreで検索エンジンを作る 29 Oct 2016 Daigo Ikeda Knightso, LLC Profile Daigo Ikeda @hogedigo Knightso, LLC http://www.knightso.co.jp/ Shizuoka, JAPAN 2 Datastore Indexおさらい 3 Sample: Book Store Model: type Book struct { ID string Title string Category string Price int PublishDate string } 4 Sample: Book Store Run Query: q := datastore.NewQuery("Book").Limit(20) // apply filters here var books []*Book _,
GAE Task Queue をマイクロサービスのサービス間通信として使う - addsict's blog
昨今マイクロサービスアーキテクチャに基づいたアプリケーション構築が話題ですが、Google App Engine を用いてる場合 Task Queue をサービス間の通信として便利に使用することが出来ます。 GAE の Task Queue (Push) について 背景 マイクロサービスでよくやることとして、あるサービスでイベントが発生したらそれを別のサービスに非同期に通知したいことがあります。 通常のアプリケーションの場合、何かしらの Message Queue を用いて Job Worker 経由で別のサービスに通知することが多いと思います。 +-----------+ | Service A | +-----------+ ↓ Push +-----------+ | MQ | +-----------+ ↑ Pull +-----------+ | Job Worker| +---
GAEで時間のかかる処理を分割する方法（タスクキューの使い方） | TechBooster
GoogleAppEngineでは、時間のかかる処理を分割して平行実行するためにTaskQueue(タスクキュー)機能が用意されています。今回はタスクキューを利用した並列化を紹介します。 他のWebサービスとの連携など負荷制御が必要なケースや、実行時まで処理時間がわからないタスクのために利用すると良いでしょう。 たとえばTwitterへのtweet投稿などでは連続動作させると意図せず、相手サーバーへのDoS攻撃になってしまいます。また登録されているメールアドレス全てにメールを送信する、など データベースの登録状況に依存する処理の場合、だんだんと処理時間が伸びてしまうため並列化が必要になります。 タスクキューを利用する方法はとても簡単です。サンプルコードは続きから。 Queueを定義する タスクキューに登録するQueueは、queue.xmlで実行間隔を制御できます。queue.xmlを作り
App Engine のリソース管理 - TaskQueue の設定 - Kay's daddy
TaskQueue の設定を変更する TaskQueue をデフォルトの設定で使っていると、いくつかまとめて Task を登録した時に並列処理が走り、Frontend Instance が複数立ち上がってしまいます。そこで、max_concurrent_requests を設定することで、同時に実行される Task の数を制限できます。下記の yaml ファイルでは、“default” Queue の max_concurrent_requests を 1 に設定しています。 queue.yaml queue: - name: default rate: 5/s max_concurrent_requests: 1 もちろん、この設定によって Task の実行が遅くなりますが、インスタンスの数は抑えられるはずです。 9/8 追記: また、Task を追加するときに X-AppEngine-
Google App EngineでGoを動かすときに知っておくべきこと（ソースコード・ビルド編） - 詩と創作・思索のひろば
Google App Engine（GAE）で Go 製のウェブアプリを動かしたかった話。いっぺん動かしてみると GAE/Go はウェブアプリを動かす環境としてはとてもいい。ただ、中途半端な知識だけで始めると開発者としてはつまずくことが多かったので、分かりにくい点をまとめておく。 Google App Engine Go Standard Environment について goapp は $GOPATH 以下もアプリケーションのソースとしてアップロード／コンパイルする goapp はプロジェクトルート以下のソースコードをすべてコンパイルしようとする go-app-builder: Failed parsing input: parser: bad import "syscall" in ... go-app-builder: Failed parsing input: app file x
Big Sky :: Google App EngineでGo言語使って「おうっふー」動かしてみた。
Google App EngineへのGo言語アップロード権(Trusted Tester for the golang runtime for appengine)を得たので、Webアプリを作り始めたら皆が必ず作るという「おうっふー」をGo言語に移植してみた。 なお、「おうっふー」とはログイン画面のみを持ち、ログインすると有無を言わさず「おうっふー」という単語をログインアカウントにポストするWebアプリケーションの事。知ってない奴はWeb界のモグリだ！って隣の人が言ってた。 以下、Go言語のコードを解説してみる。 ログイン画面からログインハンドラに要求が行われると、OAuth1.0でリクエストトークンがTwitterに要求され、得たテンポラリトークンで認証画面に遷移します。 http.HandleFunc("/login", func(w http.ResponseWriter, r *
Google App Engine と Cloud Datastore だけでオークションサイトを作った - 蟻地獄
こんばんは！サーバレスしてますか！ Google App Engine (GAE)がなんか最近イケてるとかイケてないとかいう話を聞いて、とりあえず何か小さなサービスを作って試してみようと思ったのですが、どうせ作るなら毒にも薬にもならない掲示板とかじゃなくて罠を踏み倒しそうな感じのが良いと思い、オークションサイトを作ってみました。 concept-auction.appspot.com データべースはRDBを一切使用せず、Cloud Datastoreのみで構築しています。え、Cloud DatastoreってKey-Valueストアじゃないの？と思うかもしれませんが、実は色々なクエリが使えたりトランザクションが使えたりするので、仮想通貨の受け渡しなんかもわりと真っ当に実装することができます。 ただし、RDBのように扱えるかというとやはりそうではなく、様々な制約があるので、Cloud Dat
Google App Engineのapp.yamlのupload - やればできる子の日記
http://code.google.com/appengine/docs/configuringanapp.html こちらの"Static File Pattern Handlers"に出てくる、uploadパラメータの意味がよくわからんかったので、調べてみました。 結論から言うと、こんな感じ。 ・ローカルで使う分には意味ない。無茶苦茶な文字列を入れても動いてしまう。GAEサーバにアップロードするときにはじめて意味を持つ。 ・uploadに指定された正規表現に一致するファイルが、GAEサーバにアップロードされる。 ・urlとuploadには関連はなくて、どこのハンドラでuploadをしてしても良さそう(な気がする)。 以下、実験。 matsuza@karma ~/google_appengine/upload_test $ ls 1.txt* 2.txt* app.yaml* mats
『01.Google App Engine 最近の動向』
CA Beat エンジニアリーダーのヤマサキです。 デザイナーブログと比べて随分遅れてしまった感のあるエンジニアブログも、 本日ついにスタートすることができました。 これからよろしくお願いします！(｀・ω・´) 最初の記事に何を書くか随分悩んだのですが、 CA Beatのシステムのサーバーサイドをホストする、 Google App Engineの最近の動向について書くことにしました。 App Engineは登場してからもう4年以上経ちます。 登場から今日までの間にApp Engineは進化を続け、 以前はできなかったことも少しずつできるようになってきています。 以前にApp Engineについて調べた方の中には、 今も「○○ができないApp Engine」のイメージのままの方も多いと思いますので、 App Engineの特徴に加えて、最近の状況をまとめてみようと思います。 ○近年弊社で提供
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://blog.sojiro.me/blog/2016/08/10/about-gae-task-queue
https://blog.sojiro.me/blog/2016/08/07/about-gae-datastore/
Firebase Custom Auth と GAE/Go で Slack認証してみた
GAE/GO Cloud Datastoreを使ってみる
Loading...
App Engine Admin API でデプロイとトラフィック分割を自動化
