Appengine(GAE/node)でSPA対応したクローラーで楽々スクレイピング - Qiita
Motivation GAE/SE環境でクローラを作ろうとすると、静的ページならどの言語でも比較的簡単に作れますが、SPA（JavaScriptで動的に生成するサイト）の場合にはJavaScriptを動かしてコンテンツを生成する必要があるため、クローリングが容易ではないです。 GAE/nodeの新しいランタイムではpuppeteerを利用してHeadless Chromeを動かすことができるようで、SPAのようなサイトに対応したクローラが作れそうなので、ざっくりと動かしてみることにします。 事前準備 ローカル環境に以下のものが必要です gcloudコマンド node（npm） puppeteerのインストール (npm install puppeteer) nodeプロジェクトの初期化を行う nodeプロジェクトを作成するディレクトリに移動し、以下のコマンドを実行します。 基本的にはエンタ
なぜ今も Google App Engine を選ぶのか - ぽ靴な缶
Google Cloud で何かアプリケーションを動かしたい時、いつも App Engine (GAE) を第一の選択肢として挙げています。 なのにみ〜んな Cloud Run に行ってしまう。なぜなのか?? 確かに Cloud Run のほうが新しくて公式に露出が多いし、GAE はこういうランディングページからの言及も消えているので無理もない。Google Cloud 的にもあんまり使って欲しくない雰囲気が漂っている。 cloud.google.com App Engine は GCP 最初期からあるサービスで今年で 14 年目になるらしい。 当時学生だった僕はすげーのが出たぞと聞いて GAE を触っていた記憶がある。その頃は Google App Engine 単体で出ていて、他のサービスが続いて Google Cloud Platform になったような気がする1。 そんな歴史あるサ
GAEを東京リージョンに変更して高レイテンシの呪縛から解放されよう！ - 文系プログラマによるTIPSブログ
大分乗り遅れた感が強いですが、東京リージョンに変更しました。 GAE/Jのサイトでもかなり速くなりましたよ〜 私は個人でGoogle App Engineを使って以下のサイトを運営しています。GAE/Java＋素のServletで作っています。 www.tree-maps.com 今回リージョン変更の作業を行ったので、ざっくりとしたリージョン変更手順や効果等を書いてみます。 昔のGAE 今のGAE us-centralからasia-northeast1への変更手順 目標 前知識 リージョンが選択できない場合は新規にgoogleアカウントを作成する 新規GCPプロジェクトを作成する EclipseのGoogleログインのユーザを変更する デプロイ先のプロジェクトIDの切り替え デプロイする 旧アカウントのGAEプロジェクトのカスタムドメインを削除する 新アカウントで再びカスタムドメインを登録
Google App EngineでGoを動かすときに知っておくべきこと（ソースコード・ビルド編） - 詩と創作・思索のひろば
Google App Engine（GAE）で Go 製のウェブアプリを動かしたかった話。いっぺん動かしてみると GAE/Go はウェブアプリを動かす環境としてはとてもいい。ただ、中途半端な知識だけで始めると開発者としてはつまずくことが多かったので、分かりにくい点をまとめておく。 Google App Engine Go Standard Environment について goapp は $GOPATH 以下もアプリケーションのソースとしてアップロード／コンパイルする goapp はプロジェクトルート以下のソースコードをすべてコンパイルしようとする go-app-builder: Failed parsing input: parser: bad import "syscall" in ... go-app-builder: Failed parsing input: app file x
物理サーバを選定する際のポイント – Eureka Engineering – Medium
Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.
Google App Engineを無料で運用する方法（2018年版） - koni blog
最終更新日：2018/3/6 こんにちは、小西です。 これまで紹介してきたGoogle App Engine(GAE)ですが、無料枠が大きいとはいえ、ちょっと重い処理があるときにリクエストが立て続けに来ると、すぐに2台以上インスタンス起動してしまいます。 インスタンス時間の無料枠は28時間なので、この範囲内で抑えることが重要です。 先月、月間50万PVほどあるサイトをGAEに移行し、1ヶ月ほど無料で運用することができたので、その際にやったことをお伝えします。 PHPで試したものですが、基本的にはPython, Go, Javaの場合も同じはずです。*1 GAEってなんじゃ？という方はまずはこちらをどうぞ： さくっとPHPでサイト作るならGoogle App Engineが最高 - koni blog Node.jsの方は無料で使えないみたいです。詳しくは一番下。 何に課金されるのか 完全無
How would I implement one-to-many on App Engine in Go?
How would I implement one-to-many on Google App Engine in the Go programming language? For example, if I have the structs below, how would I store the association of many Votes to one Comment? Would I use an array (slice) of keys to Votes in the Comment struct, or one key to the Comment from the Vote struct? type Comment struct { Author string Content string Date datastore.Time } type Vote struct
Google App Engine上のベスト・プラクティス、その１: Datastore
Google App Engine上でアプリを作りはじめて約二ヶ月。いろいろと分かって来たこともあるので、自分へのメモも含めてまとめてみる。まずは、Datastoreの話から。 なによりも大切なのはデータベースの設計 あたりまえと言えばあたりまえの話だが、App Engine上でアプリを作る上でもっとも大切なこと（＝頭を使うべきところ）は、データベースの設計である。特にリレーショナル・データベース（RDB）上でのアプリ作りに慣れた人には、大きな「発想の転換」が必要なので、ここは注意が必要。 特に絶対にやっては行けないのは、 将来RDB上へ移行できるようにレイヤーを作って、その上にアプリを作る RDB上に作ったアプリをデータモデルを大幅に変更せずにApp Engine上に移植する RDBを前提に設計されたフレームワークをApp Engine上に載せて、その上にアプリを作る など。App En
Datastoreへのアクセスを楽してMemcacheアクセスに置き換えるライブラリ作った
1. Datastoreへのアクセスを楽して Memcacheアクセスに置き換える ライブラリ作った in GAE/J appengine ja night #24 @v vakame Wednesday, April 10, 13 2. 自己紹介 わかめ まさひろ @v vakame GAE/J TypeScript AngularJS Wednesday, April 10, 13
GAE負荷テスト その2「無料で何PVまで表示できるのか試してみた」
パターン1 「1000スレッド／12ループ」 1回目 予想 理論値では、総リクエスト数は156,000ですので、リクエストの途中からエラーになるはずです。 懸念事項があるとすれば、同時リクエストの送信に私のPCが耐えられるかどうかですね。。。途中でOutOfMemoryErrorが出そうですが。。。 結果 全リクエスト完了時間 : 0.590秒 全リクエストのレスポンス平均時間 : 357msec リクエスト完了結果 : GAE管理コンソールDashboard 1秒かからずにOutOfMemoryErrorが出ました。。。 やはり私のPCでは耐えられませんでしたか。。。 GCEの設置とテスト前リソース状況 PCでは限界ですので、Google Compute Engine(略してGCE)にテスト環境を構築して、そこから負荷テストを行いたいと思います。 構築方法についてはまた日を改めて、紹介す
GAE負荷テスト その1「Hello World!」
2011年11月にGAEのプレビューが終わり、早数ヶ月経ちました。 これからGAEでの開発に乗り出す企業様、個人の方との情報共有も兼ねまして、無料枠でどこまで 使えるのか気になったので、無料枠と課金の問題について調査したいと思います。 調査は大きく分けて3回行ないたいと思います。 その1 Hello World プログラミングをやっている方には定番中の定番ですね。 ここでは単純にHello worldと表示されるページに対してリクエストを3パターンに分けて実行します。 その2 吉積情報株式会社のダミーHPのトップ画面 一般的な企業のホームページをGAE上で運用した場合、どれだけのアクセスに耐えられるのか、実際に弊社のダミーホームページを使って試してみましょう。 その3 掲示板への書込と出力 最後に実践的なものの例として、掲示板への書込と書込結果の出力(最新10件)をGAE上でどれほどの負荷
専用Memcacheは共有Memcacheよりも本当に性能が高いのか検証する Part2
前回のGAEの「専用Memcacheは共有Memcacheよりも本当に性能が高いのか検証する」が投稿されてからだいぶ時間が経ってしまいましたが、今回はその第二弾です。 前回は「保存容量、読込・書込速度」に観点を置いて調べましたが、今回は「データの残存期間」について違いがあるのかどうかを調べてみました。 ※専用Memcache、共有Memcacheの説明や設定方法などは前回冒頭で触れていますので、今回は触れません。 1. フラッシュのタイミング 前回の記事でも少し触れていますが、Memcacheは専用、共有のどちらも永続性やSLAの保証はありませんので、「いつ」という明確なタイミングはわかりません。 ※参考URL: https://cloud.google.com/appengine/docs/adminconsole/memcache 明確なタイミングはわからないと前述しましたが、GAE/
専用Memcacheは共有Memcacheよりも本当に性能が高いのか検証する
GAEでMemcacheを利用した経験はありますでしょうか？ MemcacheとはGAEで利用可能な分散型のキャッシュシステムのことです。 主な利用目的はデータアクセスの高速化です。例えば、何度も同一クエリを実行する場合、最初の結果をMemcacheに保存し それ以降はMemcache上のデータを取得することでデータストアへの無駄なアクセスを軽減させることができます。 (Memcache上にデータが存在しない場合は再度データストアでクエリを実行します。) これまでMemcacheは無料版(共有Memcache)として公開されてきましたが GAE 1.8.2から有料(プレビュー版)の「専用Memcache」がリリースされました。 この新しいMemcacheでは、最大20GBのキャッシュ容量(0.12ドル/GB/時)が保証され、プレビュー公開終了後には これまでのMemchache(共有Mem
Google AppEngine - Custom Domain + SSLが簡単になった - Qiita
Google AppEngine で独自ドメイン + SSL を使うとき、以前だったら Google Apps を経由しないといけなかったのですが、本日 Apps なしで Google Developers Console から直接設定する機能がリリースされました。 Announcing SSL for GAE Custom Domains in the Developers Console さっそく試してみました。 まずは Custom Domain を登録する Adding a custom domain for your application Developers Console の Compute > AppEngine > Settings で Custom Domains タブをクリックして "Add a custom domain" ボタンをクリック。 未登録のドメインであ
個人的に最強のPaaSプラットフォームGoogle App Engineの良い所を挙げてみる - Qiita
2019.12.27追記 この記事は4年前に書いたものをメンテしていて、これまでたくさん読まれたようですが、平成時代のものだと思えてきました。最近、アプリのバックエンドに使い始めたFirebaseのほうが今の時代にあったPaaSだと思います。Google App Engineは2nd generationからはIaaSよりになっていると思うので、高速に開発することを求めるPaaSならFirebaseでしょうということで、この記事は飛ばしてFirebaseの紹介記事を適宜探してお読みください。 クラウドブームの初期にはそこそこ存在感のあったGoogle App Engine（GAE）ですが、PaaSの不人気というか、本格的なクラウド時代が到来してAmazon Web Services に代表されるIaaSの前にすっかり影が薄くなっています。 当のGoogle自体も明らかにIaaSサービスのC
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Puppeteer not working in the google app engine
Go: how to convert struct to []byte?
KeysOnly Function dont return Keys
GitHub - gae-init/gae-init: Google App Engine based on Python, Flask, RESTful, Bootstrap and tons of other cool features
App Engine & 'There are too many files in your application for '