GAEの設計指針めも - あおうさ＠日記
とりあえず思いつくまま列挙。まだまだ変わる可能性は大きい。 正規化しない。RDBMSでいうところのJOIN済みのでっかいテーブル作れ。 SELECTはがんばらない。INSERT超がんばれ。 PKはString型にしてgae.encoded-pkを使用する。 PKに複合キーは使わない。(コンポジットインデックス使わない) Date型のプロパティは使わない。String型にする。 プリミティブ型はnullを許容しないので使わない テーブル間のjoinができない。→正規化せずJOIN済みのでっかいテーブルを作る 集約関数がない（group byできない）、count()で全件カウントできない →集約したい値は、集約用のエンティティを用意してInsert時に集計値を保存する（最大値／最小値も同様） 毎回対象データをすべて取得してループで集計するのは非効率（また最大1000件の制限がある）集約したい
Google App Engineで行動ログを記録・収集する方法 | GMOメディア エンジニアブログ
こんにちは。技術推進室の浅井です。最近tumblrのインターフェイスが変わりましたね。こういうブログ書く場所じゃねーよと言われてる気がして肩身が狭い思いをしています。どきどき・・・ さて、わたくしtwitterのbioにも書いてあるとおりかつてはプログラマーだった時代がありました。 が、最近は行動ログ収集とか集計レポーティングを主な業務としております。PHPから行動ログを出力したり、それをwebサーバー郡から集めてきて集計してレポートするだけの簡単なお仕事ですね。今日はこのへんのお話を。 ログの設計ができたら、まずは行動ログをどこかに書き出すことから始まります。ログを書こうと思ったら、色んな方法があるかと思います。 ローカルファイルに書くRDBやKVSに書くfluentd loggerを使うしかし大事なポイントがあります。 HTTPリクエストのレスポンスタイムに影響を与えてはならない運用が
『01.Google App Engine 最近の動向』
CA Beat エンジニアリーダーのヤマサキです。 デザイナーブログと比べて随分遅れてしまった感のあるエンジニアブログも、 本日ついにスタートすることができました。 これからよろしくお願いします！(｀・ω・´) 最初の記事に何を書くか随分悩んだのですが、 CA Beatのシステムのサーバーサイドをホストする、 Google App Engineの最近の動向について書くことにしました。 App Engineは登場してからもう4年以上経ちます。 登場から今日までの間にApp Engineは進化を続け、 以前はできなかったことも少しずつできるようになってきています。 以前にApp Engineについて調べた方の中には、 今も「○○ができないApp Engine」のイメージのままの方も多いと思いますので、 App Engineの特徴に加えて、最近の状況をまとめてみようと思います。 ○近年弊社で提供
「Google App Engine」最新版、アプリ常時起動やインスタンス予約が可能に
米Googleは米国時間2010年12月2日、Webアプリケーション・ホスティング・サービスの最新版「Google App Engine 1.4.0」の提供を開始したと発表した。新機能の追加と各種制限の緩和により、動かせるアプリケーションの幅が広がるという。最新版用のソフトウエア開発キット（SDK）はWebサイトからダウンロードできる。 Google App Engineは、JavaまたはPythonで記述したアプリケーションをクラウド環境で実行できるPaaS（Platform as a Service）。最新版は「Channel API」でクライアント側Webブラウザーとの双方向通信が可能になり、多人数ゲームやチャットルームなど、リアルタイムに通信するアプリケーションを動かせるようになった。 また、アプリケーションのインスタンスを3個確保し、トラフィックが少なかったり大きく変動したりする
google appengine に関してひと言
ここ数日、Twitter上で appengine に関する発言をたくさん目にする。それを見る限り、「注目をされてはいるが、手を出しかねている人が多い」というのが現状だろう。そこで、私からもひと言。 App Engine は純粋なソフトウェア・エンジニアにとっての天国 私自身、色々な開発環境を試して来たが、私のようにプログラミングが大好きで、新しい言語や環境を学ぶのが楽しくて仕方が無いエンジニアにとっては、「App Engineは天国」というのが正直な感想。SQLやRailsのように一見開発効率を良くしてはくれるが、直感的に実行効率とかが把握できない「補助輪付きプログラミング」と違い、App Engine上でのプログラミングは、ちょっと手を抜くとすぐに実行効率の悪さとして跳ね返ってくる「一輪車プログラミング」。 新しい言語を学ぶのが苦ならApp Engineは避けた方が良い 現時点で、Pyt
Google Drive: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
「Google App Engine」の企業利用におけるさまざまな課題
本連載ではパブリッククラウドを使った企業向けシステム構築について解説している。第1回はAmazon Web Services、第2回はForce.comを取り上げた。今回は「クラウド」という言葉を最初に使ったとされるGoogleが提供している「Google App Engine」（以下、GAE）を取り上げる。毎度申し上げていることではあるが、変化の激しい分野でもあるので、記載されている情報は原稿執筆時点のものであることをご了解いただきたい。 GAEの成り立ち 検索エンジンで創業したGoogleだが、今では何十万人ものユーザーを抱えるフリーのメールやカレンダー、世界中をカバーする地図情報などを提供する「超巨大情報企業」であることは周知の事実である。われわれは日ごろ、これらのサービスを便利に使っているが、少し考えればその裏に膨大なコンピュータリソースと、高度な利用技術が潜んでいることは想像に難
Java Cloud Meeting Tokyo 2010: 『Google Web Toolkitのすすめ』発表資料 - kaisehのブログ
Java Cloud Meeting Tokyo 2010で、『Google Web Toolkitのすすめ』と題して発表を行いました。スタッフの皆さま、お疲れ様でした。 発表中に、Google PluginでGWTアプリをGAEにデプロイする予定だったのですが、Eclipseで謎のエラーが出てしまいました。そこであらかじめデプロイしておいたアプリを表示しようと思ったのですが、動揺でApp IDをど忘れしてしており、URLを間違えて404を連発という失態を演じてしまいました。ネットワークを使うデモは会場でのリハーサルが必須ですね...。 以下、発表資料です。 Google Web ToolkitのすすめView more presentations from kaiseh.
グーグル、Google App Engineの利用拡大に追いつけていないと告白
この数週間、Google App Engine（GAE）のデータストアは深刻な性能低下に見舞われており、しかも5月25日には45分間の障害も発生している、とグーグルはGoogle App Engine Blogにポストされたエントリ「Datastore Performance Growing Pains」で報告しています。 この原因についてグーグルは、2カ月ごとに25％増のペースでデータストアの利用が拡大していることを挙げており、これを収容するためにデータセンターの拡張やデータセンター間での移動などの対応が行われているが、まだ追いついていないとのこと。 We have put other Datastore projects on hold to dedicate more people to accelerating improvements to Datastore performan
SORICH | 社会を豊かにする
We make society rich ITは今や、企業活動ならびに個人の生活からも切り離せないほどの大きな存在となっています。 ITの技術向上は、間違いなく社会を豊かにすることにつながるものと考えております。 SORICHは、ITにおける技術向上、クオリティ向上をめざし、社会に大きく貢献してまいります。 開発実績 Development record FX取引システム 金融 Java JavaScript MySQL 大規模なトランザクション処理が要求されるプライスボート、注文機能等、リアルタイム性の高いフロントシステム開発に加え、法廷帳簿出力を含めたバック業務システムなど、FX事業を運営する上で必要となる包括的なシステムを供給。 非常に高い品質を求められるシステムのため、ミスが許されないというプレッシャーの毎日でした。 レンタル端末在庫管理 IT Java PHP JavaScrip
[Ruby on Rails][heroku] heroku が今、最高にアツい！ - mat_akiの日記
どうも、最近は heroku に夢中の mat_aki です。 夢中なので紹介記事を書いておきたいと思います。 herokuとは、Ruby on RailsのWebサービスのホスティングを行なってくれるPaaSです。Ruby on Railsに限らず Rack に乗るアプリケーションならなんでもOK。 Ruby専用のGoogle App Engineのようなものです。 http://heroku.com/ heroku の入門記事はこちらをご覧ください。 http://kuranuki.sonicgarden.jp/2009/05/rubypaasherokurails.html GAEに比べると、以下の点が違いとしてあげられます。 Rubyのみをサポート DBはRDB (Postgress) APIが用意されている 外部サービスと連携(アドオン) オートスケーリングしない GAEと違いR
![[Ruby on Rails][heroku] heroku が今、最高にアツい！ - mat_akiの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/6cb9f218a5c6311a3a6d23489e2dd84e78ecb261/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127134511166%2F17680117127134514929%2F1557991248)
#appengine の未来はこうなる！ - スティルハウスの書庫の書庫
と釣りっぽいタイトルで、 App Engine Product Roadmapを簡単にレビューしたいと思います。久々に見たら、いろいろ追加されてた！ 各項目毎に、私の勝手な予測（妄想）コメントを加えてみました。 SSL for third-party domains Google Appsで独自ドメインをApp Engineに割り当てたときもSSLを使えるようになるであろう Background servers capable of running for longer than 30s 忌まわしき30秒制限から開放されたバックグラウンド処理が可能になるであろう。Task Queueのタスクでさえ30秒制限があるのでバックグラウンド処理も細切れにする必要がありましたが、それが不要になるであろう Ability to reserve instances to reduce applicati
Google App Engineに最適化したJavaフレームワーク「Slim3」登場。作者のひがやすをさんにインタビュー
Google App Engineに最適化したJavaフレームワーク「Slim3」登場。作者のひがやすをさんにインタビュー Slim3は、Google App Engineで複数行のトランザクション操作を可能にし、標準で用意されているAPIよりも高速な動作を実現するなどの特徴があります。Slim3を開発したのは、オープンソースのJavaフレームワークとして知られるSeasarなどを開発してきたひがやすを氏です。 正式リリースにあたり、Slim3の特徴、開発に苦労した点、今後の展開などについて、ひが氏自身に説明してもらうべくインタビューをしました（インタビューはメールで質問し、返答いただくという方法で行いました）。 Slim3の設計哲学は、“Less is more”を実現すること ―― Slim3とは何でしょうか？ Javaにそれほど詳しくないというプログラマにも説明するとしたらどう説明す
App Engineではどの言語を使えばいいのか - ひがやすを技術ブログ
App Engineで使える言語は基本的にはPythonとJavaです。それでは、どちらを選ぶのが良いのでしょうか。 それ以外の言語の人向けの話は後から出てくるのでしばらくこのままお読みください。 趣味ならば単に好きなものを選ぶだけでいいのですが、仕事で使うためには、長所と短所をきちんと把握した上で選ぶ必要があります。また、ここでの話は言語としての一般的な話ではなくApp Engineで使うとき限定の話としてお読みください。 まず安定度ですが、インフラ部分の安定度は、どちらも基本的に同じです。もしかすると、まったく同じものを使っているのかもしれません。 その上で動くAPIの部分は、インフラと直接結びついている低レベルな部分と低レベルなAPIの上に構築された高レベルな部分とに分けて考える必要があります。 低レベルなAPIはLLAPIと呼ばれたりしますが、安定度は、PythonとJavaも同じ
Google App Engine をはじめてみよう
"Google App Engine Java の色々な機能を、実際にコーディングしながら体験してみよう" という主旨のもと、Google App Engine for Java のコードラボをこれまでに3回開催してきました。Java を使った Web アプリケーションの開発経験はあるけれども、App Engine は初めてという方向けで、毎回、即日定員に達してしまう人気コースです。 このコードラボで利用している教材は、GTUG のメンバーとGoogle のソフトウェアエンジニアたちが共同で作り上げたものです。コース設計からドキュメントの制作、コース参加者のフィードバックを反映するなど、さまざまな面でGTUGメンバーの惜しみない協力をいただきました。 そして、いよいよこのコース教材「Google App Engine Code Lab for Java」を一般に公開することになり、3月11
Google App EngineでのDatastore使用量見積もりは注意が必要 - 2010-02-17 - きしだのはてな
先日セッションデータを消したかったのは、Datastore使用量が1GBを超えて一日0.01$の課金がかかってたからなのです。日曜日くらいに無事消えました。 Google App Engine/Javaでセッション情報を定期的に消す処理 130万件を消す処理に5日以上かかった計算に。もちろん、もう少しちゃんと組めばもっと早く終わると思うのですが、それはつまり、130万件を消去する処理を書くには単純なコードでは無理ということです。※急いでなかったので30分に13回程度の処理しか行ったためで、ちゃんと処理をすると3時間かからないくらいにはなりそうです。(23:08追記) まあ、日数がかかるのはいいとして。 セッション情報がたまってるときのエンティティサイズはこのように360MB程度になっていました。 ただ、このときデータストア使用量は1GBを超えて、0.01$の課金がかかっています。 これが、
Google App Engineで開発するスケールするアプリケーション（中編）
本稿の前編では、Webシステムをスケールさせるための一般的な手法や考え方、そしてGoogle App Engineの概要と特徴について説明しました。中編となる本稿ではミニブログサービスのTwitterとGoogle App Engineを連携させるレコメンドアプリケーションの設計について説明し、後編では実装編として実際のソースコードに基づき説明します。 はじめに Google App EngineはGoogleのインフラを使用し、開発したアプリケーションをインターネットで公開できるサービスです。Google App Engineの特徴はアクセスや負荷に応じてシステムが自動にスケールする仕組みと、Google独自のスケーラブルなデータベースであるBigtableを使用できることです。BigtableはKey-Value方式のデータベースで、ペタバイト級のデータを扱うことができます。そのような
Google App Engine上のベスト・プラクティス、その１: Datastore
Google App Engine上でアプリを作りはじめて約二ヶ月。いろいろと分かって来たこともあるので、自分へのメモも含めてまとめてみる。まずは、Datastoreの話から。 なによりも大切なのはデータベースの設計 あたりまえと言えばあたりまえの話だが、App Engine上でアプリを作る上でもっとも大切なこと（＝頭を使うべきところ）は、データベースの設計である。特にリレーショナル・データベース（RDB）上でのアプリ作りに慣れた人には、大きな「発想の転換」が必要なので、ここは注意が必要。 特に絶対にやっては行けないのは、 将来RDB上へ移行できるようにレイヤーを作って、その上にアプリを作る RDB上に作ったアプリをデータモデルを大幅に変更せずにApp Engine上に移植する RDBを前提に設計されたフレームワークをApp Engine上に載せて、その上にアプリを作る など。App En
Google App Engineを使って無料でサイトを立ち上げる方法 - EC studio 技術ブログ
Googleが提供する、Google App Engineというサービスを知っていますか？ Amazon EC2などと同じで、Googleが用意するクラウドサーバー環境で アプリケーション開発ができるというサービスです。 (レンタルサーバーのようなもの) その大きな特徴は、なんといっても月間500万PV相当まで"無料"ということです。 ※有料で制限を拡張することも可能 ※2011/09/07 注 Google App Engineの新料金体系が発表されました。 新料金体系では無料で使える枠が大幅に削減されています。 この記事の無料での使用制限に関する記述は、新料金体系では 正しくありませんのでご注意ください。 「App Engine は無料で始めることができます。最大 500 MB の永続性ストレージに加え、月間約 500 万ページ ビューに対応できる十分な CPU と帯域幅を、すべてのア
Google App Engine入門：実行効率を犠牲にせずに開発効率だけを上げるテクニック
一つ前の富豪プログラミングのエントリーともつながる話だが、Google App Engineは「ちゃんとスケーラビリティを考慮してアプリケーションを作るには何に気をつけなければならないか」を勉強するには絶好の環境だ。そこで今回は、その「ケチな大富豪的なプログラミング」の実践編。 Google App Engine上のアプリをいくつか書いているうちに、必要に迫られて自然発生的にできてきたのが、gdispatchという数十行のコードからなる小さなモジュール（ソースコードはgithubに置いてある）。これをGoogle App Engineに標準で付いて来るwebappと組み合わせてフレームワークとして使っている。 gdispatchを設計する上で重視したのは、 （１）Google App Engine上でのアプリの開発を効率化する上で「明らかにこれがあると開発効率が格段に向上する」というもの以
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
