Googleの巨大分散データストアBigtableとDatastoreを理解する
今回は、米Googleのクラウド環境に存在するデータベースBigtableとDatastoreサービスを紹介します。「巨大分散」という新たなデータベースの地平を切り開くためにどのような工夫をしているか、じっくり見ていきましょう。 「Bigtable」は、Googleの主要なサービスを支える独自の巨大分散データストアです＊1。Bigtableは、2005年4月から本格的な運用（プロダクション利用）が開始されたもので、Googleの検索サービスをはじめ、Gmail、YouTube、Google Maps、Google日本語入力、そしてApp Engineなど、70以上のプロジェクトで利用されています。その規模は、数P（ペタ）バイト～数十Pバイトに達しているでしょう。 Bigtableは、Google検索サービスにおける膨大なコンテンツやインデックスを保持し、高速に検索するための専用データストア
GAE/Python - DataStoreの使い方をまとめてみた
DataStoreとは 本記事内のDataStoreは、GoogleAppEngineのデータストアのことを指す。GoogleAppEngineは、ファイルの書き込みが一切できないため、DataStoreを使う以外にデータを永続化する方法はない。短期であればmemcachedに保存することもできるが、memcachedに保存されたデータは保存期間が保証されないため、一時データをキャッシュして高速化(or 負荷軽減)以外には実質つかえない。 DataStoreの特徴 DataStoreの特徴は、スケーラブルであること。データ数が1万件でも1億件でもほぼ同じ時間で結果が返ってくる（らしい）。ただし、通常のRDBでは簡単にできる操作がDataStoreでは非常に重い処理だったり、不可能だったりするので注意。 苦手な処理 件数のカウント ⇒件数のカウントは、データ全体を取ってくる処理に近いだけの処
フレクトのクラウドBlog: セールスフォース、Google、AmazonのPaaSの比較とSIer視点からの印象
最近、Amazon Beanstalkが発表されて、PaaS領域が一段と盛り上がってきました。 業務系に強いForce.com、ソーシャルアプリなどコンシューマ系サービスに強いGoogle App Engineあたりが有名でしたが、最近は選択肢がかなり増えました。 この記事を書いている最中にもちょうど以下のような記事がでていて、PaaSに対する注目度が高いことがうかがえます。 http://www.publickey1.jp/blog/11/google_app_engine_paas.html http://www.publickey1.jp/blog/11/_java_paas.html 上記の記事でだいたいよいところ、難しいところがまとまっているのですが、今日はGoogle App Engine、Force.com、AWSのサービス、それぞれ実サービスの運用や受託開発で使った経験や、
【クラウドコンピューティング】 エンタープライズとクラウド
先日、ある大手企業のお客様にGoogle App Engineの提案を行った。 Google Apps、Google App Engineには、前記事で書いたようなリスクもあり、いざやってみろと言われると実は困ってしまう。できるならリスクを引き受けたくない。提案の際にはリスクとかデメリットの説明に多くの時間を割くようにしている。どうしてもやりたいなら、すべてのリスクはお客様が持つこと。それが受けるときの最低の条件である。 そんな感じでプレゼンをしたところ、逆にクレームをもらうことになった。 「App Engineのすばらしさを提案してくれると思ったのに、危険なので主業務では使わない方がいいとか、サービスが使えなくなってもお客様の責任でお願いしますって・・・結局、使えないということか！？」 彼は以前から私がApp Engineに熱心なことを知っていて、今回は善意で社内調整して提案機会を作って
#appengine の未来はこうなる！ - スティルハウスの書庫の書庫
と釣りっぽいタイトルで、 App Engine Product Roadmapを簡単にレビューしたいと思います。久々に見たら、いろいろ追加されてた！ 各項目毎に、私の勝手な予測（妄想）コメントを加えてみました。 SSL for third-party domains Google Appsで独自ドメインをApp Engineに割り当てたときもSSLを使えるようになるであろう Background servers capable of running for longer than 30s 忌まわしき30秒制限から開放されたバックグラウンド処理が可能になるであろう。Task Queueのタスクでさえ30秒制限があるのでバックグラウンド処理も細切れにする必要がありましたが、それが不要になるであろう Ability to reserve instances to reduce applicati
App Engine Product Roadmap - Google App Engine - Google Code
Python Overview CGI Environment Storing Data Overview Entities and Models Creating, Getting and Deleting Data Keys and Entity Groups Queries and Indexes Transactions Types and Property Classes GQL Reference Statistics Reference Model Expando PolyModel Property Query GqlQuery Key Functions Exceptions Services Memcache Overview Using Memcache Reference Client Functions URL Fetch Overview Reference T
Receiving Email - Google App Engine - Google Code
Python Overview CGI Environment Storing Data Overview Entities and Models Creating, Getting and Deleting Data Keys and Entity Groups Queries and Indexes Transactions Types and Property Classes GQL Reference Statistics Reference Model Expando PolyModel Property Query GqlQuery Key Functions Exceptions Services Memcache Overview Using Memcache Reference Client Functions URL Fetch Overview Reference T
App Engineではどの言語を使えばいいのか - ひがやすを技術ブログ
App Engineで使える言語は基本的にはPythonとJavaです。それでは、どちらを選ぶのが良いのでしょうか。 それ以外の言語の人向けの話は後から出てくるのでしばらくこのままお読みください。 趣味ならば単に好きなものを選ぶだけでいいのですが、仕事で使うためには、長所と短所をきちんと把握した上で選ぶ必要があります。また、ここでの話は言語としての一般的な話ではなくApp Engineで使うとき限定の話としてお読みください。 まず安定度ですが、インフラ部分の安定度は、どちらも基本的に同じです。もしかすると、まったく同じものを使っているのかもしれません。 その上で動くAPIの部分は、インフラと直接結びついている低レベルな部分と低レベルなAPIの上に構築された高レベルな部分とに分けて考える必要があります。 低レベルなAPIはLLAPIと呼ばれたりしますが、安定度は、PythonとJavaも同じ
Slim3 1.0.0 Released - ひがやすを技術ブログ
Slim3 1.0.0をリリースしました。 リリースノートはこちら http://sites.google.com/site/slim3appengine/release-notes ダウンロードはこちら http://code.google.com/p/slim3/downloads/list Slim3の主な特徴は次のとおりです。 Global Transactions Faster than JDO/JPA Fast spin-up HOT reloading Type safe query 詳しくはこちらをどうぞ http://slim3.org Seasar2譲りのHOT reloadingやS2JDBC譲りのType safe queryなどもありますが、最大の特徴は、Global Transactionsを実装していること。 http://d.hatena.ne.jp/hig
Google App Engine をはじめてみよう
"Google App Engine Java の色々な機能を、実際にコーディングしながら体験してみよう" という主旨のもと、Google App Engine for Java のコードラボをこれまでに3回開催してきました。Java を使った Web アプリケーションの開発経験はあるけれども、App Engine は初めてという方向けで、毎回、即日定員に達してしまう人気コースです。 このコードラボで利用している教材は、GTUG のメンバーとGoogle のソフトウェアエンジニアたちが共同で作り上げたものです。コース設計からドキュメントの制作、コース参加者のフィードバックを反映するなど、さまざまな面でGTUGメンバーの惜しみない協力をいただきました。 そして、いよいよこのコース教材「Google App Engine Code Lab for Java」を一般に公開することになり、3月11
Post-mortem for February 24th, 2010 outage
Either email addresses are anonymous for this group or you need the view member email addresses permission to view the original message Post-Mortem SummaryThis document details the cause and events occurring immediately after App Engine's outage on February 24th, 2010, as well as the steps we are taking to mitigate the impact of future outages like this one in the future. On February 24th, 2010, a
Google App Engine入門：実践編
今週に入って、Tiny Message に続く二つ目の Google App Engine ベースのサービスをリリースした。３日ぐらいで試験的に作った Tiny Message とは異なり、今回のものは、丸二ヶ月間寝る間も惜しんで作った力作である。 米国向けのサービスな上に招待制のSNSなので、ここではサービスそのものは公開しないが、いくつかこだわって作った部分があるので、それについて語ってみようかと思う。 1. 対象となるユーザーの絞り込み FacebookやTwitterのような巨人が存在している中で、それにまっこうから対抗するようなソシアル・ネットワーク・サービスを作ったところで無謀なだけである。そこで、逆に対象にするユーザー層を究極にまで絞り込んで、彼らのライススタイルに徹底的にマッチしたサービスを作ることにより差別化をはかる、という戦略を選択。対象は「LAに住む２０〜３０代の社交
Handling downtime: The capabilities API and testing - Nick's Blog
Posted by Nick Johnson | Filed under python, tech, app-engine, coding, capabilities After the unfortunate outage the other day, how to handle downtime with your App Engine app is a bit of a hot topic. So what better time to address proper error handling for situations where App Engine isn't performing at 100%? There's three major topics to cover here: Handling timeouts from API calls, using the Ca
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Infrastructure Giant Amazon Drops 'Beanstalk' On Google And Salesforce
Amazon.co.jp: Code in the Cloud: Programming Google App Engine (Pragmatic Programmers): Chu-carroll, Mark C. (著), Toporek, Colleen (編集): 本
Top Hat | Dynamic Courseware Platform
devworx - Latest Application Development | Mobile Web Development - App Development, Application Trends
Taking advantage of the new Apps Marketplace - Nick's Blog
Do Task Queues Dream of MapReduce?
APIでGoogleスプレッドシートの追加／更新／削除
