GAE Datastore の Single-property Index と Composite Index は全く違うものと理解する - addsict's blog
Datastore の Single-property Index と Composite Index はどちらも似たようなものだと思っていたのですが、実際のところはかなり違う性質をそれぞれ持っていることが段々とわかってきたので、現時点の自分の理解をメモしておきます。 恐らく Cloud Datastore にも該当する話だと思います。 Datastore のインデックスの種類 Datastore には2種類のインデックスが存在します。 Single-property Index (Built-in Index とも呼ばれる) Composite Index (Custom Index とも呼ばれる) このうち Single-property Index はデフォルトで全てのプロパティに有効になっているインデックスであり、Entity を保存した段階でそれぞれのプロパティに対応するインデッ
GAE Datastore について - Sojiro's Blog
同一 kind の entity でも違う property を持ちうる それぞれの entity は同名の property でも型の違うデータを持ちうる Other storages 複数の table の join や 複数のカラムに対する不等号比較など、すべての SQL 操作が必要なら Google Cloud SQL ACID transaction を必要としないスキーマレスなデータを扱うなら Google Bigtable オンラインで分析されるデータを扱うなら Google BigQuery 画像や動画などの変更がない大きなデータを扱うなら Google Cloud Storage Entities ひとつの entity は1つ以上の property をもつ property は1つ以上の値を取りうる Keys key は entity を特定する key は以下を含む
これで怖くない Datastore のトランザクション
Lv：20 Exp：76341 メカです。 Cloud Computer と Neural Network に興味があります。 ”トランザクション” 聞いただけで嫌厭する方も少なくないのでは？ Datastore のトランザクションに関して、 そもそも RDB のときからトランザクションってよく分からなかったってのにDatastoreになってますます混乱しそう いきなり Datastore から始てみたけど、トランザクションがよく分からない といったように”トランザクションうわぁ”と思ってしまってませんか？ そんなあなたの垣根を少しでも取っ払い、 Datastore を触ってもらえたらなぁという期待を胸に執筆しました。 Datastoreのコードと一緒にMySQLのクエリを並べ、さらに、開発でよく見かける６つのパターンに分けて、実装例と共に説明していきます。各パターンについて具体的な要件の
Cloud Datastore 活用術
Cloud Datastore 活用術 7 June 2016 Profile 2 Cloud Datastore Update XG Tx (25 Entity Groups) New Pricing Start 2016/07 Indexの数は考慮されず、操作したEntityの数のみがカウントされるように変更 Entity Reads : $0.06 per 100,000 entities Entity Writes : $0.18 per 100,000 entities Entity Deletes : $0.02 per 100,000 entities 3 Cloud Datastoreらしい構成 4 Kind 設計 正規化は必ずしも正ではない QueryするPropertyは1つのKindに含める 検索しないValueはJsonで突っ込むこともある 5 Key 設計 意味の
datastore のデータをダウンロード/アップロードする - NOSIX
Google App Engine で開発。第八弾。 GAE python27 です。 データの download(dump)/upload(restore) には bulkloader を使います。 app.yaml にて remote_api の使用を宣言します。 builtins: - remote_api: on bulkloader.yaml ファイルを作成します。appcfg.py を使ってひな形を作成できます。 $ cd ANY_DIRECTORY $ appcfg.py create_bulkloader_config --filename=bulkloader.yaml --url=http://localhost:8080/_ah/remote_api --application=dev~your-application-id APPLICATION_ROOT 上記は開
トランザクションとエンティティグループ - スティルハウスの書庫の書庫
Datastoreのトランザクション エンティティグループ単位でACIDを保証 Bigtableは行単位のACIDしか保証しない。Datastoreではエンティティグループ単位でのACIDを保証している 楽観的排他制御（optimistic lock）を実装 エンティティグループのrootエンティティにて、トランザクションの最終コミット時間のタイムスタンプを記録 トランザクションの開始時に同タイムスタンプを確認し、コミット時にタイムスタンプを再度確認する タイムスタンプが変化していなければ、更新内容を保存して、タイムスタンプを更新する タイムスタンプが変化してれば、他のトランザクションとの競合が発生しているので、トランザクションをロールバックする RDBの悲観的排他制御（SELECT FOR UPDATE）のようにエンティティをロックしないので、スループットは高いが、競合時のリトライが必要
GAE/Goのdatastoreの挙動について - Qiita
GAE/J+Slim3の語彙・知識を元にここに解説を書く。 GAE/Goの知識とGo言語の知識が混ぜこぜで書かれているかあまり気にしてはいけない。 以下の調査結果を得るためのテストコードはここに置いた。 EntityにKeyは付属してこない structを定義する時に、そのstructに自分自身のKeyを持たせる方法はない。 EntityにIdまたはNameを自分で定義して、Putする時、Getした後にそこに忘れずにId, Nameを取り出したり移し替えたりして頑張る。 これを自動でやってくれるライブラリがgoonである。 IncompleteKeyはPutした後でも値は変わらない key := datastore.NewIncompleteKey(c, "Test", nil) newKey, err := datastore.Put(c, key, foo) // keyはIncomp
DataStoreのスナップショットをとってバックアップする手順 - urekatのスカンク日記３
を考えてみました。どうでしょう。 サービスは止めずに（だいたい）整合性のあるスナップショットを取ります。 そもそも分散DBだから厳密なのは難しいんですよね？ 各サーバの時計はほとんどずれていない前提。 全体バックアップ [スナップショット時刻]を設定してdeploy put/delete時に updated_at < [スナップショット時刻] かつ [スナップショット時刻] <= 現時刻 なら [変更前のEntity]をシリアライズして保存する(Entity内でも別Entityでも。子にすればいいかも) [全Entity]をダウンロード [スナップショット時刻]の設定を解除してdeploy 保存しておいた[変更前のEntity]をダウンロード [全Entity]+[変更前のEntity]から「updated_at < [スナップショット時刻]」なデータを抽出 差分バックアップ 『[全Ent
#appengine でスキーマ変更に対応するバッチ処理を行う
2009/11/05追記ひがさんより指摘を頂いて、30秒制限に関する補足を本文中に青字で追記しました。いつもありがとうございます、助かります＞ひがさん ここから本文 タイトルの処理について、いくつかノウハウを書いておきます。ポイントは以下の2点。 全てのエンティティにスキーマバージョンを保持する ローカル環境からデプロイ環境へ直結してバッチ処理を実行する事で、30秒制限なんて無視してしまう 実例をもとに説明してみます。最近、appengine java night用のまとめページとかに使おうとしているサイトを運営していて、そこに「TwitterでAppEngine関連についてつぶやかれた内容を収集する」という機能を実装しました。しかし、つぶやきを保存する際の投稿者の情報として「Name」を保持しているものの「ScreenName」を保持しておらず、投稿者のタイムラインページへのリンクを作成
App Engine Recipe - Autoretry Datastore Timeouts
def autoretry_datastore_timeouts(attempts=5.0, interval=0.1, exponent=2.0): """ Copyright (C) 2009 twitter.com/rcb Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sub
エンティティを２つに分けます - How BuddyPoke Scales on Facebook Using Google App Engine - urekatのスカンク日記３
http://highscalability.com/blog/2010/1/22/how-buddypoke-scales-on-facebook-using-google-app-engine.html エンティティを２つに分けます：メインモデルとサブモデル。 Datastoreのputはもっとも大きなコスト要因なので削減するためにできることはなんでもやりましょう。 メインモデルにはkeyだけでアクセスします。 インデックスは一切作らないし、余計なフィールドも一切保存しないようにします。 getのスピードは速くなり、putにかかる料金は安くなります。 余計なフィールドは時間もお金も無駄にすることになります。 だからUserモデルの「入会日時」フィールドはメインモデルには含めません。 このような頻繁に使わないフィールドはサブモデルに入れておきます。 サブモデルに対してインデックスを作り、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google App Engine のデータベースにデータを予め登録しておきたい
はてなブログ | 無料ブログを作成しよう
フリーグーフォ合同会社(FreeGufo)
Cloud Datastore Fundamentals
base/gae/ds/datastore.go at master · knightso/base
Google Cloud Datastoreでのデータ整理の考え方
Migrate GAE Datastore to SQL using Golang
Toru Maesaka
Google Code Archive - Long-term storage for Google Code Project Hosting.