How Litestream Eliminated My Database Server for $0.03/month
Here’s a riddle. My web app keeps all of its data in a SQL database. I can spontaneously tear it down, deploy the code to a different hosting platform, and the app will still serve all the same data. Running my app in production costs $0.03 per month. How is this possible? That’s easy. You have a separate database server running somewhere that stores all of your app’s state. No, my app never talks
Cloud Datastoreのクエリでがんばるハナシ 2 〜 ライブラリ作った 〜 - Qiita
１週間前にCloud Datastoreのクエリでがんばるハナシという記事を書きましたが、そこで書いた各種テクニックをサポートするライブラリを作ったので紹介します。 XIAN 注意: 現時点でまだβ版(v0.1.0)です。正式版の前に後方互換のない修正が入る可能性があります モチベーション Search APIあまり使いたくない Datastoreクエリの不足する機能を補う為にSearch APIを併用するテクニックがあります。 Search APIはとても便利ですがいくつかの制限があり、何よりインデックスサイズに上限がある為スケーラビリティに難があります。 参照: GAEでハマったこと(´･ω･`) Search APIに出来るだけ頼らないことが本ライブラリの第一の目的です。 LIKEやINを使いたい Cloud DatastoreはLIKEやIN/OR条件のフィルタをサポートしません。
Cloud Datastoreのクエリでがんばるハナシ - Qiita
昨今Cloud SpannerやCloud Firestoreなど上位の製品も出てきて徐々に存在感を失いつつありますが、「オレはまだDatastoreを愛してるんだ」「Spanner使う金ねえし」という人もいると思ってCloud Datastore（以降Datastoreと記述します）のクエリのハナシを書きます。 ※Cloud Firestore(Datastore mode)にも適用可能なハナシです。Native modeでも部分的に有効かと思います はじめに 普段使用されている方はご存知の通りDatastoreのクエリにはRDBのSQLと比較して制限があります。 Inequality Filter(>,>=,<,<=)は単一プロパティにのみ使用可能 複数プロパティソート(ORDER BY)を併用する場合、Inequality Filterは最初にソートするプロパティに対してしか使えない
GCP Database Next Generation
今年のNext報告会たち 07/30 Mercari Google Cloud Next 2018 わいわい報告会 08/01 リクルート Google Cloud Next ’18 Recap/報告会 08/03 TOPGATE Google Cloud Next '18 報告会 08/17 GCPUG Google Cloud Next 2018 Extended BigData & ML Day 08/17 GCPUG Google Cloud Next 2018 Extended in Fukuoka 08/23 GCPUG 酔いどれGCPUG Next報告会 08/24 GCP...
ここが大変だよBigtableとGoogle App Engine
ここが大変だよBigtableとGoogle App Engine：分散Key-Valueストアの本命「Bigtable」（3）（1/2 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 月間3000万PVの大規模サイトの運用費が月額4万円!? 月間3000万PV相当の膨大なトラフィックを楽々とさばく大規模サイトが、月額4万円弱で運用されている。 Google App Engine（以下、App Engine）が普及するにつれて、そんな驚愕の国内事例も登場しつつあります。GClueがApp Engine上で実装したmixiアプリモバイルモバイルには、1日100万PV以上のアクセスが集中している状態でもサービスのレスポンス低下やダウンは皆無
Datastoreでの検索実装パターン ~Search APIもあるよ~ - Qiita
GAEでアプリケーションを作成する際、ストレージとしてDatastoreを利用するケースが多いと思う。 高いスケーラビリティとリーズナブルな料金設定でとても使いやすいデータベースなのだが、複雑な検索を行うことはできないし、LIKE検索やIN検索などもできない。 しかしながら、このような欠点も実装の工夫次第である程度カバーすることが可能なわけで、「Datastoreでもこんなことできるんだよ！」的なSomethingを伝えてみたいと思う。 今回は下記のようのデータ構造を持つエンティティをサンプルとして作成し、Datastoreを利用したいろいろな検索方法を実装してみる。
Datastoreで検索エンジンを作る
Datastoreで検索エンジンを作る 29 Oct 2016 Daigo Ikeda Knightso, LLC Profile Daigo Ikeda @hogedigo Knightso, LLC http://www.knightso.co.jp/ Shizuoka, JAPAN 2 Datastore Indexおさらい 3 Sample: Book Store Model: type Book struct { ID string Title string Category string Price int PublishDate string } 4 Sample: Book Store Run Query: q := datastore.NewQuery("Book").Limit(20) // apply filters here var books []*Book _,
ミリシタを支えるGAE/GoをミリシタP向けに翻訳してみた - うしろのこの本ください
良いスライドなのに肝心のミリオンPからしたらちんぷんかんぷんな内容だったので未来ちゃに説明するつもりで噛み砕いていこうと思います。そこそこ長くなってしまった。 件のスライド ミリシタを支える GAE/Go from Google Cloud Platform - Japan www.slideshare.net 既に目を通したPも多いかと思いますが、４ページ目で一般人バイバイです。テクニカルタームの嵐です。 ミリシタの話をするのならせめてフリガナを振ってくれよな！カタカナにも！ GAEってなんだろ〜(●・▽・●) Googleとあるように、天下のGoogle様が提供する「アプリケーションを運営するためのプラットフォーム」です。 本来何らかのサービスを運営するためには、アプリ本体を置くサーバーやそれを配信するためのインフラ環境、大量アクセスへの対応、セキュリティ対策、データ解析、そしてアプリ
（2018/2/26 追記）Datastore/Go のデータ設計のコツ - pospomeのプログラミング日記
僕の Datastore の記事は Cloud Datastore/AppEngine Datastore 時代のものなので、現在の Firestore の Datastore mode だと一部の内容が正しくないと思うので注意してください。(´・ω・`)— pospome (@pospome) March 24, 2021 Datastoreを使っていて、 ある程度コツとか注意点みたいなものが分かってきたので、 まとめてみました。 継続的に追記していく予定です。 間違っているところがあれば コメント or twitter で教えてください。 Datastoreの entity, kind などの用語は理解している前提です。 ParentKeyに気をつける Go では Filter による OR, IN 検索ができない 文字列に対する LIKE 検索がない 結局どんなクエリが発行できるのか
ぼくが かんがえた さいきょうの でーたすとあ らっぱー - Qiita
ソウゾウ社の社内勉強会Go Friday 第60回用の資料です。 本来Go Fridayでは資料作ったりとかの事前準備はせんでええわいということになってるんですが素手で「ええやんこれ〜〜」という感想を引き出せる気がしなかったので作りました。 go.mercari.io/datastoreの話です。 今日話すこと なぜ最強なのか。いかにして最強なのか。これからの最強。 ほしい理由 解決方法 実装方法(めんどいのでGo Friday中で口頭で説明) 設計上の判断と移行の注意点 これから実装する機能 Datastoreって何？ Googleのやつ。 appengineユーザなら誰しもお世話になってるはず。 ラッパがほしい理由 つらいこととかめんどくさいこととかが色々ありそれを解消したい。 →よろしい！ならば自分でラッパーを作るしかない！ つらポイント1 type PropertyLoadSave
Song of Cloud: テキスト部分一致検索(接尾辞の列挙)
App Engineでテキスト部分一致検索を紹介してみようと思います。 とりあえず新しい発見があったので、あまり効率的でない「接尾辞の列挙」という方法で実現してみます。 なお、サンプルコードは全てSlim3 Datastoreとデータストア低レベルAPIを利用して書かれています。 今回のエントリの内容は開発サーバ(1.2.6)で正しく動かないようです。試してみる方は、デプロイすることをお勧めします。 前方一致検索 App Engineのデータストア上で検索を行う場合、インデックスの「レンジスキャン」という方法で目的のエンティティが探し出されます。 これは、データストア上にソートされたインデックスエントリの開始位置と終了位置を指定して、その範囲全体を抜き出すイメージです。 これをうまく利用すると、テキストの「前方一致検索」が実現できます。 テキストはUnicodeの辞書式順序でソートされてい
Go+GAE+Cloud Datastoreで簡単なREST APIを構築 - Qiita
前回と同じ手順で、Eclipseのプロジェクトとして「hello_datastore」を作成。 コーディング開始 param.go まずはURLとして渡された文字列をパラメタに分解するパーサーを用意します。 3． http://localhost:8080/api/{種別}/{項目名}/{金額} でアクセスするとREST APIが使える 汎用的なものではなく、今回の目的である上記を満たすことに取ったしたパーサーを用意しました。 「特定のKeyを持つか」や「特定のValueを持つか」という用途はなかったので、KeyやValueそのものが存在するかのHas系メソッドだけ用意。 package hello_datastore import ( "net/url" "strings" ) // 今回のサンプルに特化した構造体。 // URLをパースし、必要な値を保持。 // ※handler系から
これで怖くない Datastore のトランザクション
Lv：20 Exp：76341 メカです。 Cloud Computer と Neural Network に興味があります。 ”トランザクション” 聞いただけで嫌厭する方も少なくないのでは？ Datastore のトランザクションに関して、 そもそも RDB のときからトランザクションってよく分からなかったってのにDatastoreになってますます混乱しそう いきなり Datastore から始てみたけど、トランザクションがよく分からない といったように”トランザクションうわぁ”と思ってしまってませんか？ そんなあなたの垣根を少しでも取っ払い、 Datastore を触ってもらえたらなぁという期待を胸に執筆しました。 Datastoreのコードと一緒にMySQLのクエリを並べ、さらに、開発でよく見かける６つのパターンに分けて、実装例と共に説明していきます。各パターンについて具体的な要件の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
go.mercari.io/datastore はいいぞ！ / go.mercari.io/datastore is pretty good!