大規模分散DBのCloud Spannerが、RailsのActive Recordに対応。スケーラブルで高可用なRubyアプリケーションの開発が容易に
Googleは、同社がクラウドサービスとして提供しているCloud SpannerをRailsのActive Recordに対応させるアダプタ「activerecord-spanner-adapter」が正式版となったことを発表しました。 Cloud Spannerは、Googleの多数のデータセンターにまたがる地球規模で大規模分散処理を行うリレーショナルデータベースです。事実上無制限とされる高いスケーラビリティと99.999％の高可用性を備えつつ、強い一貫性とトランザクション処理、SQLによるクエリなどを実装しています。 メルカリの決済サービスであるメルペイがバックエンドデータベースにCloud Spannerを採用し、数百万ユーザーの処理を行っているとされています。 このCloud SpannerをRailsのActive Recordのバックエンドデータベースとして使えるようにするア
RLSを用いたマルチテナント実装 for Django
RLSを用いたマルチテナント実装 for Django by Takayuki Shimizukawa 複数のテナント（チーム・組織）向けにサービスを提供するシステムで、テナント相互の情報を分離して扱う、複数のマルチテナントアーキテクチャが考案されています。「各プログラマが努力して実装する」戦略でも実現はできますが、プログラミングミスや設定間違いによるデータ混濁が高確率で発生します。このトークでは、マルチテナントアーキテクチャにおけるデータ分割アプローチのひとつ「共有アプローチ」をDjangoとPostgresのRow Level Security (RLS) の組合せで安全に実現する方法を紹介します。またこの方法のメリット、デメリットを紹介します。 https://djangocongress.jp/
PythonのORMライブラリsqlalchemyで利用可能なコネクションプーリングの実装について調べてみた | DevelopersIO
CX事業本部@大阪の岩田です。Python向けのORMライブラリsqlalchemyは標準でコネクションプーリングの実装が組み込まれており、create_engine()を呼出す際の名前付き引数poolclassの指定によってコネクションプーリングの実装を切り替えることができます。先日コネクションプーリングの実装について調べる機会があったので、内容をご紹介します。 環境 今回利用した環境です。 OS X 10.14.6 Python 3.8.2 sqlalchemy 1.3.16 pymysql 0.9.3 利用できるコネクションプーリングの実装 sqlalchemyは標準で以下のコネクションプーリングの実装を提供しています。 QueuePool NullPool SingletonThreadPool StaticPool AssertionPool 例としてNullPoolを使う場合は
Go vs Rust : 特徴量DBに適するのはどっち！？ (2020-04-14 実験追記) - ABEJA Tech Blog
ABEJA で Research Engineer をやっている中川です．普段は論文読んだり，機械学習モデルを実装したり，インフラを構築したりしています．今回のブログでは，Insight for Retail の一機能として提供しているリピータ分析に用いる特徴量DBの改善に向けた言語選定について紹介します． ※ たくさんの方々からのコメントありがとうございます．いただいた観点をベースに「2020-04-14 追記」以下に実験を追加しました． モチベーション リピート分析では，任意の特徴量をクエリに最も類似した特徴量を数100msec以内に検索する必要があり，一般的なデータベースでは実現することが難しいという課題がありました．そこで，われわれは python で独自のインメモリデータベースを実装し運用してきました．このデータベースがサービスの成長に合わせて限界を迎えつつあるので，アルゴリズム
VS CodeとPythonで作るFlaskアプリの構成を一巡り
連載「Visual Studio Codeで始めるPythonプログラミング」 前回は、データベースに保存されたデータをWeb APIを介してクライアントに返送する方法を幾つか示した。今回は、Flaskアプリの構成方法について見ていこう（タイトルとは裏腹にVisual Studio Codeの話題はほとんど出てこない）。 Flaskアプリの構成方法 Webアプリに限らず、アプリには構成（configuration）が必要になる。開発環境でデバッグ実行をしているのか、プロダクション環境で実行をしているのかなど、その実行環境によって、アプリの振る舞いを変更する必要があるからだ。 Flaskアプリでは、幾つかの方法でその構成を行える。一番簡単なのは、本連載で既に見てきたものだ。以下に例を示す（「VS CodeとFlask-SQLAlchemyでデータベース操作 」の「最小限のアプリ」より）。 f
テキストでネットワーク図を作ろう！nwdiag | DevelopersIO
nwdiagって何？ ブロック図生成ツール blockdiagシリーズの1つです。きれいな論理ネットワーク図を作成することができます！ 公式サイト(http://blockdiag.com/ja/nwdiag/introduction.html) 特徴 テキストベース 自動レイアウト SVG出力可能 インストール方法 Pythonで動き、Win・Mac・Linuxすべて対応しています。今回はMacでのインストール方法を紹介します。 Windowsの場合は事前にPythonのインストールを行ってください。2系、3系はお好みでどうぞ！ インストール 一行で簡単にインストール完了です。 pip install nwdiag サンプルコードを使って動作を確認します。 まず以下のファイルを作成してください。 sample001.nwdiag nwdiag { network dmz { addres
デブサミ2017「グランブルーファンタジーを支えるインフラの技術」講演メモ #devsumi - 元RX-7乗りの適当な日々
CAを離れて1年半。最近はどんな感じか知りたかったので聞いてきました。面白かったです。 グランブルーファンタジーを支えるインフラの技術 (株)Cygames 佐藤太志 氏 グランブルーファンタジーについて 特徴 スマホのRPG ブラウザゲーム 協力プレイ、マルチプレイ システム規模 登録ユーザ数1400万人 月間300億PV 100万query/sec 8万req/sec トラフィック12Gbps (CDN除く) システム構成 LBはBIG-IP CDNはAkamai HTTP/WebSocketがフロントインターフェース Web: Apache + mod_php + mysqli Node: Node.js + twemproxy DB: MySQL + MHA オンプレミス、仮想化環境は使っていない ネットワーク通信量が非常に多い 低レイテンシを求められている ハイパフォーマンスを実
必要なのはブラウザだけ。Python使ったWebサービス構築（処理を書いてみよう編） - 今日学んだこと
前回の続きです。前回までで画面を表示するところまでできたので、 ・画面から値を受け取る ・受け取った値をDBに格納する ・DBの値を画面に出力する と、アプリとしての基本動作ができるようにします。 ＜前々回＞ ＜前回＞ やっぱりタイトルって重要ですな・・・ 画面からの値を受け取る 前回は素のHTMLを書いただけだったので、値をサーバーに飛ばせる様にします。formのプロパティとしてPOSTを指定してあげます。 ＜参考：GETとPOST＞ 画面からサーバーに値を渡す方法として、主に2通りあります。それがgetとpostです。 getは、URLに値を含めてしまう方法。http://hoge.com/?foo=varといったようなURLを見たことがあるかと思います。foo=varの部分が値ですね。foo項目の値はvarだよ、みたいな。 メリットとしては、値をURLとして指定できるのでリンク張る時
SQLite + Pythonユーザ定義関数組込で進捗ダメじゃないですになりました - あんちべ！
概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLite→Pythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモを残しておきます。 特にユーザ定義関数の組込を自由に出来ると、 分析する際、相当楽になるということに気付きました。 SQLite挟むことで何がどう改善されたの？ Hiveはデカいデータをゴリゴリ取ってくる分には SQLちょっと書くだけで済むので大変便利ですが、 初動遅いためちょこちょこ小さいデータを何度も取ろうとするとストレス溜まります。 そのため、これまではある程度のデータをまとめてHiveで落としてきて Pythonで加工してから分析するという流れを取っていました。 ただ加工するために似たようなコード何
Flask と Alembic とテスト - build error
Flask と SQLAlchemy で Web アプリをつくるとき きちんとテストを書きたい→Application Factories Pattern を使う DB もきちんとバージョン管理したい→Alembic を使う という前提で、さらに Alembic の version ファイルと SQLAlchemy の declarative なモデルに同じようなテーブル定義を書きたくない。つまり version ファイルに def upgrade(): op.create_table( 'users, sa.Column('id', sa.Integer, primary_key=True), sa.Column('username', sa.String, nullable=False) )
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
分割と整合性と戦う