なぜAWS LambdaとRDBMSの相性が悪いかを簡単に説明する - Sweet Escape
2020/01/20 Update: 本エントリの内容は2019年12月3日にアナウンスされた『Amazon RDS Proxy』のリリースにより完全に陳腐化しました。過去のアンチパターンがフィードバックをもとにした改善によってアンチパターンではなくなるという最高の事例です。 サーバーレス元年始まった！ 今年がサーバーレス元年な理由. それはLambdaに以下が揃ったから. ・カスタムランタイムで実質どんな言語でも利用可能 ・VPC利用時のコールドスタート改善 ・Provisioned Concurrencyでスパイク対応も可能 ・RDS ProxyでRDBとの接続が現実的に これまで5年で受けたフィードバックがついに結実. 強い— Keisuke Nishitani (@Keisuke69) 2020年1月19日 RDS Proxyの詳細はこちらからどうぞ。まだプレビューですがぜひ試して
Nice to meet you Aurora!!
Amazon Aurora 東京ローンチイベント 10/Nov/2015 発表資料 - RDS for MySQL から Aurora への移行に関する共有 事前に読んでおくべき資料 - Amazon re:Invent (DAT405) Amazon Aurora Deep Dive http://www.slideshare.net/AmazonWebServices/dat405-amazon-aurora-deep-dive - AWS Black Belt Tech Webinar シリーズ 2015 - Amazon Aurora http://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-2015-amazon-aurora - RDS for AuroraとRDS for MySQL5.6のPar
MySQL5.7 / RDS / Aurora / Cloud SQL の性能比較 | 外道父の匠
CloudSQLの価格は実戦的という意味で、per Dayの価格を24hourで割った価格にしています。 メモリは2GBあれば検証としては十分なので格差は関係ありません。 IOPSはEBSならGeneral Purposeの1000GB*3で最大確保しています。 その他、ネットワーク周りなどポイントがあれば都度、補足していきます。 ベンチマークのデータ 今回、採取した全データはこちらになります。一部、目的に対して不要と判断したら省略しています。まぁ、こんなオレオレメモデータを見ても楽しくないでしょうから、１つ１つ考察していきましょう。 手法について 私がよくやる計測方法なのですが、innodb_buffer_pool_size がデータ容量より大きい健全な状態と、最小の16MBで過負荷ストレージを演出し、それぞれで参照／更新を別々にランダムアクセスをすることで、最初のボトルネックを炙り出し
DynamoDBによるソーシャルゲーム実装 How To
This document summarizes a microservices meetup hosted by @mosa_siru. Key points include: 1. @mosa_siru is an engineer at DeNA and CTO of Gunosy. 2. The meetup covered Gunosy's architecture with over 45 GitHub repositories, 30 stacks, 10 Go APIs, and 10 Python batch processes using AWS services like Kinesis, Lambda, SQS and API Gateway. 3. Challenges discussed were managing 30 microservices, ensur
論理削除が奪うもの
論理削除が奪うもの JPOUGのAdvent Calendar 12/10担当です。 12月 - 忘年会シーズンです。酒で記憶を失っている際に、怒ったとか、近くにいた人にカラんだとか、脱いだとか、毛を燃やしたとか、エレベーターホールにズボンが脱ぎ捨てられていたとか、会議室で靴が発見されたとか、そういう事件が多発する月ですね。皆様いかがお過ごしでしょうか。 微塵も記憶がない状態で、やらかした内容を色々な人から聞かされるにつけ、穴を掘って蓋してセメントで埋めてもらいたくなるのは常ですが、こういう時はどんな対処を取ればいいんでしょう。 得てしてロクでもない行動を取った時の翌日における参加者の記憶力の良さと来たらFlight Recorderも真っ青です。 なんとか失敗を無かったことにしたいと立ち回りたいですが、まあ無理です。各所にヒアリングを重ねれば重ねるほど確度と精度が高まります。エビデンスま
MongoDBの薄い本
2.6対応版 MongoDBの薄い本 The Little MongoDB Book Karl Seguin 著 / 濱野 司 訳 i 目次 目次 i この本について iii ライセンス . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii 著者について . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii 謝辞 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii 最新バージョン . . . . . . . . . . . . . . . . . .
MySQLでサービス停止のないALTER TABLEの検討 - SH2の日記
MySQLでテーブルへのカラム追加、インデックス追加やテーブルの再編成などを行うと、その間テーブルに共有ロックがかかってしまいます。そのためこれらのメンテナンス処理は、通常利用者の少ない深夜早朝帯にサービスを止めて実施する必要があります。本日はそれを無停止、オンラインのままでできないかという話題です。 基本的なアイデア メンテナンス対象の元テーブルをコピーして、作業用の仮テーブルを作ります 仮テーブルに対して、カラム追加などの変更を加えます その間、元テーブルに対して行われる更新処理について差分を記録しておきます 仮テーブルの変更が終わったら、記録しておいた差分データを仮テーブルに反映します 差分データの反映が終わったら、元テーブルと仮テーブルを入れ替えます これと似たようなことを考えた方は結構いらっしゃるのではないでしょうか。ただ、言うは易し、行うは難しです。整合性がきちんと取れるかどう
kumofsをベースにRDBMS用ストレージエンジンって作れないものか | 独り言v6
まだ自分でインストールして確かめていないが、kumofsに興味津々である。何が興味深いかというと、まあスケーラブルで且つ耐障害性に優れるところだ。もちろんそれだけなら分散KVSということである程度予想された機能である。個人的な興味としては「この種のKVSを使ってRDBMSもどきが作れないか」というところにある。 この構想は 超 並列RDBMSは成立するか – L.star的デザイン（１） でずいぶん前から暖めているものであるが、ここでいうリソースノードをkumofsで代用できないかというものだ。引用して、機能的な実装の必要でないものを除くと リソースノード storage engineである DDL的には、テーブルスペースに近い位置づけとして定義可能であると考えている。 sequential scan, index scan, seq scan+sortを行い、その結果を返すDBである。M
型なしDataSetと型付DataSet、そして片想いORマッピング的な何か。 - Bug Catharsis
ネタ元 山本大＠クロノスの日記 - アンチ型付DataSet派の自作ORマッピングより なぜ型付DataSetを使うのか、型なしDataSetは使わないのか 型付DataSetについては、嫌な思い出も少なくないので不満がないわけでもないのだけど、 常識的に考えて「型付DataSetを使うべきだよね。*1」というのは、もちろん知識として知っているつもり。 その理由は大きく３つあって、まずIDEのインテリセンスによってプログラミングの効率化が期待できること。 そして、コンパイル時に型チェックが行われるため、実行時の型変換エラーを未然に防げること。 また、コンパイル時に型が決定されているため実行時の列へのアクセスパフォーマンスが向上すること。 いずれも、システム開発をする上では生唾モノのおいしいメリットであるから、部分的に型なしDataSetを利用することはあるものの、 なるべく型付DataSe
アンチ型付DataSet派の自作ORマッピング - レベルエンター山本大のブログ
VisualStudio2005を使ってるが、 「型付DataSet」にはいろいろ不満がある。 自動的に作られるのはいいけど、 接続文字列まで内部に持ってたり、 時々壊れて、XSDビューで開けなかったり、 TableAdapterに書き込んだクエリの メンテナンスをしようと思うと、 いちいち、重たいXSDビューを開かなくてはならずイライラする。 また、TableAdapterを必死につくったのに、DBスキーマの変更があったときには結局コンバートできず ウィザードやら、プロパティビューやらをこつこつ叩いて作り直した。 メモリ上のデータの保存場所としても普通のDataTableのほうが使いやすい。 例えば、一意制約が邪魔になることも多かった。 正直、もう２度とごめんだとおもった。 （たとえ、僕の作り方が悪かったんだとしても。。。） ただ、データを型付きのオブジェクトで扱えるのは嬉しい。 結局、
ORマッピングの比較 - しがないプログラマ の日記
JavaのORMライブラリの使い勝手の比較をしてみました。と言っても、とりあえずSelectとInsertするだけのものです。導入を考えた時の最初の設定がどの程度違うのかを比較するためのものです。 比較対象は、以下の５つになっています。 ActiveObjects Hibernate EclipseLink OpenJPA S2JDBC iBATIS 開発はEclipseで行う前提で、IDEのサポート範囲も含めて調査しました。 ここで扱うデータの論理構造は以下のようなものとします。 ユーザマスタ ユーザID(PK),パスワード,ユーザグループID(FK) ユーザグループマスタ ユーザグループID(PK) ここで各IDは文字列を想定していますが、ORMによってはPKに任意の値が使えない場合があるのでその場合には「ユーザ名」などの別の列に名称を入れることとする。 詳細は別の日に書いてあります。
CayenneでORマッピング
ORマッピングです。いいらしいよ。 詳しいこととかダウンロードはここで。 http://objectstyle.org/cayenne/ Hibernateとの比較ですが、CayenneのサイトからのリンクではCayenneの方がいいってことになってます。 そのあと議論が続いてるらしい。 ようするに、どっちでもいいんじゃないかと。 XDocletがいいか(Hibernate)、ツールがいいか(Cayenne)、かな。 あとHibernateはPOJO、つまり単純なJavaのオブジェクトにマッピングするので、ラップが薄い感じです。 Cayenneの場合は、DataObjectを継承したクラスのオブジェクトにマッピングします。 すべてをオブジェクトで扱う前提になっているので、使いづらいことがあります。 ※外部ツールのサポートを考えると、Hibernate
Cayenne memo - Unofficial DB2 Wiki
*Cayenneとは？ - [[Cayenne>http://www.objectstyle.org/cayenne/]]は、O/R Mapping Tool/Libraryの一種 - [[ライセンスはOpenSource>http://www.objectstyle.org/cayenne/license.html]](The ObjectStyle Group Software License, version 1.1) - Modelerと呼ばれるGUIが秀逸 - DB2,Derby(Cayenne 1.2から)他、多くのRDBMSに対応している *大まかな作業の流れ **A. DB側を先に作成して、Java側に反映させる場合 + DBMS上で表を作成する。リレーションも作成する + Cayenne Modelerを起動し、DataDomainを作成 + DataDomain上に、D
activeobjects: ホーム
Description ActiveObjects is an intuitive, pure-Java ORM. AO is designed from the ground up to be extremely simple and easy to use from an API standpoint. AO can be used with either an existing database schema, or it can auto-generate the database schema from the user-specified entity interfaces. ActiveObjects also supports Rails-style database migrations, allowing incremental changes and refac
ActiveObjects: An Easier Java ORM
Daniel Spiewak, the newest Javalobby editor, is also a Java developer and system administrator. He has over 7 years of experience in the field and specializes in UI design and peer-to-peer networking. Java is absolutely full of Object Relational Mapping frameworks. Obviously Hibernate is the first which comes to mind, but also high on the list would be the likes of iBatis, Beankeeper, etc. In shor
MySQLのEXPLAINを徹底解説!!
以前、MySQLを高速化する10の方法という投稿で「EXPLAINの見方についてはいずれ解説しようと思う」と書いてしまったので、今日はその公約？を果たそうと思う。 MySQLのチューニングで最も大切なのは、クエリとスキーマの最適化である。スキーマの設計は一度決めてしまうとそのテーブルを利用する全てのクエリに影響してしまうためなかなか変更することは出来ないが、クエリはそのクエリだけを書き直せば良いので変更の敷居は低い。そして遅いクエリをなくすことは、性能を大幅に向上させるための最も有効な手段である。従って、アプリケーションの性能を向上させたいなら、まず最初にクエリのチューニングを検討するべきなのである。 最適化するべきクエリはスロークエリログやクエリアナライザで見付けられるが、ではそのようなクエリが見つかった場合にはどのように最適化すればいいのか？そのためにはまず現在どのようにクエリが実行さ
JavaとMySQLの組み合わせでUnicodeのU+00A5を用いたSQLインジェクションの可能性
補足 この記事は旧徳丸浩の日記からの転載です（元URL、アーカイブ、はてなブックマーク1、はてなブックマーク2）。 備忘のため転載いたしますが、この記事は2008年12月22日に公開されたもので、当時の徳丸の考えを示すものを、基本的に内容を変更せずにそのまま転載するものです。 補足終わり 今年のBlack Hat Japanには、はせがわようすけ氏が「趣味と実益の文字コード攻撃」と題して講演され話題となった。その講演資料が公開されているので、私は講演は聞き逃したが、資料は興味深く拝見した。その講演資料のP20以降には、「多対一の変換」と題して、UnicodeのU+00A5（通貨記号としての￥）が、他の文字コードに変換される際にバックスラッシュ「\」（日本語環境では通貨記号）の0x5Cに変換されることから、パストラバーサルが発生する例が紹介されている。 しかし、バックスラッシュと言えばSQL
memcached活用は、格納オブジェクトの”粒度”がキモ
最近じゃmemcachedを活用してデータベース(RDB)の負荷を下げるって話、そこらじゅうから聞こえてくるけれど、memcachedの活用は、格納オブジェクトの”粒度”（granularity）がキモだと思ってます。 memcachedは、KeyとDataをペアで格納して、Keyが与えられると、関連付けられたDataを返すだけのシンプルなシステム。PerlやPHPの連想配列と同じ。このmemcachedをRDBのキャッシュとして活用してやる場合、memcachedに格納するキャッシュデータの単位、”粒度”をどう設計するかが重要になってくる。 RDBの場合、格納されるデータはRow(レコード)単位。じゃぁキャッシュもRow単位で作ってやればいいのかといえば、それではうまくいかないケースもたくさんある。RDBでは専用の問い合わせ言語であるSQLを使って、 SELECT * FROM hoge
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DB tech showcase： 噂のMongoDBその用途は？
http://www.usol-v.com.vn/UsolV.dotNETCenter.OfficialSite/TechnicalDocuments/ADO.NET_2.0/Default_ja.htm