TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ! Amazon AuroraはAWSの中で利用可能なマネージド(=運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適用したりなどなどセールストー
As a combined multi-model DBMS and Data Virtualization platform, Virtuoso enables fast and flexible integration of data across APIs, Various Data Formats, and DBMS platforms without compromising security, performance, or deployment platform options. OpenLink Virtuoso is an innovative platform that intertwines open standards for Data Access, Integration, and Management with the transformative poten
以前のencodingは sjis(cp932)やらeuc-jp等、作るものによってバラバラでしたが、utf8に統一されるようになってきたので、備忘として書いておきます。 http://search.cpan.org/perldoc?DBD::mysql 以下のようにdb接続時に mysql_enable_utf8 を指定すれば、perl-mysql間の文字列をフラグ付utf8に統一できます。 #!/usr/local/bin/perl use strict; use warnings; use utf8; use DBI; use Encode; use Data::Dumper; my $CONF_DB = {host => "localhost", port=> "3307", db_name=> "test_db", db_user=> "test_user", db_pass=>
「元ここギコ!」さんのFacebook書込みに触発されて、GeoHash の仕様が掲載されているWikipediaのページを久しぶりにじっくり見てみた。 GeoHashとは、緯度経度の位置情報を表すコードで、短い文字列で場所を表すことができるため、Twitterのジオタグなどに使われてることが多い。 この種の位置情報コードは、現在私が把握しているだけで全世界に24種類ある。私自身も位置情報コードを発明して特許を取ったことがある。(このブログのタイトル「ロカポ」はその位置情報コードの名前。現在はロカポv2にあたる LP-Address を無償公開)。それ以来、位置情報コードの情報は常に収集していて、「位置情報コード百科 - GEOCODE Encyclopedia」というドキュメントをつくったり、大学で論文として発表したりしている。 で、本題に戻ると、GeoHashのエンコーディングの手順が
ツイッターで http://blog.opengeo.org/2012/03/06/postgis-2-0-new-features-typmod/ が流れてきてました。 この文自体は読んでないのですが、PostGIS 2.0 から GEOMETRY型の Typmod になってるぜ、というものです。 AddGeometryColumns 使わなくていいようになった Typmod というのは、つまるところ… CREATE TABLE foo ( gid SERIAL PRIMARY KEY, geom GEOMETRY(Point, 4326) ); …でジオメトリカラムの生成が可能になるというもの。 以前は… CREATE TABLE foo ( gid SEIRAL PRIMARY KEY ); SELECT AddGeometryColumn('foo','geom',4326,'PO
PostGIS 2.0がbetaになりました。機能凍結したことですし、人柱さんならずとも試していい頃ですよ多分。 目玉機能は raster と topology のサポートですよねやっぱり。ラスタっていうとアカデミックな人たちがGRASSとかでなんか難しいことしてるようなイメージがあって(私だけ?)とっつきづらい感じがありましたが、使いなれたPostGISならなんとか扱えないこともないような気がしてきましたよ。 というわけで、PostGIS Rasterで奈良湖を書いてみようと思います。 奈良盆地は遺跡や古寺古社がみっしりあるようなイメージがあるかもしれません。実は奈良盆地中心を流れる大和川の周辺にはあまり古代遺跡や祭祀の形跡がなく、古いものは山辺の道や矢田丘陵周辺など少し高いところに集中して分布しています。これは、奈良盆地の中心に大きい湖があったからだ、と言われてます。 誰も興味もたなさ
プログラミング言語Clojureの作者Rich Hickey氏率いるClojure HackerのチームがDatomic(デートミックと発音するらしい)というデータベースをリリースしました。これが何やらとてつもないです。10年先を行ってる技術じゃないでしょうか。 まだ本番サービスは始まっていませんが開発環境用のライブラリが配布されています。 Datomicは斬新なアーキテクチャなので一言で説明するのはとても難しいです。 私が理解できたことを簡単に説明します。 2014/1/20追記 ライセンスモデル、サポートストレージ、サービスとしてではなく独立して使用する形になるなど記事作成時の内容から色々変更が合った部分を更新しました。 変更不可なAppend-onlyデータベース 従来のデータベースで、あるレコードを変更するというのはそのレコードに対応した場所があり、そこのデータを書き換えるというこ
以前AmazonRDSでslow queryを出力するようにする方法にてRDSでslow_logを出力するように設定すると、mysqlデータベースのslow_logテーブルにログが保存されるようになるのですが、このテーブルに保存されたデータは、RDSで作成できるユーザーの権限では削除することができません。 mysql> delete from slow_log; ERROR 1556 (HY000): You can't use locks with log tables. mysql> truncate table slow_log; ERROR 1044 (42000): Access denied for user 'xxxx'@'%' to database 'mysql' このことはgeneral_logにも言えるのですが、 これに対して、Amazonから以下のストアドプロシージ
こんにちはインフラエンジニアの柳瀬です。 今回の内容は少しエントリー向けの内容になるかと思いますが、既存環境のMySQLからRDSへ移行するテストについて記載したいと思います。 オンプレミスの環境でMySQLを使用されている方は多くいらっしゃるかと思いますが、そういった方がRDSへ移行される事を検討した際に何かしらの参考になりましたら幸いです。 今回はEC2上のCentOSにMySQLをインストールして10GBのテストデータを投入しました。 こちらのデータをRDSに移行したいと思います。 ※RDSデータベースの作成方法はこちらのリンクをご覧頂けると分かりやすいと思います。 まず考える事がmysqldumpコマンドの--all-databasesオプションを使用して一気に移行する事ですね! これを実施すると以下のようになります。 # mysqldump -u root -x --all-da
今年後半の個人的おススメはrasterliteでした。 簡単な使用方法、注意点をまとめておきます。 色々オプションはありますので、マニュアルはご一読をお勧めします。 rasterlite-man.pdf rasterliteとは SQLiteは1ファイルデータベース。 SQLiteを空間情報を扱えるように拡張したのがspatialite。 spatialiteに位置情報付きの画像データを取り込めるようにするのがrasterliteになります。 rasterliteは内部でタイルに分割して画像データを持ちます。 またピラミッドを作成する機能を持っているので、大容量画像データの閲覧速度を改善することが出来ます。 spatialiteインストール まずはspatialiteが必要です。 コンパイル済みの実行ファイルを持ってきてしまいましょう。 http://www.gaia-gis.it/spa
今回は Advent Calendar 特別企画だ http://atnd.org/events/23085 参照。 http://d.hatena.ne.jp/waigani/20111210 とか http://d.hatena.ne.jp/wata909/20111211 が先行していて、ハードルが高まっていってるわけですが、気にしたら負け。 なので、いつものに近いようなことを書くことにしました。 ならいっそのこと「いつも通り」と称して、既に書いているエントリの日付を変えとこうかとも思いましたが、いやそんなことしたらさすがにマズいだろと思ったのですが、そんなに見られてないだろうから気づかれない可能性がかなりあるとも踏みましたが、えー、これ、本当に新規のエントリです。本当です。 それと、さすがに完全な個人メモではアレなかんじもするので、ほかの方が読まれるだろうことを、多少は考えて書くこ
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く