Googleドライブでデータベースが使えるという衝撃 | 非IT企業に勤める中年サラリーマンのIT日記
Googleドライブ上でFusion Tablesというデータベースが使えます。Google Apps Script（GAS）で制御できるのと、それを介してスプレッドシートと連携できるのでとても便利です。今回はFusion Tablesの導入から認証方法、GASからの制御方法（今回は簡単にSELECT文からの読み込みのみ）について書き留めておきます。Fusion Tablesの導入Google Drive上の「アプリの追加」からFusion Tablesを探して有効化します。登場してから数年経ちますがまだ（試験運用）のままですね。 有効化すると新規メニューに現れるのでクリックして起動し... いろいろアプリを導入できるらしいのですが、その中から、「Fusion Tables（試験運用）」を選びます。まだ試験運用みたいですね。 導入するとメニューに現れます。それをクリック。 以下の画面が現れ
MySQL5.7 / RDS / Aurora / Cloud SQL の性能比較 | 外道父の匠
CloudSQLの価格は実戦的という意味で、per Dayの価格を24hourで割った価格にしています。 メモリは2GBあれば検証としては十分なので格差は関係ありません。 IOPSはEBSならGeneral Purposeの1000GB*3で最大確保しています。 その他、ネットワーク周りなどポイントがあれば都度、補足していきます。 ベンチマークのデータ 今回、採取した全データはこちらになります。一部、目的に対して不要と判断したら省略しています。まぁ、こんなオレオレメモデータを見ても楽しくないでしょうから、１つ１つ考察していきましょう。 手法について 私がよくやる計測方法なのですが、innodb_buffer_pool_size がデータ容量より大きい健全な状態と、最小の16MBで過負荷ストレージを演出し、それぞれで参照／更新を別々にランダムアクセスをすることで、最初のボトルネックを炙り出し
Webシステムにおけるデータベース接続アーキテクチャ概論 - ゆううきブログ
先月投稿した2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャを学ぶ道のりと代表的な実装モデルの概要を紹介しました。 今回は、前回同様、主に新卒Webエンジニア向けに、Webアプリケーションサーバとデータベースサーバ間の接続管理モデルと運用事情について紹介します。 データベース接続の永続化やコネクションプーリングとは何なのか、なぜ必要なのかといったことが主な話題です。 背景 データベース接続の永続化とはなにか データベース接続のオーバヘッド データベース接続の永続化手法 コネクションプーリングとはなにか コネクションプーリング: ドライバ型 コネクションプーリング: プロキシ型 コネクションプーリング全体について PostgreSQLとMySQL 参考資料 まとめ 背景 2015年Webサーバアーキテクチャ序論では、Webサーバアーキテクチャの話とWebアプリケーショ
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 － Publickey
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし
VOYAGE GROUP エンジニアブログ : MongoDBのGUIツールを比較してみた
2014年06月16日16:52 カテゴリDBtool MongoDBのGUIツールを比較してみた みなさんこんにちは。 (株)adingoでprivate DMPと呼ばれるcosmi Relationship Suiteの開発をしています。 @tana_raことあらたです。 世の中にはアルファベット３文字が溢れていて混乱しますよね。AWSと広告業界が混ざるとカオスです。 AWSとかEMRとかSSPとか。DMPもその一つですね。 ちなみにDMPはData Management Platformの略です。 ところでcosmiでは、データの管理にMySQLとMongoDBを利用しています。 私は開発時にはMySQLのGUIツールをよく利用するのですが、 MongoDBのGUIツールってあまり聞かないなと思ったので探してみました。 今日は触ってみたMongoDBのGUIツールを紹介してみたいと思
Goozzee - 皆でシェアできるナレッジデータベース
自分や組織のナレッジを体系化する際に役立つのがデータベースです。より汎用的で、検索ができるようなデータベースが用意できれば、様々な情報を体系化して管理したり、他の人たちとシェアすることができます。 Wikiのような形で管理することもできますが、今回はスタンドアローンで動作するGoozzeeを紹介します。 Goozzeeの使い方 Goozzeeは情報をメタで管理しており、フィルタリングした上で表示/編集できます。データベースに入っていれば、GoozzeeではないUIからも操作できますし、他の人もGoozzeeを使ってデータにアクセスできます。 サンプルデータではオペラの情報をデータベース化しています。そういった用途に使えそうです。 GoozzeeはWindows/Mac OSX/Linux用のオープンソース・ソフトウェア（GPL）です。 Goozzee Homepage Goozzee |
PostgreSQLはもはやただのデータベースにあらず ─PostgreSQLカンファレンス2013 基調講演レポート | gihyo.jp
PostgreSQLはもはやただのデータベースにあらず ─PostgreSQLカンファレンス2013 基調講演レポート Not so much as a database as a data Platform（単なるデータベースを超えたデータプラットフォームとしての存在） ─11月8日、都内で開催された「PostgreSQLカンファレンス2013」（主催: 日本PostgreSQLユーザ会）の基調講演に登壇したHeroku開発者のピーター・ゲーガン（Peter Geoghegan）氏はPostgreSQLをこう表現しました。 来年には次バージョンのPostgreSQL 9.4のリリースが期待されていますが、ゲーガン氏の言う"データプラットフォーム"としてPostgreSQLはどのような進化を遂げようとしているのでしょうか。本稿ではの基調講演の内容をもとに、PostgreSQLの次なる
SQLアンチパターン - ナイーブツリー
社内勉強会資料 追記: 2013-10-31 ついったで指摘( https://twitter.com/akuraru/status/395822183777202176 )を受けたので入れ子集合のノード追加の説明の所を修正しました。Read less
VOYAGE GROUP エンジニアブログ : PerlのO/Rマッパ、 Teng の便利な使い方のご紹介
2013年08月01日09:54 カテゴリprogramming PerlのO/Rマッパ、 Teng の便利な使い方のご紹介 こんにちは、Research Panel Asiaの大山です。 今回は、Perlで最近ホットなO/Rマッパ、 Teng の便利な使い方を共有いたします。 みなさんは、 sqlite> .tables user_log_2013_03 user_log_2013_04 user_log_2013_05 user_log_2013_06 user_log_2013_07 user_log_2013_08 こんな要領で、定期的にDBにテーブルが作られていくような仕組みを見たことはあるのでしょうか。 最近のMySQLでは著しくパーティショニング機能が改善されていますが、少し前のバージョンを使用していると 制約と制限 の都合で選びにくかったり、テーブルが巨大になるとスキーマの
chef で mysql のユーザやデータベースを管理する - Hack like a rolling stone
以前、ある環境のデータベースを作ったときは、忙しくて手が回らないという理由で ユーザやデータベースのセットアップは script リソースを作ってえいやと済ませてしまった tk0miya です。こんにちは。 今回はすべて community cookbook で環境を作る方法をまとめてみました。 やり方が分かってしまえばシンプルに実現できるので、泥臭く script リソースを作らずに済みそうです。 鍵は database cookbook ユーザやデータベースを作るレシピが mysql cookbook に入っていないため、 公式には提供されていないものといままで諦めていたのですが、 調べてみると mysqll cookbook ではなく database cookbook でリソースが提供されているようです。 以下、README の説明です。 The main highlight of
インメモリデータベース「MemSQL 2.0」公開。数百ノードへスケールアウト可能で大規模データベース対応へ － Publickey
データベースをまるごとメインメモリ上で処理することにより、従来のハードディスクベースのリレーショナルデータベースよりも劇的な高速化を実現するインメモリデータベースであるMemSQLの最新版「MemSQL 2.0」が公開されました。 MemSQL 2.0はインメモリのスピードとSQLでの問い合わせ、スケールアウト機能、そしてエンタープライズ対応の可用性など、4つの特徴を持つと説明されています。 In-memory architecture Ad hoc SQL-based analytics Horizontal scale-out on commodity hardware Enterprise-grade durability and high availability スケールアウトでデータウェアハウスに対応 MemSQL 2.0はインメモリデータベースの特徴である高速な処理に加えて、
MySQL/SQLiteのER図を描くPHPスクリプト·mysqlviz MOONGIFT
mysqlvizはMySQL/SQLiteの構造を可視化するライブラリです。 DBを使ったシステムを構築していると必要になるのがER図ではないでしょうか。そんなER図を実際のデータベースのダンプファイルをベースに描き出すのがmysqlvizです。 ヘルプです。 まずdotファイルを生成します。 さらにdotファイルをpngに変換して得られた結果です。 mysqlvizはMySQLとSQLiteに対応しています。MySQLの場合はダンプファイル、SQLiteの場合は実際のデータベースファイルを読み込んでdotファイルを出力します。後はGraphvizを使ってPNG画像に変換する仕組みになっています。 mysqlvizはPHP製、GPL v3のオープンソース・ソフトウェアです。 MOONGIFTはこう見る mysqlvizの面白いところはMySQLについてはダンプファイルを使っているということ
ありがちなデータベース設計を共有することができる『DB Patterns』 | 100SHIKI
これまたマニアックな苦笑。 DB Patternsでは、ありがちなデータベース設計を共有することができる。 フォトアルバムだったらこういうテーブルがあって、こことこのキーが共有されるとかなんとかをグラフィカルに見ることができる。 まだ投稿も少ないし、いろいろ突っ込みどころもあるのだが、初心者のうちは確かに悩むところだし、便利なサービスではなかろうか。 ユーザー登録をするとすでにあるパターンをForkしたり、新しく作ったりもできるようだ。興味がある方はどうですかね。
読書メモ＋tips＋日記:[Ruby] ActiveRecord を単体で(Railsアプリの外で)使う - livedoor Blog（ブログ）
・ 読書メモ： 基本的に読み終わったもののみ載せる (読みかけとか途中で飽きたものを含めるとキリがないから) ・ Tips ： 作ったスクリプトとかTips (WSH, JScript, Perl, Ruby, Rails, UNIXコマンド他) ・ 日記 ： 自分が思ったことの覚え書き的に Railsで使われている O/Rマッピングのライブラリ「ActiveRecord」は、単体でも(Railsアプリの中じゃなくてもという意味)使えます。 DBの参照/更新をするためのコードが とても短く簡単に書けるので、テストデータ投入とかバッチ処理を作るのに気軽に作れて良いかもしれません。 Railsでテストデータを入力/編集するための画面を作ったり(、うっかり凝ったものにして無駄に時間がかかったりしたり)、ActiveRecordでバッチ的な役割のプログラムを書いたりすることで、
データベース負荷テストツールまとめ(5) - SH2の日記
というわけで、JPOUG> SET EVENTS 20120721 | Japan Oracle User Groupに参加して発表をしてきました。通常の勉強会と比べて発表者と聴講者の一体感を増すための工夫がなされていて、とても良かったと思います。有限コーヒーかと思ったら無限ビールだったのも驚きです。JPOUGの運営メンバのみなさま、会場を提供してくださった日本オラクルのみなさま、当日お越しいただいたみなさま、どうもありがとうございました。 私のセッションでは、データベース負荷テストツールまとめ(5)と題して過去4回分のまとめと自作ツールの紹介をさせていただきました。JdbcRunnerはOracle Database、MySQLとPostgreSQLの間でTPC-BとTPC-Cの性能比較ができる唯一のオープンソースソフトウェアですので、いろいろ試してみていただければと思います。試した結果
SQLite のパフォーマンスチューニング、または DBIx::Sunny 0.16 の話 - blog.nomadscafe.jp
GrowthForecastがMySQL対応したきっかけとしてSQLiteのdead lock問題があったのですが、PRAGMAでチューニングするとパフォーマンスが結構変わることがわかったのでメモ。 やったのは、journal_mode と synchronous の変更。それぞれ > PRAGMA journal_mode = DELETE | TRUNCATE | PERSIST | MEMORY | WAL | OFF > PRAGMA synchronous = 0 | OFF | 1 | NORMAL | 2 | FULL のような感じで変更できる。 それぞれの設定は、 PRAGMA Statements - synchronous PRAGMA Statements - journal_mode をみるのが良いと思う。journal_mode に指定できるWALについては次のペ
DBIx::Tracer 書いた - tokuhirom's blog
https://github.com/tokuhirom/DBIx-Tracer/ https://metacpan.org/release/TOKUHIROM/DBIx-Tracer-0.02/ DBIx::QueryLog が便利でよくつかってるんだけど、なんかこう、立てまししまくった家みたいなコードになってて、ハウルの動く城のようになってしまっていて、ログをだしたいなーってときとかにはがんばってオプションをしらべたら便利なんだけど、単にクエリを集めたいときとか、自分でいろいろ条件を指定して草薙葵ばりのプロファイリングを行いたいときなどにはちょっと不便な気がしなくもなかったので、DBIx::QueryLog のうち、トレースする機能の部分だけぬきだしたモジュールを書いてみた。 ほとんどコピペですが、使いたい人はつかってください。使いたくない人は使わないでいいとおもいます。 久々にブログ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CVE Database - Security Vulnerabilities and Exploits | Vulners.com
InfluxDB | Real-time insights at any scale | InfluxData
削除フラグのはなし
