SQLite Internals: Pages & B-trees
SQLite Internals: Pages & B-trees Author Name Ben Johnson @benbjohnson @benbjohnson Image by Annie Ruygt Fly.io runs apps close to users around the world, by taking containers and upgrading them to full-fledged virtual machines running on our own hardware around the world. Sometimes those containers run SQLite and we make that easy too. Give us a whirl and get up and running quickly. Ok, I’ll admi
もう二度と、絶対にMongoDBを使うべきじゃない理由
MongoDBは悪だ。なぜならそれは… …データを無くす（ソース：1、2）。 …実際、長期間、デフォルトでエラーを無視し続け、何があってもすべての単一書き込みが成功したとみなした（ 32ビットのシステムで3GBかそこらを使用したら、MongoDBの制限によって何の警告もなしに全データを失うことになった）。 …宣伝していたユースケースでですら遅く、これが早いと主張するには完全に証拠に欠けている（ソース：3、4）。 …ほぼ全てのユースケースで、暗黙のスキーマという悪しき習慣を強要してくる（ソース：4）。 …ロッキングに問題がある（ソース：4）。 …セキュリティの問題になるくらい、応答時間が酷く遅い。求めてきた人全員に認証なしで全データをさらしてしまうという危険なデフォルト設定をパッチするのに2年かかった（ソース：5）。 …ACID特性に準拠していない（ソース：6）。 …拡張やメンテナンスをする
[DB設計]汎用区分マスタについて
データベース設計について質問です。 現在、Webシステムの基本設計段階で 「汎用区分マスタ」というテーブルを設計しています。 ・多言語対応するために、一つの区分値に対して 複数の言語での名称を登録する必要がある ・今回は日本語対応のみ ・現在は「マスタを更新しない、参照のみの区分」しか存在しない ・将来的にはカスタマイズでマスタメンテ画面を追加し、 区分や区分値が更新対象になる可能性がある という前提です。 開発環境は 言語：Java,JavaScript DB：SQL Server です。 過去に他の案件で使用していた同じ役割のテーブルを参考に 現在は下記のようなテーブル定義になっています。 分類コード varchar(30) PK 区分値 varchar(30) PK 言語コード varchar(3) PK 表示名 nvarchar(100) NOT NULL 表示順 smallint
![[DB設計]汎用区分マスタについて](https://cdn-ak-scissors.b.st-hatena.com/image/square/d61d99447f3434c475f38686e3fcb4f6ab93528f/height=288;version=1;width=512/https%3A%2F%2Fteratail.com%2Fimg%2FogpImages%2FimgFacebookShare.png)
[Java]iciqlで簡単DBアクセス[ORマッパー] | DevelopersIO
JavaアプリでORマッパーを使う 先日、ちょっとしたJavaアプリを作る必要があり、DBアクセス方法をどうしようか検討してました。 最初はPreparedStatementつかって自分でSQL組み立ててもいいかなあと思ってたんですが、 仕様を確認したらそこまで楽なDBアクセスでないのでNG. 次にSpring DataとかhibernateとかiBATISとかのORマッパーを使おうと思ってたんですが、 DBアクセスをしたいだけなのに依存ライブラリがいっぱいあったり設定ファイル用意したりして 面倒だったので、これもヤメました。 で、いろいろ探してみた結果、簡単につかえそうなiciqlというORマッパーがあったので、紹介します。 iciqlの特徴は以下のとおり。 単一のjarで提供される 設定ファイルなしで使える DBからモデル生成できるツール付き xmlとかでいちいち設定ファイルを書かずに
![[Java]iciqlで簡単DBアクセス[ORマッパー] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/30a2d47409e2c1d5a3c01b1ecbba01690af9a821/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F09%2Fjava.png)
rubyからociでつないだoracleのフェッチが異様に遅かった話 - Qiita
リモートのoracleからデータを抜いてローカルのoraceにコピーしようとしたら、抜いてくる段階で異様に時間がかかってしまいはまりました。。 環境 MacOS X Yosemite Ruby 2.1.5 ruby-oci8 oracle11.2.0.4 やりたかったこと リモートのマスターDBからデータをCSVで抜いて、ローカルの開発用DBにコピーしたい 問題 テスト環境では問題ないのに、本番DBにつなぐとSELECTした後のfetchが異様に遅い 本題 とあるシステムの開発のために、リモートのDBから定期的にローカルにデータをコピーしてくる必要がありました。 rubyからoracleにつなぐのは初めてだったんですが、とりあえず調べながらさくっと作ったコードが以下 @conn = OCI8.new('scott','tiger','hogehogetns') sql = 'select
オンラインマニュアル ページ移転のお知らせ：ミドルウェア：ソフトウェア：日立
日立オープンミドルウェアは、お客様の既存の財産を生かしながら、高い信頼性と柔軟性、自律性を備えたITシステムの実現を支えています。
neue cc - 並列実行とSqlConnection
どうも、ParallelやThreadな処理が苦痛度100なペチパーです。嘘です。空前のThreadLocalブームが来てたり来てなかったりする昨今です。あ、謎社の宣伝しますとグリーとグラニ、「GREE」におけるソーシャルゲームの提供などについて戦略的業務提携に合意というわけで、ぐりとぐら、としかいいようがない昨今でもあります。その日に開催されていたGREEプラットフォームカンファレンスでは、謎社はC#企業になる！と大宣言したので、ちゃんと実現させていきたいところです、いや、むしろそのためにフル回転しています。 そんな宣伝はおいておいて本題なのですけれど、SQL。データベース。大量にクエリ発行したい時など、パラレル実行したいの！インサートだったら当然BulkInsertが一番早いんですが、Updateとかね。シンドイんだよね。あとUpsert(Merge/ON DUPLICATE KEY
僕らがmemcachedのキャッシュキーにsha1やmd5のhash値を使うを避ける理由 - blog.nomadscafe.jp
memcachedのキャッシュキーにsha1やmd5のhash値を使うとtcpdumpや解析ツールで覗きにくくなるので、cacheには出来るだけわかりやすい名前をつけて下さい。というハナシ 下のようなコードのように sub cache { state $cache = Cache::Memcached::Fast->new({ namespace => 'db:', }); } sub key { my ($self,$key) = @_; sha1_hex($key); } sub cached_member { my ($self, $member_id) = @_; my $key = $self->key('member:'.$member_id); my $member = $self->cache->get($key); if ( !$member ) { #DBから取得 }
アジャイルとデータモデル、DB進化設計のこと - 勘と経験と読経
「「データモデルなきアジャイル」の危うさ: 設計者の発言」を読んで考えたこと。業務ソフトウェアの開発において、データベースを進化設計するのは厳しいと思っている。確かに技術的にはDBをリファクタリングしていくアプローチは可能だけれども、今のところは現実的な選択肢としては考えにくい。それではどうするか。 データモデルなしでアジャイルを始めてはいけない。少なくとも、DB全体の設計妥当性に関する何らかの担保がないままでアジャイルを強行してはいけない。DB構造の劣悪さゆえに企業活動の変化や発展に追随できない業務システム――皮肉にもそういうアジリティに欠けたシロモノをまたぞろひり出すことになるからだ。 「データモデルなきアジャイル」の危うさ: 設計者の発言 データモデルは単なるDB構造の話ではない 扱うビジネスの内容や範囲によるけれども、データモデルやDB構造は単なる記憶装置では無く、企業の資産である
NoSQL 時代のデータモデル
Masayoshi Hagiwara @masayh RDBMS対Hadoopという比較自体は適切ではない。正確には、RDBMSとHadoopにおける並列アルゴリズムやデータ管理技術の比較。すでにRDBMSのアルゴリズムはデータ管理技術は非RDBMS化していて、それはHadoopやその他のNoSQLにも適用可能となっている。 2010-11-05 14:09:34 Masayoshi Hagiwara @masayh たとえば、NoSQLでもスキーマや正規化の考え方を設計に取り入れた方がいいし、それを実装に入れて、現在のNoSQLの持つデータモデルの優位性を損なうことなく最適化することができるでしょう。 2010-11-05 14:12:20 Masayoshi Hagiwara @masayh 関係代数や関係論理といった技術的基盤をもっと参照して、現在のNoSQLやその他のデータ管理技術
第4回 とぎれなく流れ来る大量データを処理する「ストリームデータ処理技術」①ストリームデータ処理とは？ | gihyo.jp
機能と技術からわかる！システム基盤の実力 第4回とぎれなく流れ来る大量データを処理する「ストリームデータ処理技術」①ストリームデータ処理とは？ 近年、電子マネーや電子商取引が普及し、RFID利用による物流管理など、ビジネスで扱うデータの量が爆発的に増加しています。またビジネスのスピードも急激に加速しており、次々に流れてくる大量のデータをリアルタイムに処理することが求められています。 しかし、こうしたリアルタイム処理に従来からあるデータベースを使用すると、クエリなどを用いて蓄積されたデータを一括処理するため、データ検索などのクエリ実行時にタイムラグが生じてしまいます。そこで、現在注目されているのが、ストリームデータ処理技術です。 ストリームデータ処理技術とは、無限に到来する時刻順のデータ（ストリームデータ）をリアルタイムに処理するデータ処理方法です。たとえば、株価のテクニカル指標やランキング
なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
ER Master
<body> <span>このページはフレーム対応のブラウザでご覧ください。</span> </body>
「Linux-DBシステム構築／運用入門」がすごい - あなたのシステム、ガラパゴス化していませんか？ - kazuhoのメモ置き場
松信さんがやってくれました。 ずいぶん前からデータベースの「正しい」構築と運用方法についてまとめた本はないかなーと思ってました。自分はこれまで、様々なネットワークアプリケーションのプログラミングやデータベースの設計、チューニングを行ってきています*1が、問題が解決できたようには見えても、果たしてそれが最適な解決策だったのか不安に感じることがありました。それは、体系的な知識に欠けているからです。だから、網羅的な教科書がほしいなぁって思ってたんです。 とあるインターネットでこの前、松信さんから「いま書いてる」って話を聞いて、一部を見せていただいたりしたんですが、つい昨日、手元に届きました。やったね☆ 名前は「Linux-DBシステム構築／運用入門」。「入門」と銘打たれているものの、基礎的な知識から、なぜそうなるのか、どう応用すればいいのか、といった点まで広くカバーしている*2、全方位的な隙のな
データベースコンサルタントのノウハウちょい見せ swingbenchって便利ですよ
各種インフラ技術(OS、ストレージ、ネットワーク)やオラクル製品といった話題を取り上げます。著者は小田圭二、「門外不出のOracle現場ワザ」、「絵で見てわかるOracleの仕組み」、「絵で見てわかるOS/ストレージ/ネットワーク」などの著作もあります Oracle DBに負荷をかけたい、もしくはDBにアクセスするような疑似アプリが欲しいこともあるでしょう。そんなときは、swingbenchです。Javaで動く上、テーブルの作成から、データの作成、負荷掛けから、スループットの監視表示までやってくれます。 Swingbench入門＜Windows版 Ver2.2のもの＞ ●セットアップ ・http://www.dominicgiles.com/ にアクセス ・download に移動 ・できるだけ最新のswingbenchをダウンロードする(ただしベータはお勧めしない) ・Cドライブかどこか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
O/Rマッパーによるトラブルを未然に防ぐ
サーバー未経験者がソーシャルゲームを通して知ったサーバーの事
DB2逆引きWiki
ESE Tookit:アプリケーションの作成に、Windows内部の高パフォーマンスデータベースを使う
C# & SQLite - Storing Images - CodeProject