Do You Really Need Redis? How to Get Away with Just PostgreSQL
Do You Really Need Redis? How to Get Away with Just PostgreSQL There’s a tried-and-true architecture that I’ve seen many times for supporting your web services and applications: PostgreSQL for data storage Redis for coordinating background job queues (and some limited atomic operations) Redis is fantastic, but what if I told you that its most common use cases for this stack could actually be achie
1000万件オーバーのレコードのデータをカジュアルに扱うための心構え - joker1007’s diary
自分が所属している会社のメンバーの教育用資料として、それなりの規模のデータを扱う時に前提として意識しておかなければいけないことをざっくりまとめたので、弊社特有の話は除外して公開用に整理してみました。 大規模データ処理、分散処理に慣れている人にとっては今更改めて言うことじゃないだろ、みたいな話ばかりだと思いますが、急激にデータスケールが増大してしまったりすると環境に開発者の意識が追い付かないこともあるかと思います。 そういったケースで参考にできるかもしれません。 弊社は基本的にAWSによって運用されているので、AWSを前提にした様なキーワードやサービス名が出てきます。後、句読点があったり無かったりしますが、ご容赦ください。 追記: 社内用の資料の編集なのでかなりハイコンテキストな内容だから誤解するかもしれませんが、これらはそもそもRDBの話ではありません。(関係無くは無いけど) 1000万オ
PlantUMLでER図を描く！
前回は、GitHubでER図を管理する方法を記事にしましたが、今回はPlantUMLでER図を描く方法を紹介します。（前回の記事はこちら） なぜかは知らないのですが、シーケンス図やユースケース図、クラス図などとは違い、ER図についてはPlantUMLの描き方のドキュメントが少ないです。（そもそも公式のページに記載がない） ということで、非公式ですが、描いている中で見つけた描き方を紹介したいと思います。 エンティティエンティティは通常、こんな感じに描きます。あまりないと思いますが、ダブルクォーテーションで囲うことで、非文字（スペース等）を使用することもできます。非文字を使用する場合は、asを使って別名を定義してあげましょう。 entity entity1 { primary_key -- attribute } entity "entity 2" as entity2 { }エンティティのE
MySQL with InnoDB のインデックスの基礎知識とありがちな間違い - クックパッド開発者ブログ
こんにちは、サービス開発部の荒引 (@a_bicky) です。 突然ですが、RDBMS の既存のテーブルを見てみたら「何でこんなにインデックスだらけなの？」みたいな経験はありませんか？不要なインデックスは容量を圧迫したり、挿入が遅くなったりと良いことがありません。 そんなわけで、今回はレコードを検索するために必要なインデックスの基礎知識と、よく見かける不適切なインデックスについて解説します。クックパッドでは Rails のデータベースとして主に MySQL 5.6、MySQL のストレージエンジンとして主に InnoDB を使っているので、MySQL 5.6 の InnoDB について解説します。 InnoDB のインデックスに関する基礎知識 インデックスの構造 (B+ 木) InnoDB では B+ 木が使われています。B+ 木は次のような特徴を持った木構造です。 次数を b とすると、
JSONで疲弊したら試したい、アプリのデータをSQLiteで受け渡すという選択肢 - アニマネ開発日誌
アニマネの内部ではアプリとサーバー間でどのようにデータを受け渡ししているかという話をしてみます。 一般的にアプリとサーバー間のデータの受け渡しだとJSONやXML、YAMLなどが多いと思います。 ここにSQLiteという選択肢を入れると色々幸せになれるという話です。 もはや何で今までJSONという固定観念が捨てられなかったのかというぐらい、個人的にはコロンブスの卵でした。 あまり事例はなさそうなので、ここで紹介してみます。 アニマネでの問題点 アニメアプリのアニマネでは主にアニメの番組表やニュースをサーバーから受け取って表示しています。 都道府県にもよりますが、一つの都道府県の1週間分の番組表（アニメだけ）をJSONにすると大体750KBぐらいになるんですね。 これを開発初期ではMessagePackに置き換えてました。 話の本筋とは関係ないですが、JSONよりはMessagePackの方
MySQL 5.7の罠があなたを狙っている
2015/08/22 YAPC::Asia Tokyo 2015 Lightning Talk 2016/01/13 update about default_password_lifetime will be 0Read less
DBアタマアカデミー 記事一覧 | gihyo.jp
最終回 治療としてのパフォーマンスチューニング―システムの病気はどう治す？（3） ミック 2011-04-01
スローテストを解消する12の方法
みなさんこんにちは。@ryuzeeです。 システム開発において一番コストが高いものは人的リソースであることがほとんどです。 したがって開発者の時間効率をあげるためにできることは色々と取り組む必要があります。 例えば個人の開発マシンが遅くてビルドやテストに時間がかかるとかもっての他です。 一日10回ビルドして一回のビルドに5分かかるとします。 これを高性能なマシンに変えたら2分になったとすると、(5-2)1020=10時間。 時間単価5000円として一ヶ月あたり合計50000円の節約になります。 同じことがCIやテスト自動化にも言えます。 CIサーバのハードウェアを高性能なものに変更する会社のあまったPCを使ったりして遅いテストを待つのはバカバカしいの一言だ。 CIサーバを複数台で構成する上の話と同じような話。Jenkinsは複数台構成を取ることができるし、多分他のCIも同様だ。 CIサーバ
PostgreSQL の VACUUM をなんとなくでするのはやめよう
はじめての人もそうでない人もはじめまして。 河野と申します。 いきなりすいません･･･。 私の名前をさっそく覚えていただいた方には申し訳ないのですが、 弊社にはもう一人河野というものがおり、そっちとは違う方と覚えて頂けると溜飲が下がります…。 さて、今回 Fusic Advent Calendar の一番槍として最初に寄稿させて頂くことになりました。 本日はお題の通り PostgreSQL の VACUUM をなんとなくでするのはやめようという提案を、全国 4,000万の VACUUM ファンの皆様にしたいと思います。 尚、PostgreSQLの対応バージョンは 8.3 以降となります。 PostgreSQL のメンテナンスと VACUUM データベースに PostgreSQL を採用している会社はどのくらいあるのでしょう？ オープンソースのデータベースでは MySQL が多く採用されてい
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 － Publickey
NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。 その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし
SQLインジェクション対策もれの責任を開発会社に問う判決
ポイントは下記の通りです。 X社（原告）はセキュリティ対策について特に指示はしていなかった 損害賠償について個別契約に定める契約金額の範囲内とする損害賠償責任制限があった 当初システムはカード決済を外部委託し直接カード情報を扱っていなかった X社が「カード会社毎の決済金額を知りたい」とY社に依頼をして、その結果カード情報をいったんDBに保存する仕様となった（2010年1月29日） X社からの問い合わせに対してY社は、カード情報を保持しない方式に変更することが可能で、そのほうが安全となり、費用は20万円程度である旨を伝えた（2010年9月27日）が、その後X社は改良の指示をしなかった 以下の脆弱性その他が認められた システム管理機能のIDとパスワードが admin/password であった 個人情報が記載されたお問い合わせログファイルの閲覧が可能（ディレクトリリスティングと意図しないファイ
クックパッドにおける最近のActiveRecord運用事情 - クックパッド開発者ブログ
インフラストラクチャー部の成田（@mirakui）です。 Rails の OR マッパーである ActiveRecord ですが、みなさんどのように運用していますか？ ActiveRecord を使うと、 SQL を直接扱うことなく、抽象化された表現で RDB にアクセスできるので、アプリケーションの開発効率という観点ではメリットが大きいです。 一方で、 ActiveRecord が駆使されているアプリケーションをサーバに配置してプロダクションとして運用する立場からすると、いくつかの問題に突き当たります。 まずはクックパッド本体アプリケーションにおける、最新の rake stats をご覧ください。 +----------------------+-------+-------+---------+---------+-----+-------+ | Name | Lines | LOC
spec実行時にdb:test:prepareを呼び出したくない。
■概要 (激しく既出感ありですが。。)何年もrailsやってますが、正しく理解できていなかった事の一つに rake spec(test)すると、処理の一環としてdb:test:prepareタスクを呼び出す という挙動があります。 通常問題にならないのですが、db:test:prepareが、db/schema.rbの情報を元にデーターベースを作成する為、railsが認識できないような項目は抜けて落ちてしまいます。 関数適用したインデックス トリガーやファンクション 別スキーマに作ったオブジェクト ...etc なので RAILS_ENV=test rake db:drop RAILS_ENV=test rake db:create RAILS_ENV=test rake db:migrate してからrake specする事を前提に、db:test:prepareを呼び出さずにspecを
ActiveAndroidのWikiを和訳した - ギークに憧れて
2014-01-09 ActiveAndroidのWikiを和訳した ActiveAndroidとは、アクティブ・レコードパターンのAndroidのORMです。 結構好きなので公式Wikiを和訳しました｡こういうのQiitaに投稿した方が承認得られそう｡ Getting started Adding the JAR jarを取得してプロジェクトにビルドパスを通す。 ソースをcloneしてルートフォルダでantコマンドを実行する。成果物はdistフォルダに作成される。 Downloadsから最新のjarをダウンロードしてくる Installing from Maven Gitからソースをcloneしてローカルのmavenリポジトリにインストールする。 git clone https://github.com/pardom/ActiveAndroid.git cd ActiveAndroid
今まで見たもっともクソなテーブル設計 - 何か着ていればいいよ
あれは、僕がデータベースを扱ううち最初から３件目のプロジェクトだった。 C++のソースが難解で火を吹いているという話で、自分は低スキルの若造。火にくべるには丁度良い程度のやる気と責任感をもっていた。折悪く別のプロジェクトが終了した直後だったもので投入されたのでした。 現場で『DBからデータを吸い出すツールかSQLを作ってくれ』といわれ話をきくと他社が作ったDB定義がすこぶる使いづらいという。 ER図やDB定義を見せてくださいと言ったのだけど、そんなものは無いという返事。 今ならもうここら辺で逃げ出すところですが、当時は『ふーん。』てなもんでそういうこともあるのかくらいの軽い気持ちで考えていました。 で、プロジェクトの資料をあさりまくって何とかDB定義のようなものも見つけDBのデータを調査し始めたのですが何かがおかしい。 機能の数に比して異様にテーブル数が少ないのです。 ふと周りを見ると、皆
CodeIgniter の Model を一工夫して使いやすくする方法 - localdisk
CodeIgniter の ActiveRecord はかなり使いやすいと思うのですが、ちょっと一工夫するともっと使いやすくなるよ! というのを書いてみたいと思います。僕が使ってる MY_Model はこんな感じ。 application/core/MY_Model.php <?php /** * MY_Model * * @author localdisk <info@localdisk.org> * @property CI_DB_active_record $db */ class MY_Model extends CI_Model { /** * table name * * @var string */ protected $_table; /** * constructor */ public function __construct() { parent::__constru
PostgreSQL日本語ドキュメント
PostgreSQL日本語ドキュメント 最新版の付属ドキュメント 翻訳作業中の最新バージョン/PostgreSQL 15.0 日本語マニュアル バージョン14 PostgreSQL14最新版 日本語マニュアル PostgreSQL14.5 日本語マニュアル PostgreSQL14.0 日本語マニュアル バージョン13 PostgreSQL13最新版 日本語マニュアル PostgreSQL13.1 日本語マニュアル バージョン12 PostgreSQL12最新版 日本語マニュアル PostgreSQL12.4 日本語マニュアル PostgreSQL12.3 日本語マニュアル PostgreSQL12.0 日本語マニュアル バージョン11 PostgreSQL11最新版 日本語マニュアル PostgreSQL11.5 日本語マニュアル PostgreSQL11.4 日本語マニュアル Post
ruby/rails/RailsGuidesをゆっくり和訳してみたよ/Rails Database Migrations - 株式会社ウサギィwiki
マイグレーション(Migrations) † マイグレーションは、構造的で組織的な方法でデータベースを変更するための、便利な方法です。 手作業でSQLの断片を編集できますが、他の開発者たちが実行する必要がある時、それを伝える責任があります。 productionマシンに対して次回デプロイする時に、どの変更が必要か追跡する必要があります。 Active Record は、どのマイグレーションが既に実行されたかを追跡しているので、やらなければならないのはソースを更新し rake db:migrate を実行することだけです。 Active Record はマイグレーションをうまく実行するでしょう。 またデータベースの構造に一致するように db/schema.rb を更新するでしょう。 マイグレーションはこれらの変換をRubyを使って記述することができます。 これについて素晴らしい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How in H2DB get sql dump like in MySql?
GitHub - goncalossilva/acts_as_paranoid: ActiveRecord (>=3.0) plugin which allows you to hide and restore records without actually deleting them.
