データベースリファクタリングについて話をしてきた #OSO2017 - そーだいなるらくがき帳
岡山にはオープンセミナー岡山と言う最高のイベントがあります。 okayama.open-seminar.org 昨日は id:t-wada さんや id:naoya さんの資料がホットエントリー入りしてました。 この登壇はそれと同じイベントになります。 その他の方も超豪華講師陣の中で、私が出来る精一杯の経験も踏まえたお話をさせていただきました。 speakerdeck.com この中で出て来る、データベースリファクタリングは本当に素晴らしい本です。 OracleベースなのですがMySQLだろうがPostgreSQLだろうが必ずためになる本です。 ですが、この本は既に廃刊になっており再販の予定もありません… 僕は後世に絶対必要な本の一つだと思っているので再販のためにも皆さんの要望の声を上げていただけるとうれしいです。 そしたらもしかしたら本が世に復活するかもしれません。 またSQLアンチパタ
MySQL 5.7の罠があなたを狙っている
2015/08/22 YAPC::Asia Tokyo 2015 Lightning Talk 2016/01/13 update about default_password_lifetime will be 0Read less
fake2db - 各種データベースに対応したダミーデータジェネレータ MOONGIFT
システム開発を行っているときにダミーのデータが欲しくなることは多々あります。そんな時に本番データをコピーして使うのは大きな問題につながる可能性があるので決してしてはいけません。電話番号やメールアドレスなどを置き換える作業が逆に手間になる場合もあります。 そこで使ってみたいのがダミーデータのジェネレータです。今回はPython製のfake2dbを紹介します。 fake2dbの使い方 fake2dbはSQLite、PostgreSQL、MySQLそしてMongoDBに対応しています。インストールはpipでできます。 pip install fake2db インストールしたらfake2dbコマンドでデータベースに直接データを流し込めます。 fake2db --rows 200 --db sqlite # SQLiteの場合 fake2db --rows 1500 --db postgresql
DB 設計時のサイズ見積り[最新版] - Qiita
こんにちは、すっかり秋ですね！@yone098 です。 みなさんDBの設計してますか？ DB設計時のサイズ見積り 以前はてなダイアリーで書いた記事は5年前のものであり、リンクが切れているものがあるので最新版として MySQL, PostgreSQL, Oracle, SQLServer におけるDB設計時のサイズ見積りをまとめ直しました。 URL内のバージョン表記を変えると以前のバージョンの情報になります。 MySQLは、あまり情報に変化は無かったので Excel でマクロなどを作成して自社で自動算出出来るようにするのが良いと思います。 データタイプごとに必要な要求ストレージが決まっているのでレコードサイズが決まり、あとは要件次第で何レコードになるかを予測します。 データタイプごとに必要な記憶容量 テーブルの最大サイズ関連 http://dev.mysql.com/doc/refman/5
![DB 設計時のサイズ見積り[最新版] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f42e24e40ddeea81bc76c98ccc1f982252cd6b3c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9REIlMjAlRTglQTglQUQlRTglQTglODglRTYlOTklODIlRTMlODElQUUlRTMlODIlQjUlRTMlODIlQTQlRTMlODIlQkElRTglQTYlOEIlRTclQTklOEQlRTMlODIlOEElNUIlRTYlOUMlODAlRTYlOTYlQjAlRTclODklODglNUQmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWM5ZmIwOTA1Y2UwNjU4NDA0MzRmOTZlMmI2NDFlMGU1%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5b25lMDk4JTQwZ2l0aHViJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1iZDkzOTdmMGQ3NWNhMGM4M2I3NmMxNjM4ODQ2OWQxMA%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-QWJieQ%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D6f836c4a275f61471b9e3f73ef123bda)
［速報］オラクル、ボタン1つでOracleデータベースをクラウドへ移行できる新しいDBaaSを発表。Oracle OpenWorld 2014
［速報］オラクル、ボタン1つでOracleデータベースをクラウドへ移行できる新しいDBaaSを発表。Oracle OpenWorld 2014 米オラクルはサンフランシスコで開催中のOracle OpenWorldで、同社のクラウドサービスの強化を発表しました（関連記事：［速報］Oracle OpenWorld 2014開幕。クラウドをAmazonクラウドやGoogleと同じ価格で提供するとエリソン氏が明言）。 基調講演に立った同社CTO兼取締役会長のラリー・エリソン氏は、オラクルがSaaS、PaaS、IaaSを一緒に提供することを強調。また、オンプレミスのOracleデータベースもアプリケーションも容易にクラウドへ移行し、あるいはクラウドからオンプレミスへ戻すことを実現するとも語りました。 ラリー・エリソン氏基調講演から、SaaSとPaaSについての部分をダイジェストで紹介しましょう。
7つのデータベース7つの世界 MongoDB メモ - Qiita
はじめに 7つのデータベース 7つの世界の第5章 MongoDBのメモです。 1日目 MongoDBインストール 1日目の宿題 やってみよう 1. JSONドキュメント{ "hello" : "world" }の中身を印字してみよう。 > db.yattemiyo.insert({"hello": "world"}) WriteResult({ "nInserted" : 1 }) > print(JSON.stringify(db.yattemiyo.findOne({hello: "world"}, {_id: false}))) {"hello":"world"} > > db.towns.find({name: /new/i}) { "_id" : ObjectId("540bd726c265200143a187d6"), "name" : "New York", "populat
実践編：Camel, Tomcat, MySQL によるWeb APIアプリなものを高速開発 - Qiita
アプリをAPI化して各アプリを疎結合していく作りが多くなっていくこの世の中、 Apache CamelからDBにつなぐ方法、Tomcat等のコンテナで動作させる方法などなどが分かるとAPI的な実用なものがサクッと作れたりする所を今回説明。 (CamelからJettyを扱えるのでTomcat使わなくても動くけど） 今回の目標 IDを指定してhttpで問い合わせるとDBテーブルの内容をそのままJSONデータで返すアプリを作ること // tomcatで受信したデータを取得 http://localhost:8080/appname/list?id=123 from("servlet:///list") // アクセスログを出力（ログイン処理ではない〜） .to("log:in") // SQLで情報を取得 .to("sql:SELECT * FROM myitems WHERE user_id
主キーはインデックスではない - 設計者の発言
仕事柄、奇妙なDB構造を目にすることが多い。どういう発想からそんな設計がされるのかを理解したいと思っていたのだが、モデラー仲間の秋里さんが先日うまい指摘をした。「主キーをインデックスみたいなものと勘違いしているからではないでしょうか」。インデックス（キー）というのは、レコードの並び順を規定するキーのことだ。 たしかに思い当たる節がある。「こんな順にレコードが並んでいれば処理上都合がよさそうだ」という考えで主キーが設定される。さらに主キーはユニーク制約でもあるので、重複が起こらないように「多め」に項目を突っ込んでおく。つまり「ユニーク制約をともなう代表的インデックス」程度に主キーが理解された結果として、グダグダなDB構造が出来上がるのではないか。 じっさい、昔こんなことがあった。{a,b,c,d}の複合主キーをもつテーブルＸがある。ところが、別のテーブルＹからテーブルＸの特定レコードにアクセ
gihyo版「エンジニアの学び方」を公開しました - 西尾泰和のはてなダイアリー
技術評論社のWEB+DB PRESS Vol.80に掲載した、特別企画「エンジニアの学び方」がWeb上で無償で読めるようになりました。 僕は、自分の学び方をよく観察して、改善すべき問題点を見つけ、それを改善する、というサイクルを続けていくことがとても重要だと感じています。そのため、今後もブログなどでこの手の話題を書くのですが、そこから雑誌の記事に言及しても読者さんは入手がしにくいので何とかならないかと相談したところ、快くWebでの公開という形になりました。技術評論社さん、ありがとうございます。 技術評論社のウェブサイトgihyo.jpで読むことができます: エンジニアの学び方─効率的に知識を得て，成果に結び付ける：特集｜gihyo.jp … 技術評論社 公開時の筆者のブログ記事: 「エンジニアの学び方」を執筆しました。 Web版公開時の筆者のTweet: WEB+DB Pressの特別企画
MongoDBでECサイトを実運用する3つのテクニック | Tokyo Otaku Mode Blog
こんにちは。Tokyo Otaku Mode CTOの関根です。 Tokyo Otaku Modeでは、2013年8月からotakumode.com上にカート機能を追加し、決済までをワンストップでできる海外向けECサイトをスタートしました。 どういうシステム構成でotakumode.comが運用されているかを聞かれた時、「Node.js + MongoDBです」と答えると、エンジニアの皆さんは一様にびっくりします。特に驚かれるのが、MongoDBをメインのDBに使用している点です。信頼性に定評があるわけでなく、またNoSQLに対するライトなイメージが一般的にあるため、ECサイトのプロダクションとして使うことに疑問を持たれている方が多いのでしょう。 しかし、十分実用に耐え、日々機能追加が入り成長し続けるスタートアップの環境で、実際に1年間運用してきたECサイトがここにあることも事実です。 そ
Redmineなど汎用的に使えるバックアップ処理（shellscript+cron+rsync） - Qiita
redmineバックアップ処理 毎回設定が面倒なので、 結構汎用的に使える？そして、簡単に実装できる？ クーロン＋シェルを利用したバックアップ処理を書いてみました。 ※ ロギングやエラー処理は適宜入れてみてください。 #!/bin/bash # Redmine Backup # 定義 # バックアップ先フォルダ TO_BK_DIR=/backup/to # 現在日付（バックアップファイル名に使用） NOW=`date +%Y%m%d%H` # DBバックアップ mysqldump -u DB_USER -pDB_PASS DB_NAME | gzip > $TO_BK_DIR/redmine/redmine_db_$NOW.sql.gz # アップロードファイルバックアップ gzip -rc /REDMINE_ROOT/files > $TO_BK_DIR/redmine_upload_$
GitHubを使った複数人でのスキーマ管理 on Rails - so what
要約 Chefみたいなスキーマ管理ツール（Ridgepole）を使うと、GitHubを使ったワークフローでスキーマを管理できる（と思います、たぶん） RailsのMigrationsについての問題提起 Migrationsは便利な仕組みですがベストではないと常々思っていました。 具体的には、特定のマイグレーションを保留にしにくいとか、複数人で作業するとコンフリクトすることがあるとか。 大きめのRailsプロジェクトだと特別なワークフローを用意して解決しているんですかね…声出して行こうぜ！とか。 Chef的スキーマ管理ツール: Ridgepole https://github.com/winebarrel/ridgepole （デモ） 以前からそのようなそのような問題意識があって、たぶん Chef的な冪等性保証する（操作ではなく定義を書くたぐいの）ツールがあれば解決できそう、でも実際作るの大
論理削除と一意性制約を両立させる方法・DB製品別 - Qiita
アプリケーション上でなにかエントリ（例えば記事だとかユーザだとか）を削除したとき、DB上の行は削除せず単に【削除済み】フラグを立てるだけという扱い方を 論理削除 と呼びます。 論理削除にはいろいろなメリットがあります。行削除のように関連する他テーブルへ削除が波及しないこと、エントリ復活ができること、障害時にデータ変更の経緯を追いやすくなることなどなど（デメリットもわんさかあるんですが、この記事の主旨からははずれるので別途お調べください）。 ところが論理削除の方針でDBを組んでいて困ったことはありませんか？ 「 メールアドレスは一意性(UNIQUE)制約をかけたいのに、それだと削除済みのユーザと同じメールアドレスが使えないことになる 」 論理削除と一意性制約、両立はできないのか？ できないと思っている方、多いと思います。実はちゃんとできます。DB製品によって実現方法がちょっと違ってくるだけで
DB の state は State Machine で管理する - ボクココ
最近は毎日プログラミングの日々を過ごしている。 そんな中、とあるテーブル(ドキュメント)で状態を管理しなきゃいけない場面があった。 この問題の一つの手としてはstate をint で保存し、一つ一つの数字を何かしらの状態に紐づけるやり方だ。これを実践してみたことがある方ならわかる通り、後でこれをメンテする人がいったいその数字が何なのか、をいちいちどっかのドキュメントを見て調べなければならない。これの管理がとても面倒。何かの状態が新しくできたらそのドキュメントもちゃんと更新しないと、色々崩壊する。 State Machine State Machine はそれぞれの状態と、状態の遷移を管理する一種のデザインパターン。これにより、数値での管理をなくし、さらにある状態からある状態への遷移を限定することができる。例えば、状態として「走る」「歩く」「止まる」「寝る」があるとしよう。いきなり「走る」か
システム統合にSOA？ RDBMS？ bashで十分！ － ＠IT
2009/09/07 毎年夏に開催される軽量プログラミング言語（LL：Lightweight Language）をテーマにした「LLイベント」。第7回目となる「LLTV」が、2009年8月29日に東京・中野で開催された。この記事ではプログラムの一部、「大改善!!劇的ビフォーアフター」をレポートする。前編では、Rubyによるfortuneコマンドの“増築”と、Firefox拡張によるslコマンドの実装というネタ系発表をレポートした。中編ではC言語にLisp風のマクロを取り入れ、lsコマンドのソースコードを約半分に削減する匠の技をレポートした。後編となる本記事では、売り場業務が滞りがちだった販売管理システムをbashコマンドで“建て直した”という劇的ビフォーアフターの発表をレポートする。 DBを捨ててテキストファイルに変換 「100万件ぐらいの検索なら、シェルだけでも1000分の数秒でできます
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
営業さんまで、社員全員がSQLを使う 「越境型組織」 ができるまでの3+1のポイント | リブセンス
https://jp.techcrunch.com/2014/12/15/20141213foundationdb-and-the-new-nosql/
CIサーバーとSchemaSpyでデータベースのドキュメント作成を自動化
Java8でRDBMS作ったよ