事業の成長にアラインするためにAWS DMSを活用してDB統合した話 - Techtouch Developers Blog
バックエンドエンジニア兼万年ダイエッターの taisa です。毎朝子どもの幼稚園バス送りのついでに短距離ダッシュして運動してます。はたから見ると変な人ですが、バスを追っかけるようにダッシュすると幼稚園バスの子どもたちは喜んでくれます。 テックタッチは以前、マイクロサービスの切り直し後に DB 統合を実施しました。本記事では、テックタッチがどういったプロセスで DB 統合を実施したかを紹介します。また、AWS DMS を利用する際に気をつけるポイントについても合わせて紹介します。 マイクロサービス切り直し記事のおさらい なぜ DB 統合したか Before After DB 統合の前提条件 やりたいこと 制約 DB の特徴 サービスの特性 AWS DMS（Database Migration Service）とは どのように DB 統合したか Phase1：DMS でレプリケーションを開始す
全社員からデータ基盤への問い合わせが殺到して2人では捌けなくなったので仕組みで解決する話〜datatech-jp Casual Talks #2 登壇後記〜 - MonotaRO Tech Blog
データ基盤グループの吉本です。 今回は先日開催されたdatatech-jp Casual Talksで登壇した内容について補足も含め紹介します。 datatech-jp.connpass.com 発表資料はこちらです。 データ基盤に関わる問い合わせ対応を仕組みで解決する from 株式会社MonotaRO Tech Team www.slideshare.net 発表内容の背景（問い合わせ対応における課題） 発表したこと 発表の反響 最後に datatech-jpは主にデータエンジニアリングやデータ活用に関わる方が参加するコミュニティで、DWHやデータマネジメント、データエンジニアリングに関わる技術、ツールなどについて知見を共有したり、輪読会やLT会のようなイベントを実施しています。 オーガナイザーとして同社同僚の吉田(id:syou6162)が参加しています。 その中でCasual
dbtで見やすいER図を生成する - yasuhisa's blog
背景: dbtを使っていてもER図は欲しい! どうやってER図を生成するか どうやってER図を見やすくするか まとめ 背景: dbtを使っていてもER図は欲しい! dbtはモデル間のリネージなど可視化が得意なツールではありますが、万能なわけではありません。モデルの生成過程などはリネージで担保できますが、分析時に「どれとどのモデルがJOINできて、JOINする際のキーはこれを使って」というER図で扱うような可視化はディフォルトではできません。 DWHを作っている側からすると「このテーブルはあの辺のテーブルと一緒に使うと便利で、いつもあのキーでJOINして」というのが頭の中に入っていることが多いため、ER図がなくてもどうにかなることも多いでしょう。しかし、分析に慣れていない人や分析に慣れている人であっても、普段と異なるドメインのテーブルを触るときはER図が提供してくれる情報は有用です。ちなみに
削除フラグのはなし
6. id name pass is_deleted 1 ryu xxx FALSE 2 ken xxx FALSE 3 honda xxx TRUE 8. id name pass is_deleted 1 ryu xxx FALSE 2 ken xxx FALSE 3 honda xxx TRUE 3 honda xxx FALSE
色々なPHPフレームワークのパフォーマンスを比較 - cakephperの日記(CakePHP, Laravel, PHP)
PHPフレームワークの速度比較では、HelloWorldを表示するのみの単純なアプリを用いた計測を元に比較表が作られることが多いです。特に後発のフレームワークは分かりやすい特徴付けとして速度をアピールする傾向にあるため、その比較表を元に N倍速いというアピールをしています。 PHPフレームワークを使うということは、DBまで絡めたWebアプリを作ることがほとんどなため、HelloWorldアプリの比較よりは、DBからレコード取得して表示するまでの処理速度を比較したほうがより現実に近い指標になると思います。特にCakePHP1系ではDBのデータ取得も独自ドライバになっていますし、モデルの処理も重いのでそこまで含めて他と比較したほうが良いと思ってます。 今回はDBから1レコード取得して表示するという簡単なアプリで各フレームワークの速度を評価しました。フレームワークに備わっているViewキャッシュ
MongoDB全機能解説1
This document contains links to MongoDB documentation pages about sharding, databases, collections, inserting, querying, updating, indexing, replication, and backups. It includes a link to a slideshare presentation on MongoDB sharding and links to pages explaining replica set internals and operations.Read less
Google Spreadsheets を簡易 SQL DB に！「Google Visualization API」 - WebOS Goodies
WebOS Goodies へようこそ！ WebOS はインターネットの未来形。あらゆる Web サイトが繋がり、共有し、協力して創り上げる、ひとつの巨大な情報システムです。そこでは、あらゆる情報がネットワーク上に蓄積され、我々はいつでも、どこからでも、多彩なデバイスを使ってそれらにアクセスできます。 WebOS Goodies は、さまざまな情報提供やツール開発を通して、そんな世界の実現に少しでも貢献するべく活動していきます。 皆さん、 Google Docs のガジェット機能はもう使ってみましたでしょうか。データをさまざまな方法で可視化するガジェットをシート上に配置できるというもので、このガジェットは自作することもできます（iGoogle ガジェットベース）。その際にスプレッドシートの情報を取得するために使われるのが、本日ご紹介する Google Visualization API で
MOONGIFT: » SQLiteをGUIで管理「SQLite Database Browser」:オープンソースを毎日紹介
SQLiteはDLLファイルだけですぐに利用できる簡易的なDBではあるが、思っているよりもしっかりと動作してくれる。 他のDBのようにインストールも手間もなくすぐに利用できるのが便利だ。最近はPHP5をインストールしているサーバも増えたので、ファイルをアップするだけですぐに利用できるというのも手軽でいい。 そんなSQLiteであるが、管理インタフェースは標準では用意されていない。普及のためには高機能、かつ手軽な管理インタフェースの存在は欠かせないだろう。 今回紹介するオープンソース・ソフトウェアはSQLite Database Browser、SQLiteをGUIで操作できるソフトウェアだ。 SQLite Database Browserを使うと、GUIベースでデータベースの作成はもちろん、テーブルの設計やデータの編集ができる。SQLを実行して結果を見ることも可能だ。もちろん、日本語に対応
SQLite ControlCenter 日本語版
SQL C Library の SQLite の DB を GUI で参照できるツール SQLiteCC (SQLite Control Center) を日本語化したものです．本家の SQLiteCC では対応していない SQLite3 のデータベースファイルも扱えます． 本家 SQLiteCC の特徴 新しいデータベースの作成，既存のデータベースファイルの作成が可能 表データ，フィールド，スキーマ，インデックス，トリガーを参照可能 グリッド上で表データを編集可能 文法解析によるハイライト可能なエディター搭載 日本語版の特徴 日本語表示できるようにしています 表に日本語 (UTF-8/Shift-JIS) が表示でき，表で直接変更する部分も日本語が通るようになっています クエリー部にも日本語が使えます． SQLiteCC3 系のデータベースファイルも操作可能． グリッドやエディタ部のフォ
永続化対応のオンメモリKey-Valueデータベース·Redis MOONGIFT
以前に読んだGoogleに関する本にも同じような技術に関する記述があった（タブレット辺りだろうか）。Googleで使われている技術はGoogleだからこそ（圧倒的台数のコンピュータ、ネットワーク、その需要など）できることだが、その論文を元に同様の技術を一般のサービスでも利用できるレベルに落とし込んでくれる人たちがいる。 サーバを起動した所 オンメモリのKey-Valueデータベースと言えばmemcachedが有名だ。だがmemcachedは再起動すればその内容が消えてしまう。逆に常にHDDに書き込めば内容は保持されるが、ディスクアクセスが多くなってしまい利点が活かせなくなる。その中間を担うのがRedisだ。 今回紹介するオープンソース・ソフトウェアはRedis、永続化にも対応したオンメモリKey-Valueデータベースシステムだ。 RedisはKey-Valueのデータベースではあるが、一
SQLite入門:SQLiteのデータ型:SQLiteで利用可能なデータ型
テーブルには値を格納するためのカラムを定義しますが、どのカラムにどのような値を格納するかに応じてデータ型を指定することができます。ここでは SQLite のカラムで指定可能なデータ型について解説します。 格納される値のデータ型 多くのデータベースではカラム毎にデータ型を指定します。その為、カラム毎に格納できる値が決められています。SQLite ではテーブルを定義する時にカラム毎にデータ型を指定することは必須ではありません。データ型を指定しなかったカラムには色々な型の値が格納されることがあります。 ただデータ型を指定しなかった場合でもカラムに格納された値がどんなデータ型なのかは区別していて「NULL」「INTEGER」「REAL」「TEXT」「BLOB」の5種類のデータ型に分類します。 NULL NULL値 INTEGER 符号付整数。1, 2, 3, 4, 6, or 8 バイトで格納 R
つゆだくのSQLite
スポンサードリンク SQLite3をつかってみよう SQLiteとは http://www.sqlite.org/ には SQLite is a small C library that implements a self-contained, embeddable, zero-configuration SQL database engine SQLiteは、自己完結的で組み込み可能な設定が必要ないSQLデータベースエンジンを実装する小さなC libraryです とあります(訳は自分なりにがんばってみました)。 個人的には、SQLiteはDBが１つのファイルですので、"ファイルをSQLで操作するためのC library" というカンジです。 ライセンスはありません。パブリックドメインですので自由に使う事が可能です。 バージョンが2系と3系がありますが、今から使うのでしたら3系を使う
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
eo（イオ） | ユーザーサポート