83億レコードを移行し、日々2,500万レコードのアクセスログをBigQueryに記録している話（インフラ編） - Money Forward Developers Blog
こんにちは。 インフラエンジニアの村上です。 マネーフォワードのインフラチームは、サービスに関わるインフラから、自社の作業環境、開発環境、さらにはサービスのインフラの中でも物理的なものからOS・ミドルウェア・アプリケーションのメンテナンス・ビルド・リリース・運用まで幅広く関与しています。 今回はGoogle Cloud PlatformのBigQueryを活用してアクセスログの分析環境を構築した時の話を紹介します。 この記事に書かれる事 データ分析基盤としてBigQueryを使用した話と データ量を例示しながら使用を開始した時のトラブルシュートとパフォーマンスについて紹介する。 データ移行のコツもうまく含めながら書いていく。 BigQueryを採用した訳 マネーフォワードの家計簿は350万人以上のお客様に利用いただき、 アクセスログは日々2.500万件程度増えております。 サービス開始から
JavaでMySQLのデータベースにトランザクション処理 | DevelopersIO
はじめに 前回の「JavaからMySQLに接続して登録する」ではSQL文を１つ１つコミットしていましたが、今回は複数のSQL文の登録とトランザクション処理を紹介します。 トランザクション処理を行うと、複数のSQL文の内の１つ以上でエラーが発生した場合に、その全ての処理を無かった事にしてくれます。 テーブル こちらに登録します。 コード import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.SQLException; public class ConnectionClass { static final String URL = "jdbc:mysql://localhost/cm"; static final String U
脆弱性テスト・学習用Webアプリケーションのメモ - ももいろテクノロジー
脆弱性スキャンツールのテストあるいは脆弱性内容の学習を目的として、意図的に脆弱性が作り込まれたWebアプリケーションをいろいろ調べた結果のメモ。 Badstore Badstore: 1.2.3 ~ VulnHub Last update: 2004-02-24 (1.2.3) この手のアプリケーションの元祖であり、現在はメンテナンスされていない。 ショッピングカートを模したつくりになっている。 また、ISOイメージとして配布されている。 BodgeIt Store (The image is taken from The BodgeIt Store Part 1 - InfoSec Resources) bodgeit - The BodgeIt Store is a vulnerable web application suitable for pen testing - Google
1日に100万レコード増える場合のテーブル設計
MySQL（マイエスキューエル）は、TCX DataKonsultAB社などが開発するRDBMS（リレーショナルデータベースの管理システム)です。世界で最も人気の高いシステムで、オープンソースで開発されています。MySQLデータベースサーバは、高速性と信頼性があり、Linux、UNIX、Windowsなどの複数のプラットフォームで動作することができます。 PHPは、Webサイト構築に特化して開発されたプログラミング言語です。大きな特徴のひとつは、HTMLに直接プログラムを埋め込むことができるという点です。PHPを用いることで、HTMLを動的コンテンツとして出力できます。HTMLがそのままブラウザに表示されるのに対し、PHPプログラムはサーバ側で実行された結果がブラウザに表示されるため、PHPスクリプトは「サーバサイドスクリプト」と呼ばれています。
開発環境のデータをできるだけ本番に近づける - クックパッド開発者ブログ
こんにちは。技術部の吉川です。 今回はクックパッドの開発環境構成、特に開発用データベースの構成についてご紹介します。 開発環境の構成 クックパッドのシステム環境は以下のようなフェイズに分かれています。 ※ これはcookpad.comの構成で、サブシステムや個別のサービスはその規模や特性に応じて構成が異なります。 development 開発者が実際に開発を行う環境です。クックパッドでは仮想環境は用いず、手元のマシンでRailsアプリケーションを動かして開発を行っています。 データベースはローカルではなく、開発者全体で共通の開発用データベースに接続しています。 test 手元でテストを実行する場合は、ローカルマシンのデータベースを利用します。CI（rrrspec）などの場合も同様で、テスト実行サーバーのデータベースが利用されます。 staging stagingといえば準本番環境として、本
これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（クエリ編）｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
これだけ見れば大丈夫！ーMySQLパフォーマンス監視のツボ（クエリ編） こんにちは、インフラ担当新人の nob です。 サーバー監視ツールで MySQL を監視しているのにデータが多すぎて活用していない。という方はいませんか？その豊富なデータをパフォーマンス・チューニングに活用しない手はありません。今回はサーバー監視ツールのグラフを読み解いた実戦経験を元に、「これだけ見れば大丈夫」というツボをまとめてみました。 これだけ見れば大丈夫！ クエリ編 ３つのつぼと５つのグラフ （その１）監視ツールが何を見ているのか知る （その２）監視のキモ、グラフ３点セット (Questions, Lock Waits と Transaction Handler) （その３）グラフでチェックする SQL チューニング ( Select Type と Handler) シンプルでお勧め、サーバー監視グラフ化ツール
cakephpのアソシエーションの検索(複数タグでの検索)で結果が重複 cakephpについての質問です。…
cakephpのアソシエーションの検索(複数タグでの検索)で結果が重複 cakephpについての質問です。現在、cakephpを使ってウェブアプリケーションを開発しております。 そこで、タグ検索(複数タグで検索可能)のようなものを実装しようとし、usersテーブルとtagsテーブル、users_tagsテーブルを作り、Userモデルにhabtm、UsersTagモデルにbelongsToを双方へ設定しています。 そこで、 $this->User->UsersTag->findAll($condition...) という文で検索しているのですが、$conditionに"UsersTag.tag_id"=>(1,2)とすると、検索結果にユーザーレコードで二つのタグが該当する場合、重複して結果が出てきます。 レベルが低くて申し訳ないのですが、解決法がわかりそうな方がいましたら、よろしくおねがいし
はてなブクマやblog等で最近よく見かける「タグ」システムについて。…
はてなブクマやblog等で最近よく見かける「タグ」システムについて。 自分のサイトの商品に、 ユーザーが自分で「タグ」を指定することができるようにするには、 どういう設計をすればいいのでしょうか？ mysql/phpで構築しています。 Ａ商品に、 ユーザＸが「あ」「い」「う え」というタグをつけ、 ユーザＹが「あ」「お」とタグをつけた場合、 Ａ商品ページに 「あ」「い」「う え」「お」のタグ一覧が表示され、「あ」は２個ついてるので文字を大きくする、というようなイメージです。 タグテーブルを作って、 商品名：ユーザＩＤ：タグ などのカラム一覧で、 タグカラムにタグをカンマ区切りなどで入れていってるのかなぁ、なんて想像してます。 アドバイスや、参考になりそうなサイトを教えて頂けますとうれしいです。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
逆引きSQL構文集