MySQL with InnoDB のインデックスの基礎知識とありがちな間違い - クックパッド開発者ブログ
こんにちは、サービス開発部の荒引 (@a_bicky) です。 突然ですが、RDBMS の既存のテーブルを見てみたら「何でこんなにインデックスだらけなの？」みたいな経験はありませんか？不要なインデックスは容量を圧迫したり、挿入が遅くなったりと良いことがありません。 そんなわけで、今回はレコードを検索するために必要なインデックスの基礎知識と、よく見かける不適切なインデックスについて解説します。クックパッドでは Rails のデータベースとして主に MySQL 5.6、MySQL のストレージエンジンとして主に InnoDB を使っているので、MySQL 5.6 の InnoDB について解説します。 InnoDB のインデックスに関する基礎知識 インデックスの構造 (B+ 木) InnoDB では B+ 木が使われています。B+ 木は次のような特徴を持った木構造です。 次数を b とすると、
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
MySQLに画像データのパスを保存する理由を教えて下さい。 - あるPHPの本にMySQLに画像データを保存するのではなく、... - Yahoo!知恵袋
DBに直接画像ファイルを保存する方が、システム構築が簡単というメリットがあります。 （画像ファイルのパスから、実際の画像ファイルを取得するなどの処理が不要） しかし、保守性の面では大きなデメリットを抱えます。 DBにテーブルを作る場合、必ずカラムサイズを決定します。 数値や文字列のサイズは、扱うデータの要件を調べれば、必要なサイズを決めることができます。 ところが、画像ファイルの場合、サイズを決めることが容易ではありません。 小さすぎると保存しくいですし、大きくすぎるとHDDの容量を圧迫します。 またDBに画像を保存できる状態で運用すると、かなりの速さでHDDの空き容量が少なくなります。 HDDの空き容量が少なくなれば、大きなHDDに交換すればいいのですが、DB環境を丸ごと移行しなくてはいけません。 DB環境の移行は手間と時間がかかりますし、何よりもDBが停止するためにシステム全体も停止せ
みすとるてぃん: PHPとMySQLの接続方法比較
2012年7月13日金曜日 PHPとMySQLの接続方法比較 無限Excel地獄って怖いですね、みすとです。 久しぶりにPHP+MySQLを触っていて、はるか過去の記憶をほじくって mysql_connect() を使っていたら、 今じゃ非推奨なんですね。 mysql関数に変わるものとしてmysqli関数とPDO関数がありますが、全部まとめて書いているサイトが見当たらなかったので、備忘録代わりに書いておくことにしました。 MySQLに接続し、SELECT分を実行し、表示させる、という一連の動作での書式比較です。とりあえず調べたという程度でセキュアにもなっていないので、参考にする際はご注意ください mysql関数(非推奨) 古くからPHPを使っている人は無意識に使ってしまう関数ですね。 何が問題かって、まだ廃止になっていないので、普通に動いちゃうところでしょうか。 //接続 $link
Kirishiki Studios
事業内容 個人事業主として、ウェブシステム・ウェブアプリケーションの開発・運用（受託）を行っています。 自己紹介 名前: 山田直行(Naoyuki YAMADA) 屋号: 霧敷スタジオ(Kirishiki Studios) ハンドルネーム: hanputu Github Twitter Blog Blog(old) Note Facebook LinkedIn SlideShare SpeakerDeck YOUTRUST 勤務先/取引先(2024年6月時点) 株式会社ナイルワークス(正社員) ドローン開発部 シニアエンジニア 株式会社サイバーエージェント(業務委託) AILab 経済学社会実装チーム リサーチエンジニア 他 業務委託 1社 興味・スキル バックエンド寄りのウェブアプリケーションエンジニア。 小さな開発チームでの立ち上げから長期の運用まで、ウェブサービスの開発過程全般に興味
Windows用XAMPPのUTF-8化
玄箱WEBサーバの確認用であるXAMPPをUTF-8ベースに変更しました。ネットで調べながら、試行錯誤してようやくできましたので、紹介します。恐らく、XAMPPのバージョンが違うと、多少違ってくるかもしれませんので、適宜参考にしてください。私の環境は、OSがWindowsXPで、2007年5月現在の最新版XAMPP1.6.1を使用しています。主なソフトのバージョンは、次の通りです。 Apache 2.2.4 PHP 5.2.1 MySQL 5.0.37 phpMyAdmin 2.10.02 PHPの設定（php.ini） まず、php.iniの修正です。このファイルは、デフォルトではC:\xampp\apache\binにあります。「Windows用XAMPP導入」のページでは、EUC-JPやSJISを設定していましたが、これらをUTF-8に入れ替えます。 output_buffering
EXCELで作成したデータをmySQLに取り込もうと、csv形式で保存しました。…
EXCELで作成したデータをmySQLに取り込もうと、csv形式で保存しました。 保存した後はメモ帳で開いて、文字コードをutf-8に変更して再度保存しました。 一方XAMPPでインストールしたphpMYadminでstudyデータベースを新規に作成しました。 test1テーブルを作成して、id（INT）、url（TEXT）、title(TEXT)、category(TEXT)、hatena(TEXT)、point(TEXT)、since(DATE)、latest(DATE)を入力しました。 インポート->インポートするファイルの形式をCSV、テキストファイルの位置で該当するcsvを参照して、文字セットをutf-8に設定しました。 この状況でアップロードしたところ、CSV 入力のフィールド数が不正です (行: 1)と表示されました。 自分でもいろいろ原因を考えてみましたが、解決方法がわかり
apache friends - xampp
Hi Apache Friends! We just released a new version of XAMPP for Windows for PHP versions 8.2.12, 8.1.25 and 8.0.30. New versions for Linux and OS X will come soon! You can download these new installers... Read more » About Apache Friends Apache Friends is a non-profit project to promote the Apache web server and is home to the XAMPP project. XAMPP is an easy to install Apache distribution containin
「カジュアル」な規模のデータクラスター上でのデータ解析処理 « NAVER Engineers' Blog
今年はさだまさしさんのデビュー40周年ということで、記念コンサート「さだまつり」も絶賛開催中の折も折、残暑も厳しい中皆様いかがお過ごしでしょうか。大平です。 さだまさし氏は経験の豊富な方ですので彼の歌や発言から学ぶことは大変多いのですが、個人的に非常に感銘を受けているのは「歌はコンサートで成長する」という言葉です。歌い手として、「歌」という作品を作って公開・販売するだけが仕事ではなく、実際にコンサートなどでお客さんに届け、お客さんの反応を参考にしたり日々の演奏活動の中で試行錯誤を繰り返して、内容をブラッシュアップし洗練させていく過程を指して先の言葉があるのだと思います。実際にさだまさし氏の曲はCDに収録されているものと実際にライブで演奏されるものとでアレンジが大きく異なり、かつ作品としても質が向上しているものが少なからず存在します。 …あまりさだまさしの話を続けると本当に上長に叱られますの
MySQLのストアドプロシージャと生PHPによるパフォーマンス比較
皆さん、こんばんは。笹亀です。 7月もあっという間に10日間が過ぎて、夏真っ盛りになってきました。 自分も夏対策でアイス眠というマットレスを購入して夏を乗り越えようと思っております。 さて、本日はストアドプロシージャについて検証をしてみたいと思います。 ストアドプロシージャとは、一連のSQL文や処理に名前をつけて保存したものです。 PHPの関数と同じでSQLを関数みたいにしたものがストアドプロシージャになります。 MySQLではストアドプロシージャはMySQLでは5.0から利用が可能です。 今回はMySQLのストアドプロシージャの使い方だけではなく、 生PHPで記載したときとのパフォーマンスを比較してみたいと思います。 MySQLのストアドプロシージャを呼び出して処理をするPHPプログラムとストアドプロシージャで作成したものと同じSQLを実行するPHPプログラムを作成します。 上記２つのプ
Microsoft PowerPoint - oracle_mysql_design_publish.ppt
1 Oracle Database MySQL ( ) Oracle OpenWorld Unconference presented by JPOUG 2012/04/06 2 • DB Oracle MySQL – RDBMS – Oracle MySQL 8 2 • Twitter @sh2nd • id:sh2 • 3 • Oracle Database MySQL • Oracle Database MySQL … • MySQL Oracle Database … 4 MySQL 5 MySQL • 2001/01 MySQL 3.23 RHEL 2.1/3 • 2003/03 MySQL 4.0 UNION • 2004/10 MySQL 4.1 4.1.12 Windows Shift_JIS (Microsoft Code Page 932) RHEL 4 • 2005/
ツイッター、「MySQL」の拡張性を高める|データベース|トピックス|Computerworld
ツイッター、「MySQL」の拡張性を高めるソース・コードをリリース 「NoSQL」レベルのスケーラビリティを実現するMySQL関連のソース・コードが無料で利用可能に 米国Twitterが独自開発した「MySQL」関連のソース・コードをリリースした。オープンソース・リレーショナル・データベース管理システムであるMySQLに、これまで以上のスケーラビリティをもたらすものになるかもしれない。 Twitterは、MySQLを利用する最大規模のユーザーの1社。同社はMySQLデータベース・ソフトウェアを使って、1億4,000万人にのぼるTwitter利用者が生み出すデータを保管している。 Twitterのエンジニア、ジェレミー・コール（Jeremy Cole）氏とダヴィ・アルナウ（Davi Arnau）氏は、もともとTwitterが自社で利用するために開発した多数のMySQL関連ソース・コードのリリ
Twitter版MySQL、オープンソースとして公開
4月9日(米国時間)、TwitterはMySQL 5.5に独自の機能強化を行った「Twitter MySQL 5.5」をオープンソースとして公開した。Twitterでは、タイムラインやユーザデータ、インタレストグラフ、ツイートなどをMySQLで管理しており、Twitter MySQLはオープンソースのソフトウェアであるMySQLに対して、Twitterの開発者がニーズに合わせて独自の改良を行ったものだとしている。 Twitter MySQL 5.5で強化や改良された機能は次のとおり。 InnoDB内部のステータス変数の追加 NUMAアーキテクチャのメモリ割り当ての最適化 サーバサイドのステートメントタイムアウトサポートの改善 InnoDBバッファプールのエクスポート及びリストア SSD向けの最適化 InnoDB内部のステータス変数の追加では、InnoDBファイル及びテーブルスペースファイル
MySQLがおかしい！あなたならどうしますか？ – MySQL Casual Advent Calendar 2011 - As a Futurist...
しわっす！DBA 兼オペレーションエンジニア兼タスクマネージャやってる riywo です。何のネタを書こうかなぁと考えたのですが、正直ネタを仕込む時間もなかったので僕がいつもやってることをさらっと紹介するということで勘弁して下さい＞＜ MySQL がおかしい！ 03:14 hidek: なんかエラー出まくってるんだけど！ 03:14 zigorou: MySQL と通信してるとこっぽい 03:15 riywo: 見ます こんなやりとりは皆さん日常茶飯事ですよね？ね？ね？こんな時に、DB に責任を持つものとして真っ先に対応するのが僕らの仕事です。でも、じゃあ具体的にこのあと何をしましょう？既にサービスはエラーだらけで一刻を争う状態です。 (対応開始) まずはエラーメッセージ 今回の様な場合はアプリのエラーログにどばっと MySQL に関するエラーが出ているでしょう。まずはそれを見ることが始ま
【MySQL】ドワンゴ技術勉強会(2)【はじまった】
お待たせしました！(実に半年ぶりの)ドワンゴ技術勉強会生放送第2回です！ 今回はみんな大好きMySQLのプラグインについて、もりもり勉強します。 Spider Storage Engineで有名なあのひとや、ニコニコ大百科を作ったあのひとなど、豪華なゲストにもお越しいただきました！ ドワンゴからは、才気溢れる新卒社員達が発表！LTでは最近噂の彼も登場します！ ☆タイムスケジュール 18:30 開場 18:45 挨拶 18:50 基調講演 19:00 MySQL pluginについて(ドワンゴ/鬼海/星野/中村) 20:00 Spiderストレージエンジン(チームラボ/斯波様) 21:00 LT(ドワンゴ/鳥居) 21:10 MySQLを通じた全文検索エンジンSenna/Groongaの利用について(ブラジル/末永様) 22:00 終了
NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現
モバゲーで知られるDeNAは、バックエンドデータベースにNoSQLを使っていません。なぜか？ それはMySQL/InnoDB 5.1の環境で秒間75万クエリという、多くのNoSQLでも実現できないような高性能を実現しているから。DeNAの松信嘉範（まつのぶよしのり）氏は、自身のブログにこんな内容のエントリ「Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server」（英語）をボストしています。 Yoshinori Matsunobu's blog: Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server 松信氏が指摘するように、大規模なネットサービスを提供している企業の多くは分散環境で
実録、ほぼ無停止なMySQLのフェイルオーバ (動画もあるよ) - （ひ）メモ
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン でも掲げたゴールである、「マスタが落ちてもぐーすか寝ていられるようにしたい」がほぼできたので、ほとんどサービスが停止することなく、フェイルオーバする様をスクリーンキャストに収めました。 埋め込みプレイヤーだと、小さくてわからないと思うので、リンク直接でみてください。 http://www.irori.org/pub/mysql-mm.mov 登場するホスト 登場するホストは2台、db901とdb902です。 最初は、db901が更新系クエリを受けるプライマリでdb900の浮動IPアドレスを持っています。 画面分割 画面は5分割しています。 左上 = 「select sysdate(),@@server_id」をdb900に対して(sleep 1しながら)延々と実行しまくりんぐ 右上 = ping -n
レプリケーションしてるMySQLで、マスタやスレーブが障害停止した場合のリカバリプラン - （ひ）メモ
MySQLで、レプリケーションベースのHAな構成について考えたメモです。 3台(というか2台＋1台)がいいかなぁと思っていて、前半はその理由を、後半では{マスタ,スレーブ}が{再起不能になった,ちょっとダウンしてすぐ復帰した}場合のリカバリプランについて書きます。 今のところはこれがベストかなと思っているのですが、「こうしたほうがいいと思う！」「ここがおかしい！」などなどのご意見はコメント、TBなどでいただけるとうれしいです。 ゴール マスタが落ちてもぐーすか寝ていられるようにしたい リカバリの作業はできるだけ単純に、かつ、短時間で完了するようにしたい めんどくさいのはいや 基本構成、方針 2台＋1台 サービスで使うのは2台 (db1, db2) もう1台は管理用 (db3) スレーブを多数並べる構成にはしない 台数増えると管理コストが上がる マスタダウン時のフェイルオーバとそのフェイルバ
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性
Facebookが大規模スケーラビリティへの挑戦で学んだこと（後編）～キャッシュが抱えるスケーラビリティの問題とデータセンターにまたがる一貫性 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の技術担当バイスプレジデント Jeff Rothschild氏が、10月8日に米カリフォルニア大学サンディエゴ校で行ったセミナー「High Performance at Massive Scale-Lessons learned at Facebook」の内容を再構成して紹介します。 （この記事は「Facebookが大規模なスケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題」の続きです） キャッシュがスケーラビリティに大きな役割を果たしている Facebookの主な役割は、ユーザーが簡単に（友人たちの）情報を集めることがで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLでTF-IDFの計算、あと2つのベクトルの内積の計算 (2006-12-19)