IBM DeveloperIBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.
[MySQL] 日別にパーティショニングする | HAPPY*TRAP
MySQLで、日別にパーティショニングする例です。 パーティショニングの指定をつけてテーブルを作成します。1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 CREATE TABLE logs ( id INT UNSIGNED NOT NULL AUTO_INCREMENT, data VARCHAR(1024) NOT NULL, log_date DATE NOT NULL, PRIMARY KEY (id, log_date) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 PARTITION BY RANGE columns(log_date) ( PARTITION p20120322 VALUES LESS THAN ('2012-03-23') ENGINE = InnoDB, PART
あれがのめる – rm -fr /*
のめるぞ( ´ω｀)あれがのめるぞー ・・・酒ではない何か。 日本全国あれ飲み音頭 by バラクーダではない何か で、Barracuda。 Seagateの何かではなく、MySQLのお話。 InnoDB: highest supported file format is Barracuda. ていうメッセージ。 長いこと何だろうなーと思い続けていたのですがようやく氷解。 1.がAntelope。 2.がBarracuda。 3.がCheetah。 以下略、26まで。 今のところAntelopeがデフォルトのファイルフォーマットで、 Barracudaが圧縮機能付きのファイルフォーマット。 innodb_file_formatで指定可能だってさ( ´ω｀) 公式をよく読むと 1.テーブルスペースを持っているテーブル単位で有効だよ 2.だからinnodb_file_per_tableを有効にし
MySQL（InnoDB）の圧縮機能を試してみました - 晒名日記
2012年01月25日 23:38 カテゴリ MySQL（InnoDB）の圧縮機能を試してみました Posted by hirogasa No Comments 某サイトのデータベースの容量が1GBを超えていたので、InnoDBが備えるデータ圧縮機能を利用してみました。 その結果をメモったので、参考にしていただければ幸いです。 KEY_BLOCK_SIZEには8KBを指定しました。 デフォルトのKEY_BLOCK_SIZEは16KBなので、理論的には半分にまで圧縮できるそうです。 早速試してみましょう！！ 1.小さめのテーブル 240MiB程度の小さなテーブルの場合。 データ 230.8 MiB インデックス 8,768.0 KiB 合計 239.3 MiB ↓ データ 144.0 MiB インデックス 14,928.
The Art of Work：MySQL InnoDB Pluginのデータ圧縮機能 性能編 - SH2の日記
MySQL InnoDB Pluginのデータ圧縮機能の続きです。前回はInnoDB Pluginの独自機能であるデータ圧縮の仕組みを解説し、Wikipedia日本語版のデータが約半分にまで圧縮されることを確認しました。今回はデータ圧縮によって性能がどのように変化するかを、実際にベンチマーク試験を行って見ていきます。 試験の方針 データ圧縮による性能への影響は、以下の二点が考えられます。 メリット：データサイズが小さくなるため、ディスクI/Oが減る デメリット：圧縮・展開の処理が行われるため、CPU負荷が高くなる そこで、これらの特徴がよく分かるように試験パターンを工夫します。Wikipedia日本語版のデータはInnoDB上でおよそ5GBありますが、まず狭い範囲に絞って読み取り処理を行うことでディスクI/Oがあまり発生しないようにします。これでCPU負荷の傾向を確認することができます。次
InnoDB の圧縮を使うときの運用 - いちいの日記
.@nippondanji さんにブログにまとめろと言われた気がするのだけど、あんま大したネタではないです。しかも、この作業は失敗する可能性を見越していたのであまり作業ログを取ってなかった...。 ので、ちょっと疑問に思った点を幾つか書いておこうかと思います。 でかい InnoDB なテーブル とあるテーブルが大きくなってしまい、運用がめんどくさくて困ってました。 mysql> show create table hoge\G *************************** 1. row *************************** Table: hoge Create Table: CREATE TABLE `hoge` ( `date` date NOT NULL, `key` int(10) unsigned NOT NULL, `value` double NOT
MySQL InnoDB Pluginのデータ圧縮機能 - SH2の日記
InnoDB Pluginの面白い機能の一つに、データ圧縮機能があります。今回はその仕組みと効果について見ていきたいと思います。まずはグラフをご覧ください。 これはWikipedia日本語版のデータベースをダウンロードし、記事本文の格納されているtextテーブルをMySQL 5.1＋InnoDB Plugin 1.0の環境にロードしたものです。 元テキスト：今回利用したデータは2009/06/21版のものです(jawiki-20090621-pages-articles.xml.bz2)。元テキストはここからXml2sqlを用いてタブ区切りテキストを取り出したものを用いています。このファイルには1,167,411件の記事が格納されており、容量は3,436MBとなっています。 元テキスト gzip：元テキストをgzipコマンドで圧縮したものです。 MyISAM：記事をMyISAMのテーブルに
mysql 5.1 のパーティショニングを試す - end0tknr's kipple - web写経開発
postgresで巨大レコード数のtableを扱うなら、パーティショニング - end0tknr's kipple - web写経開発 以前、postgresのパーティショニングには触れましたが、今回はmysql5.1.34のパーティショニングを試したいと思います。 have_partitioning=NOの場合、再make http://dev.mysql.com/doc/refman/5.1/ja/partitioning-overview.html パーティショニングの可否は、SHOW VARIABLES で確認できますが、have_partitioning=NO の場合、configureのオプションに --with-plugins=partition を追加して、再makeする必要があります。 mysql> SHOW VARIABLES LIKE '%PARTITION%'; +
ricollab Web Tech Blog » Blog Archive » MySQLパーティショニングについて（その2：性能検証編）
こんにちは、濱田です。 前回から時間が経ってしまいましたが、今回は「性能検証編」ということで、パーティションドテーブルに対して実際にデータを挿入・参照することでパーティショニングの性能面を検証してみようと思います。 性能検証環境 使用したマシンのスペックは以下の通りです。 OS CentOS 5.3 32bit (on Windows XP Pro SP3 32bit via VMware Server 2.0.0) CPU Core2 Duo E8300 2.83GHz (VMには1CPUを割り当て) Memory 3.25GB (VMには512MBを割り当て) MySQL のバージョンおよび設定は以下の通りです。なお、MySQL サーバおよびクライアントは同一マシン上で動作させました。 MySQL 5.1.35-community (設定は my-medium.cnf をそのまま使用)
ricollab Web Tech Blog » Blog Archive » MySQLパーティショニングについて（その1：基本知識編）
初めまして、リコーの濱田です。このたび私も本ブログを担当することになりました。今後ともよろしくお願いいたします。 本エントリではデータベースに関する技術トピックとして、MySQL 5.1 から導入された機能であるパーティショニングについて書こうと思います。少し長くなりそうなので、「基本知識編」「性能検証編」の2回に分けて書くことにします。 今回は「基本知識編」として、パーティショニングの概要と基本的な使い方について紹介します。 パーティショニングの概要 パーティショニングとは、事前に設定されたルールに従ってデータをパーティションと呼ばれる部分的なテーブルに分割する仕組みです。 データ挿入時には、設定ルールに従ってデータが該当するパーティションに自動的に振り分けられます。データ参照時には、オプティマイザがクエリから必要なパーティションを判断し、該当するパーティションのみにアクセスします。これ
DECOLOGでのMySQL Archiveエンジンの使い方
こんにちわ、stoneです。 今回は、MySQLのストレージエンジンの中の１つ、ArchiveエンジンのDECOLOGでの使い方をご紹介したいと思います。 ※「DECOLOGでのMySQL BlackHoleエンジンの使い方」も合わせてどうぞ Archiveエンジンの概要MySQLのマニュアルをご覧いただくのが正確なのですが、その特徴を簡単にまとめると。。。。 insert/selectは出来るが、update/deleteは出来ない order byはサポートされない blobもサポートされない データは圧縮されてディスクに保存される まぁ、最初にこのマニュアルを読んだときの、正直な感想は、 「どうやって使うんだ、これ？」 って感じでした。 deleteが出来ないので、データは溜まる一方だし、データは圧縮して保存されているので、selectもそんなに速くないことは容易に想像できます。 ア
[ThinkIT] 第3回：MemoryとArchive (1/3)
今回は、「Memory」と「Archive」の2つのストレージエンジンを取り上げます。Memoryエンジンは比較的古いMySQLのバージョンから提供されており、以前はHeapと呼ばれていたストレージエンジンです。もう一方のArchiveエンジンは、MySQL 4.1から提供されている比較的新しいエンジンです。 それでは、それぞれの特長やテーブルファイルの構成について解説します。 Memoryエンジンは、その名前の通りテーブルデータすべてをメモリ上にのみ格納します。これは、変更結果をディスク上に書き出さないことを意味します。変更データもメモリ上に存在しているため、アプリケーションからの問い合わせは、このメモリ上のデータに対して処理を行なって結果を返します。 ただし、MySQLサーバが終了するとテーブルデータが消滅してしまいますので、当然変更結果も消滅します。ここでいうMySQLサーバの終了と
MySQL :: MySQL 8.0 リファレンスマニュアル :: 16.5 ARCHIVE ストレージエンジン
ARCHIVE ストレージエンジンは MySQL バイナリ配布に含まれています。 ソースから MySQL を構築する場合にこのストレージエンジンを有効にするには、CMake を -DWITH_ARCHIVE_STORAGE_ENGINE オプションで呼び出します。 ARCHIVE エンジンのソースを調べるには、MySQL ソース配布の storage/archive ディレクトリを検索します。 ARCHIVE ストレージエンジンが SHOW ENGINES ステートメントで使用できるかどうかを確認できます。 ARCHIVE テーブルを作成すると、ストレージエンジンはテーブル名で始まる名前のファイルを作成します。 データファイルの拡張子は .ARZ です。 最適化操作中に .ARN ファイルが現れる場合があります。 ARCHIVE エンジンでは、INSERT、REPLACE および SELE
fluent と growthforecast を連携させてさくさくグラフを描く - うまいぼうぶろぐ
http://blog.nomadscafe.jp/2011/12/growthforecast.html http://d.hatena.ne.jp/tagomoris/20120218/1329558305 http://d.hatena.ne.jp/hogem/20120521/1337610385 cacti はcactiで便利だけど、設定するのに面倒だったりする一方でgrowthforecastはびっくりするぐらい簡単なのでとても素敵ですね。 ログを受け取るfluentd で type datacounter をstoreする設定まで完了している前提。 type datacounter で pattern1 2xx などと設定しておくとfluentの JSON 出力に、2xx_count, 2xx_rate, 2xx_percentage などが出てくるので、グラフにしたい値をt
尊重されたいすべてのソフトウェアエンジニアへ - たごもりすメモ
自分はソフトウェアエンジニアとして毎日の糧を得ている。今のところはサラリーマンエンジニア以外の存在になる予定はない、が、とはいえ唯々諾々とつまんない仕事ばっかりやる毎日はできればごめんだと思っている。コードを書くのは楽しいからコードを書ける仕事をしたいし、特に面白い問題やまだ誰も手をつけてなさそうな問題を解決する仕事ができれば最高だ。 つまり、そう、尊重されたい。自分のやれること、やりたいことを尊重されるようになりたい。自分がやった仕事には価値があると思われるのは嬉しいし、そのように(勤務先以外の)他人から認められれば面白い話も聞けるようになるかもしれない。尊重されるソフトウェアエンジニアになれれば楽しそうだ。 尊重されるソフトウェアエンジニアであれば、もしかしたら自分の仕事についてある程度の自由が効くかもしれない。突然わけのわからない政治でがんじがらめの炎上プロジェクトのPMをやってこい
Munin 2.0(stable)登場☆新機能はとってもうれしいなって（第1回） | Pocketstudio.jp log3
◆ Munin 2.0 (stable) が遂にリリース！ “リソース推移のモニタリング” ただ、それだけに特化した、監視ツール Munin 。設計思想は、シンプルかつパワフルに。 Munin は、サーバの「リソース推移」を見るためのツール。簡単なセットアップで、ブラウザを通して、サーバの中の様々な状況を、グラフとして見ることができる。例えば、CPUの使用状況や、メモリ、ディスク等々。障害通知の機能は最低限。あくまでリソース推移を簡単に見ることに特化。 単純に数値を見るだけなら、sysstat(sar)や各種のログを見る事でも目的は達成できる。しかし、障害発生の現場においては、複数のサーバから、複数の指標を取得＆比較し、迅速な対応と判断が求められる。そこでは、ログの追跡は時間や人手がかかる。一方、グラフで障害発生ポイントを、視覚的に、迅速に把握できるようになる事は、原因切り分け時間の短縮
DevOpsを実践する企業に共通すること。DevOps Day Tokyo 2012
DevOpsに関する国内最大のイベントとなった「DevOps Days Tokyo 2012」が5月26日に都内で開催されました。 これまで国内でDevOps関係のイベントは何度か開催されてきましたが、今回のイベントは世界中で開催されているイベント「DevOps Days」の東京開催で、海外からDevOpsムーブメントの中心になっていると言っていいゲスト2人を招き、100人以上の参加者が集まるという大きなイベントでした。 主要な講演の1つ、John Wills氏による「Introduction to the DevOps movement」のハイライトを紹介します。 Introduction to the DevOps movement EnstratusのJohn Wills氏。 昨日、Jay（本イベントの司会で中心人物の堀田直孝氏）と、DevOpsの定義ってなんだろうね、という話をして
GrowthForecastが便利な件について
定期的に処理を実行するものがあって、その結果や中間結果を可視化したいなーと思うときがあるわけです。表示したい値は簡単に出せますが、それを見やすい形で出すのってけっこう面倒なものです。ログファイルをgrepしろやーはちょっと嫌です。グラフ表示する場合はCactiあたりが有名だと思いますが、グラフの追加に手間がかかるのがツライのです。とりあえずサクッと表示したいのです。 噂によるとkazeburoさんのGrowthForecastというものが便利という事なのでさっそく試してみました。 今回cpanmも初めて入れました。これも便利です。 まずはcpanmのインストール。Fedora17くらいだとyumにあります。CentOSだと無かったので手動で入れます。 cd ~/ mkdir bin && cd bin curl -LOk http://xrl.us/cpanm chmod +x cpanm
Treasure Dataの解析プラットフォームを使ってみた - mikedaの日記
ログの解析は日時でscpでかき集めてバッチ集計してるんだけど リアルタイムで集計したい もっと柔軟に集計したい という人は多いんじゃないでしょうか。 リアルタイム収集はFluentdを使えばいけそうですが、集計部分を柔軟にというとどうだろう。 CookpadやAmebaはHiveを使ってるとの情報がある。 『Hive on AWS @ COOKPAD』 『Amebaのログ解析基盤』 （どっちも古い。HiveはHadoop上でSQL（っぽく）ログ解析するためのプロダクトです） 「面白そうだなー。でもHadoopよくわからん、というかサーバいっぱいいりそうだから承認通すのめんどくさい(´・ω・｀)」 とか思ってたらSoftwareDesignの最新号にこんな記事が。 Cookpadの人 「Treasure Dataは...ログ解析用の商用プラットフォームを提供しています。 Fluentd経由で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQL :: InnoDB Plugin 1.0 for MySQL 5.1 User’s Guide :: 3 InnoDB Data Compression
https://github.com/craftgear/the-little-redis-book/blob/master/ja/redis.md
Google Code Archive - Long-term storage for Google Code Project Hosting.
自分のための code を書こう
