タグ

mysqlに関するteahutのブックマーク (25)

  • TechCrunch | Startup and Technology News

    Accurate weather forecasts are critical to industries like agriculture, and they’re also important to help prevent and mitigate harm from inclement weather events or natural disasters. But getting forecasts right…

    TechCrunch | Startup and Technology News
    teahut
    teahut 2009/07/30
    ライブでのスキーマの変更.lock-free concurrency, 追記型, OSSではない?
  • Catalyst+mod_perl2+DBIC(DBD::mysql-v4.008)でSegmentation fault - Unknown::Programming

    なんか良く分からんけどSegmentation faultが出て泣きそうだったんだけどやっと原因がわかったっぽい感じなのでメモしとく。 とりあえず環境は下記 CentOS 5.2 Apache 2.2.9 Perl v5.8.8 mod_perl 2.0.4 MySQL 5.0.51b 現象としてはサイトを数時間放置してアクセスすると必ずセグるというもので、当初は何がなんだか分からないL状態でした。 で、coreファイルを解析したところ、 Program terminated with signal 11, Segmentation fault. #0 0x048be024 in mysql_send_query () from /usr/local/mysql/lib/mysql/libmysqlclient.so.15 というメッセージが。どうやらmysqlに問題があるっぽいことがわか

    Catalyst+mod_perl2+DBIC(DBD::mysql-v4.008)でSegmentation fault - Unknown::Programming
    teahut
    teahut 2008/09/30
    >RTにチケットがあったようです。正式対応はまだみたいですが、パッチがでているようなのでそれを使えばセグしないとのこと。
  • mixi Engineers’ Blog » 期間限定の新機能「エコー」登場

    こんにちは。mixi開発部のyouheiです。 今回は先日8月4日にリリースした「エコー」について書きたいと思います。 エコーとは まずはエコーとはどういう機能かのご紹介ですが、プロモーションページがございますのでそちらをご覧いただければ幸いでございます。 http://mixi.jp/guide_echo.pl いくつか抜粋しますと、 あなたの"今"を一言にしてみませんか?誰かに伝えたいこと、ひとりごと等、何でもOK! 気軽な新コミュニケーション機能です。 たとえば、「今日はいい天気だな〜」という、ひとりごとから、「お腹すいたー!誰かランチにいこうよ!」というメッセージ的な使い方まで、「エコー」の楽しみ方はあなた次第! マイミクシィ同士で「エコー」を使うとホームにお互いの書きこみが表示されます。 気になった書きこみには、返信することもできちゃいます。あなたがふと書きこんだ一言に、思わぬ返

    mixi Engineers’ Blog » 期間限定の新機能「エコー」登場
    teahut
    teahut 2008/08/07
    ユーザ分散,時間分散,master/slave という構成.遅延書き込みで負荷軽減するためにQ4Mを導入(まだ必要になるほどの負荷はかかっていない)
  • Drizzle in Launchpad

    7.2.3 Released on 2012-08-02 Fix for CTRL-Z for shutdowns. Many updates for JSON server. Improvements comp... 7.1.36 and 7.2.2 Released on 2012-05-23 7.1.36 is maintance release. 7.2.2 includes new work enabling SSL connections... 7.2.1 on 2012-05-08 First alpha release. 7.1.35 has been released. on 2012-05-08 7.1.35 is a maintenance release for 7.1. Fremont beta is out! on 2011-10-25 That's right

    teahut
    teahut 2008/07/23
    Scalableとあるが,そのカラクリがわからんなぁ
  • mixi Engineers’ Blog » Introducing the Drizzle Project

    ここしばらく、水面下でBrian Akerを代表とするMySQL/SUNのエンジニアたちや、業界のオープンソースハッカーたちとMySQLをスリムダウンさせたマイクロカーネルRDBMSを開発していたのですが、日アナウンスされたので、日語でご紹介させていただきたいと思います。 Drizzleとは? Drizzleとは必要のないものは一切存在しない、最低限でパフォーマンス重視な「MySQLよりシンプルで、軽く、安定して、高速な」 MySQLのforkです。マイクロカーネルアーキテクチャを採用したので、必要のないものは後付けできる構成です。こういった目標もあり、現在、Drizzleの開発チームはMySQLをドラスティックにリファクタリングしています。 コミュニティベースのプロジェクト Drizzleで大事な事は、Drizzleはコミュニティベースのプロジェクトであるという事です。Montyのブ

    mixi Engineers’ Blog » Introducing the Drizzle Project
    teahut
    teahut 2008/07/23
    >シンプルで、軽く、安定して、高速... Stored Procedures, Triggers, Prepared Statements, Views, Query Cache, Event Scheduler, ACL, UNIX Socketを外した... ターゲットは中-大規模なウェブアプリ... デフォルトはInnoDB...
  • Kazuho@Cybozu Labs: フレンド・タイムライン処理の原理と実践

    « MySQL のクエリ最適化における、もうひとつの検証方法 | メイン | MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話 » 2008年06月09日 フレンド・タイムライン処理の原理と実践 MySQL (InnoDB) に直接アクセスしてタイムライン処理を高速化する話に続きます。 Twitter が注目されるようになって久しい今日この頃ですが、友人の投稿を時系列に並べて表示する、というのは、Twitter に限らず Mixi の「マイミクシィ最新日記」やはてなブックマークの「お気に入り」等、ソーシャルなウェブサービスにおいては一般的な手法です。ですが、この処理 (以下「フレンド・タイムライン」と呼ぶ) は、一見簡単そうに見えて、実装には様々な困難が伴います。記事では、「フレンド・タイムライン」を実現する、プッシュ型とプル型の二種類の手法について、その原

    teahut
    teahut 2008/06/09
    グラフの各ノードがスコアリングされたデータを持つとき,隣接ノードから上位k件を検索するときのベンチマーク.事前計算(push)はデータ量15倍,データ追加速度1/12, 取得速度11倍 (1.3Kqps).1PC, 10Kノード, 1Mデータ.
  • MySQL Conference 2008に行って来た - stanaka's blog

    今年もMySQL Conference 2008に行ってきました。社内向けの報告資料と雑多なメモですが、よろしければ参考にしてください。 *1 概要 MySQLがSunに買収されて始めてのConference 8セッション並列で、OSCONの規模にだいぶ近い MySQLが扱うトラフィック量・データ量がどんどん大きくなってきており、それにどう追従するか、という観点の話が多い 買収の話とか "MySQL、新機能追加は有償版の「MySQL Enterprise」だけを対象に"というのは、かなりミスリーディングな記事 実体は一部のセキュリティ形の機能やnative storage engine-specific driverをMySQL Enterpriseとして出す、という話 Backup機能や、Falcon, Mariaといったストレージエンジンの開発では、Community ServerとE

    MySQL Conference 2008に行って来た - stanaka's blog
    teahut
    teahut 2008/04/21
    >Maria: MyISAMの後継, transaction, table-lock... Falcon: InnoDBの代替ではないと言っているけど、代替としか思えない... MySQLがmemcachedを正式サポート... Facebook: 260億枚の写真、毎秒25万リクエスト(写真だけで)
  • Scaling Mania at MySQL Conference 2008 - High Scalability -

    The 2008 MySQL Conference & Expo has now closed, but what is still open for viewing is all the MySQL scaling knowledge that was shared. Planet MySQL is a great source of the goings on: Scaling out MySQL: Hardware today and tomorrow by Jeremy Cole and Eric Bergen of Proven Scaling. In it are answered all the big questions of life: What about 64-bit? How many cores? How much memory? Shared storage?

    teahut
    teahut 2008/04/19
    MySQLのスケーラビリティに関する問題を議論した発表リスト
  • Kazuho@Cybozu Labs: Q4M (Queue for MySQL) 0.3 リリース

    « 高速なCometサーバを書いてみた件 | メイン | Parallel::Prefork - Perl でマルチプロセスなサーバを書く方法 » 2008年03月19日 Q4M (Queue for MySQL) 0.3 リリース MySQL 上で動作するメッセージキュー「Q4M」のバージョン 0.3 をリリースしました。今回のバージョンアップで、以下の機能が追加になっています。 メッセージリレー機能 Q4M テーブルに挿入されたメッセージを、別のサーバで動作する MySQL に転送できるようになりました。サーバが落ちたりネットワークが切断された場合でもメッセージの喪失や複製が発生しないように設計されています。 例えば Pathtraq の場合、サービス体と文解析システムは、それぞれ物理的に離れたロケーションで運用されています。そして、両者間の情報交換のために Q4M のメッセージリ

    teahut
    teahut 2008/03/19
    >挿入されたメッセージを、別のサーバで動作する MySQL に転送できるようになりました(耐障害性)... 複数のキューを優先度付きで指定して、データを読み込めるようになりました。優先待ち行列を作成することが可能です
  • 【特集】MySQL Clusterを試す - クラスタ化した分散アドレス帳をつくる (2) MySQL Clusterの概要 | エンタープライズ | マイコミジャーナル

    MySQL Clusterは、従来の「MySQL Server」に、新たに「NDB Cluster」ストレージエンジンを組み合わせることで実現されるシステムだ。MySQL AB.から配布されている「NDB Cluster Adminitration Guide」によれば、NDB Clusterは以下のような特徴を持っているようだ。 MySQL Serverと組み合わせることも、データベースサーバとして独立して動作することも可能。 プログラミングインタフェースには、ネイティブな「NDB API」とODBCが提供される。また、MySQL Serverと組み合わせた場合は、MySQLの全てのインタフェースが利用できる。 障害ノードのデータは瞬時に他に引き継ぎ、情報の消失を防ぐ。 設定、管理が容易である。 また、NDB Clusterは「shared-nothing」アーキテクチャによる「In-m

    teahut
    teahut 2008/03/05
    >Oracle RACはSANなどの共有ディスクシステムを必要... 共有ディスクがSingle Point Of Failureになる, NDBは低コストでSPOFがない, データベースの全てのデータがメモリ上に展開
  • Kazuho@Cybozu Labs: MySQL のウォームアップ (InnoDB編)

    « DBIx::Printf と LIKE 式 | メイン | メッセージキュー事始め in Perl - コマンドラインクライアントを作ってみた » 2007年10月11日 MySQL のウォームアップ (InnoDB編) サーバの起動直後はデータがメモリ上にないためデータベースの応答速度が遅い、というのは良く知られた話かと思います。MySQL の場合、使っているエンジンが MyISAM であれば、各データファイルをあらかじめ cat ... > /dev/null するなりしてバッファキャッシュに載せておけばいいのですが、InnoDB は独自のキャッシュを持っているのでそういうわけにもいかないように思います。 具体的には、パフォーマンスを最大限発揮するためには OS のキャッシュにではなく、InnoDB のバッファプールにデータをロードすべきであるという点。それに、たとえ OS のキャ

    teahut
    teahut 2007/10/13
    >起動直後はデータがメモリ上にないためデータベースの応答速度が遅い... MyISAMであればデータファイルをcat ... > /dev/nullしてバッファキャッシュに載せておけばいい... InnoDBは、プライマリをキーにして全行をロード
  • MySQL Users Conference Japan 2007レポート(1/2)

    MySQLと掛けてIKEAと解く、その心は? ~ MySQL Users Conference Japan 2007レポート ~ MySQLをテーマとしたアジア初のカンファレンス「MySQL Users Conference Japan 2007」が開催された。新たなエンジン「Falcon」をはじめ、この中で紹介された最新技術動向を紹介する。 高橋 睦美 @IT編集部 2007/9/21 アジア初のカンファレンス開催 MySQLは9月11日および12日に、アジア太平洋地域では初めてのカンファレンスとなる「MySQL Users Conference Japan 2007」を開催した。2日間にわたり、パフォーマンスチューニングやMySQLの可用性を高めるテクニック、導入事例などをテーマとしたセッションが行われた。 MySQLは、オープンソースのデータベースソフトウェアだ。ほかのDBMSに比べ

    teahut
    teahut 2007/09/22
    >DRBDを用いて(NW越しに)ブロックレベルでデータをレプリケーションし、2つのデータベースをまったく同じ状態に保つ... Falconは、InnoDBをほぼすべての面で上回ることを目指しており、バージョン6.0で安定版が搭載される予定
  • 推奨configureオプション最新版 - mir the developer

    MySQL 5.0系向けです。MySQL 5.0.46をベースにしてます。 CC=gcc CXX=gcc ./configure \ --prefix=/usr/local/mysql \ --localstatedir=/usr/local/mysql/data \ --libexecdir=/usr/local/mysql/bin \ --enable-thread-safe-client \ --enable-local-infile \ --enable-assembler \ --with-pic \ --with-fast-mutexes \ --with-client-ldflags=-static \ --with-mysqld-ldflags=-static \ --with-zlib-dir=bundled \ --with-big-tables \ --with-ya

    推奨configureオプション最新版 - mir the developer
    teahut
    teahut 2007/08/06
    >--with-client-ldflags=-staticと--with-mysqld-ldflags=-static: libsennaがmysqldとかのバイナリに埋めこまれるようになります, make installの代わりにmake bin-dist: make installするよりもそのtarballを好きな場所で展開して使う方がおすすめです
  • Users Conference Japan 2007 申込受付開始 - mir the developer

    MySQLのユーザカンファレンスが9/11-12の2日間、東京で行われます。すばらすぃ〜ですねぇ。数年前はこんなこと考えられなかったです。時代は変わりつつあるとうことなのでせうか。 http://www.mysql-ucj2007.jp/session/index.html あのRubyの*まつもとゆきひろ*さんも登壇されるようです。わくわく。 で、話は急展開するのですがなんと、オイラもSpeakerの一人として参加することになりました! 2日目(9/12)の午後にMySQL+Sennaの話をします。 でもプログラムみたら、Brian Akerとぶつかってる。梶山さんともぶつかってる。聞きに来てくれる人いるといいなぁ・・。 Web事前申込なら無料だそうです。申込はお早めに〜〜。 何か速攻で埋まったっぽい 自分のとこだけいきなり満席になってる。これ当ならウレシイけど、何かの手違いではないか

    Users Conference Japan 2007 申込受付開始 - mir the developer
  • MySQL or PostgreSQL + Sennaのオススメ構成 - グニャラくんのグニャグニャ備忘録@はてな

    Sennaの主な利用用途であると考えられる、 データベース組み込み用途。 ブラジル内部でもSennaを用いたサービスを運用していますが、 その運用ノウハウの一部をメモ。 Sennaはメモリい Sennaはインデックスをメモリにマップすることによって 高速な追加・更新・削除を実現しています。 よって、メモリ使用量が多くなっています。 INITIAL_N_SEGMENTSを減らすことによって、 メモリ使用量を下げることができますが、 特に追加・更新においてパフォーマンスが低下します。 また、Linuxの場合、 空きメモリはI/Oキャッシュに割り当てられます。 Sennaのメモリ使用量が多いため、 I/Oキャッシュとして用いられるメモリ容量が減り、 結果としてシステム全体のパフォーマンスが落ちる場合があります。 MySQLのkey_buffer_sizeは、 Sennaと他のインデックスを組み

    MySQL or PostgreSQL + Sennaのオススメ構成 - グニャラくんのグニャグニャ備忘録@はてな
    teahut
    teahut 2007/07/27
    >マスタのデータベースと、検索用のデータベースを分ける, マスタのデータベースから定期的に検索用のデータベースにデータをコピー, key_buffer_sizeは忘れずに設定する
  • はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知

    はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28

    はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
    teahut
    teahut 2007/07/12
    動かねぇ…orz
  • hide-k.net#blog: DBIx::ClassでFULLTEXT searchしてみる

    DBIx::ClassでmysqlのFULLTEXTインデックスに対する検索をより美しく使うにはどうすればいいかなぁ、と考えた結果search_literalを使えば良いかと思い立った次第です。 こんなテーブルで CREATE TABLE table01 ( id INT UNSIGNED AUTO_INCREMENT NOT NULL, PRIMARY KEY(id), title VARCHAR(255), artist VARCHAR(255), review TEXT, FULLTEXT(review) ); Schemaを作って、こんな感じに走らせると use strict; use warnings; use CD::Schema; my $schema = CD::Schema->connection('dbi:mysql:cd', 'user', 'password');

    teahut
    teahut 2007/07/12
    >search_literalを使えば良いか... ->search(...)->search_literal('match(review) against(?)', '最高');
  • たけまる / MoSQL を使ってみた SENNA

    5.0.37-linux-i686 MoSQL の特徴を引用しておきます.ちょっと使ってみた感じでは,宣伝文 句どおり日語を扱えていますし,Senna による全文検索もできています. スラッシュドット ジャパン - MySQL互換のデータベース、MoSQLが登場 - デフォルトの文字コードはUTF-8(5.0&5.1) - (デフォルトでは)文字コードの自動変換は行なわない(5.1のみ) - 文字コードの範囲外のバイト列でもそのまま格納。データが失われない(5.0&5.1) - デフォルトでSennaを組み込んでいるため、高速な日語全文検索が可能(5.0のみ) - ほとんどのエラーメッセージを日語にできる(5.0&5.1) C++ コンパイル環境をインストール $ sudo apt-get install g++ ダウンロード MeCab: Yet Another Part-of-S

  • MySQL互換のデータベース、MoSQLが登場 | スラド

    MySQL互換で日語のハンドリングを向上させたオープンソースのデータベースMoSQL(もえすきゅーえる)が登場しました。MySQLと異なる点は、 デフォルトの文字コードはUTF-8(5.0&5.1) (デフォルトでは)文字コードの自動変換は行なわない(5.1のみ) 文字コードの範囲外のバイト列でもそのまま格納。データが失われない(5.0&5.1) デフォルトでSennaを組み込んでいるため、高速な日語全文検索が可能(5.0のみ) ほとんどのエラーメッセージを日語にできる(5.0&5.1) などとなっています。またcharset指定の機能がないアプリケーションでもクライアントライブラリの文字コードを環境変数で指定することでデータベースに日語を格納出来るそうですが、あくまでアプリケーション依存なので出来ない場合もあります。 ちなみにマスコットキャラはイルカの「萌ちゃん」で、スウェーデン

    teahut
    teahut 2007/06/25
    >日本語のハンドリングを向上: デフォルトの文字コードはUTF-8, 文字コードの自動変換は行なわない, 文字コードの範囲外のバイト列でもそのまま格納, データが失われない, デフォルトでSennaを組み込んでいる
  • MySQL FULLTEXT Ngram : LIKE検索より数十倍高速な、お手軽 日本語全文検索 について|blog|たたみラボ

    tatamilab.jp

    teahut
    teahut 2007/06/22
    >FULLTEXTとNgramを駆使した日本語全文検索... MySQL単体で動作... UTF8ならば、"ねっと" で検索しても "ネット" がヒット... INSERT/UPDATE処理が遅くなる... Ngramを格納するカラムを1つ余計に用意... Ngramを生成し先のカラムに格納