DBFlute Top
News 2023/10/12DBFlute-1.2.7 (Java8対応) をリリースしました。 2022/05/08DBFlute-1.2.6 (Java8対応) をリリースしました。 2021/01/01DBFlute-1.2.4 (Java8対応) をリリースしました。 2020/01/01DBFlute-1.2.2 (Java8対応) をリリースしました。 2014/12/01DBFlute-1.0.5N ("に"ゅーろーど) をリリースしました。 2012/09/26DBFlute-1.0.0 をリリースしました。 2010/05/21サイトを全面リニューアルしました。 2009/12/14DBFlute.NETの仮のトップページを公開しました。
PHP+Kestrel+Supervisorでお手軽タスクキューイング
こんにちは、久保田です。 ウェブサービスでは、ユーザのアクションに従ってバッチ処理を行わなければならないケースがままあります。この記事では、バッチ処理の手法の一つであるタスクキューイングをPHPとKestrelとSupervisorを利用して行うやり方の導入を紹介します。 なぜなにタスクキューイング ウェブサービスでは、ユーザのアクションに従って非同期にバッチ処理を行うようなケースがよくあります。 例えばflickrのような写真を共有するウェブサービスで言えば、ユーザが写真をアップロードしたあとに非同期でその画像の複数のサムネイル生成や加工をしなければならないケースがあります。 よく見られるのは、DBにバッチ処理のためのタスクデータを入れておいて、後でcronで定期的に起動するワーカープロセスからバッチ処理を行う方法です。このやり方には、ワーカーを複数プロセスで扱いづらい、処理がリアルタイ
IDの設計についてのさらに突っ込んだ議論
今日も前回に引き続きデータベース設計の話をする。今回の話で一旦データベース設計については筆を置くつもり（ブログ書いてないで原稿書けよ＞俺）であるが、その前に話をすっきりさせて置きたいと思う。最後を飾るテーマはIDの設計である。 数字しかないのに意味を含んだID前回のエントリを見ていただいた方から、次のような構造を持った学籍番号があるというフィードバックを頂いた。 全部数値で"入学年度下2桁"+"学科コード"+"学科内のあいうえお順の順位" このようなルールで割り当てた学籍番号を、単なる数値として扱うのであれば大きな問題はない。これは数値しか含まれていないので、SQLのデータ型としては単に数値型を使えば良いだろう。だが、学籍番号から入学年度を判断する、あるいは学科を判断するといった用途で使われるのであればやはり適切ではないといえる。リレーショナルモデルの観点だけからではなく、IDとして適切で
OracleでLimit句を使ったかのようなSQLを実行しよう - 知らないことがあってもへっちゃらさ
例えば、左のような EMP テーブルがあったとします。このデータから、EMPNO の大きい方から２行を取得したいわけですよ。 これが MySQL や PostgreSQL なら、 select * from EMP order by EMPNO desc limit 2 で一発というシュチュエーションです。 さて、じゃぁ Oracle ではどうやるんだ？ て話しなんですが、ROWNUM というカラム（？）を使います。上記の SQL を Oracle 用に書き直すと、 select ROWNUM, EMPNO, ENAME from ( select EMPNO, ENAME from EMP order by EMPNO desc ) where ROWNUM<=2 となり、帰ってくる結果は
HBaseとはどんなNoSQLデータベースなのか？ 日本語で読める情報を集めてみた
Facebookが新しいサービス「Messages」の基盤として、NoSQLデータベースの「HBase」を選択したことを、先日の記事「Facebookが新サービスの基盤にしたのは、MySQLでもCassandraでもなく、HBaseだった」で紹介しました。 HBaseは、Facebookによると次のような特徴を備えていると説明されてます。 負荷に対して非常に高いスケーラビリティと性能を発揮 CassandraよりもシンプルなConsistency Model（一貫性モデル）を備えている 自動ロードバランス、フェイルオーバー、圧縮機能 サーバーごとに数十個のシャードを割り当て可能、などなど このHBaseはどのようなデータベースなのでしょうか？ 情報を集めてみました。 HBase入門のプレゼンテーション 最初に紹介するのは「HBaseエバンジェリスト」Tatsuya Kawano氏のプレゼン
レプリケーションを使わないMySQLの冗長化
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、DBMSチームの三谷です。 ヤフーでは多くのサービスでMySQLを利用しています。MySQLはヤフーを支える重要な技術の1つです。 私のチームではヤフーのさまざまなサービスのデータベースを集約して管理・運用しています。 集約することでコストの削減やノウハウの蓄積といった効果を生み出しています。 今回はこの集約環境の冗長化方法についてご紹介します。 集約環境の構成 集約環境ではマスターの冗長化にレプリケーションを利用せず、エンタープライズ向けの共有ストレージを利用したアクティブ・パッシブ型のHA構成を採用しています。 データファイルを共有ストレージに置き、どのマスターサーバーからでも同じデータに対してアクセスできるように
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
第２回「データベースを統合利用するための基盤としてのセマンティックウェブ技術」 - NBDC
はじめに ライフサイエンス分野の研究により生み出される多様かつ膨大なデータから必要な情報を効率的に得るためには，ばらばらに構築されているデータベースを統合的に扱うための情報基盤の構築が必要不可欠である．連載第1回「データベースの現状と未来」（https://events.biosciencedbc.jp/article/01）では，データベース統合化のための具体的なステップとして，つぎの3つの段階があげられた． 第1段階：データベースを網羅的に収集しメタデータを付与すること 第2段階：それぞれのデータベースにおいてフォーマットと用語の統一を行うこと 第3段階：複数のデータベースを再構築し使いやすいインターフェイスにまとめあげること 大学共同利用機関法人 情報・システム研究機構 ライフサイエンス統合データベースセンター（DBCLS：Database Center for Life Scien
開発者が知っておくべき、ドキュメント・データベースの基礎
開発者が知っておくべき、ドキュメント・データベースの基礎：特集：MongoDBで理解する「ドキュメント・データベース」の世界（前編）（1/3 ページ） ドキュメント・データベースの最大の特長は、「パフォーマンス、大量データ、スケーラブルといった課題を克服するためのシンプルなセットを提供している」という点だ。 もちろん既存の多くのリレーショナル・データベース（以下、RDB）でも、ドキュメント・データベースが備えている特徴的な各機能に類似することが実現可能だし、さらに広範な概念や機能性を提供している。例えばシャーディング（Sharding。詳細後述）についても、既存の多くのRDBでデータの分散化が可能だ。しかしドキュメント・データベースでは、「そもそもデータ構造がこうした構成に適している」という点と、「それに付随して、考え方もシンプルである」という点が優位な特徴である。 万人が、データベースが
[MySQL] MySQLのデータベースが壊れたみたいです | 技術雑記
MySQL 5.1 リファレンスマニュアル :: 4.9.4 テーブル保守とクラッシュ リカバリ とある開発環境(xenのdomainUです)で開発してて、思わずDisk FULL！ ふと気がつくとapacheのログにエラーが大量に…。 [error] Error executing class callback in teardown stage: DBD::mysql::db do failed: Table './sample/table' is marked as crashed and should be repaired at /usr/share/perl5/CGI/Session/MySQL.pm line 83.\n\t(in cleanup) DBD::mysql::db do failed: Table './sample/table' is marked as cr
![[MySQL] MySQLのデータベースが壊れたみたいです | 技術雑記](https://cdn-ak-scissors.b.st-hatena.com/image/square/4d0465fb77e6b07037ca3416f24edac04f5a5427/height=288;version=1;width=512/http%3A%2F%2Fmozshot.nemui.org%2Fshot%3Fhttp%3A%2F%2Fdev.mysql.com%2Fdoc%2Frefman%2F5.1%2Fja%2Ftable-maintenance.html)
間違って10万人の顧客DB消しちまったｗｗｗｗｗｗｗｗ - MC)まとめこむ
1：以下、VIPがお送りします：2012/03/05(月) 23:05:21.43 ID:MYKH/EmU0 特定されない範囲で 30分前の話 2：以下、VIPがお送りします：2012/03/05(月) 23:06:04.91 ID:b77m7UZ00 ２ｃｈやってないでハードディスク復旧業者に頼め 13：以下、VIPがお送りします：2012/03/05(月) 23:08:29.71 ID:MYKH/EmU0 >>2 とりあえず今担当の人呼んでる（俺も担当なんだけどさｗｗｗ 3：以下、VIPがお送りします：2012/03/05(月) 23:06:05.57 ID:G+trElAB0 顧客DBって何？ 13：以下、VIPがお送りします：2012/03/05(月) 23:08:29.71 ID:MYKH/EmU0 >>3 顧客情報が詰まった大切な大切なデータベース 4：
sqlite3の基本操作まとめ: てりぶろ
カテゴリー AFV(6) 飛行機(6) 山行部通信(6) 1/700長門1927(2) 日記(93) 銀河英雄伝説(29) 地球防衛軍(3) 宇宙世紀(7) 1/700ストラスブール(5) 1/700三景艦(11) 1/700コンテディカブール(10) 1/700ウエストヴァージニア(4) 1/700フォンデアタン(14) 1/700クイーンメリー(8) 1/700パリ(9) 1/700扶桑(11) 1/700アリゾナ(20) 1/700 竣工済み艦船(7) ミニスケールAFV(27) 模型(38) 鉄道(2) 洋書(38) 切手(2) 調理部通信(7) 飼育部だより(12) 和書(10) 資格(37) ゲーム(7) PCメモ(16) 1/700ノースカロライナ(2) 1/700アドミラル・グラーフ・シュペー(1) Ruby on Railsが2.0になってdefaultのDBがsqlit
DeNA Technology Seminar #2 に参加してきました。 - モノノフ日記
DeNA Technology Seminar #2 を開催します - Technology of DeNA MySQL特集、ということだったので参加してきました。トピックは下の3つでした。 Spider handlersocket plugin MySQL 5.4/5.5の新機能 Spider 感想 Spiderは発表資料と発表者の斯波さんのお話が上手だったのもあり、完全無欠のストレージエンジンのように見えてしまっていたけど用途により向き不向きはあるだろうからそのあたりをちゃんと見極めて使いたいと思いました。実際の導入事例が3件(Sagool.tv, KADOKAWord.jp, マイクロアド)紹介されましたが、いずれもレコード数の増加によるバッチ処理の負荷分散に利用されていたようです。 メモでまとめましたが今後の展開がいろいろ凄いことになってたのでSpiderが特定用途のエンジンからか
CouchDBとMongoDBを比較してみた - Masatomo Nakano Blog
ドキュメント指向なKVSってことと、字面が似ていると言うことぐらいしか比較する意味がなさそうなCouchDBとMongoDBだけど、ここ2，3ヶ月で両方をそれなりに突っ込んで見てきたので比較してみた。実装面やパフォーマンス、ということよりはどちらかというと(私が感じる)思想的なものや、ユーザ側からの視点での比較。 共通するところ これはもう簡単に、 ドキュメント指向データベース - RDBMSのようなカラムと言ったものを持たずにスキーマレスで好きな情報を入れられる Javascript/JSONを使用 - データ自体もJSONというJavascript由来のフォーマットで持ち(MongoDBはJSONを元にしたBSONというものだが)、データベースのアクセスにはJavascriptを使用する スケールアウトするように考えられている NoSQLな流行 CouchDBの特徴 機能を限定している
AndroidでSQLiteのDB操作をするための基礎知識
AndroidでSQLiteのDB操作をするための基礎知識：Androidで動く携帯Javaアプリ作成入門（6）（1/3 ページ） 本連載で、SDKとEclipseを使ってAndroidの携帯端末で動くJavaアプリを作成し、Android Market配布を目指しましょう Androidのデータベースも、いま流行中の「SQLite」 Javaプログラマは、大きく分けると2種類に分類されます。エンタープライズ・サーバサイド系Javaプログラマと、組み込み系Javaプログラマです。 筆者は組み込み系ですが、Javaを始めたきっかけはサーバサイド系（正確には、Javaアプレット）です。サーバサイド系ではデータベースは必須、というよりむしろ最重要のシステムですが、組み込み系ではデータベースを使用することはほとんどありませんでした。ただし、「これまでは」です。 今回はAndroidに標準で組み込ま
DBサーバーの負荷分散
MySQLアクセスを負荷分散する ユーザーからのアクセス数が非常に多いWebサイトにおいて、MySQLのSLAVEサーバーを複数台並べて負荷分散させるということがよく行われています。ただ、Webアクセスの負荷分散は一般的なテーマなのでいろいろなところで語られているのに対し、DBアクセスの負荷分散というテーマは一般的でないのかあまり語られていないように感じます。 DBアクセスを負荷分散するにあたって一番荒っぽい方法は、Webサーバー上のプログラムの中でどのSLAVEサーバーに接続するかをランダムで決める方法です。ランダムと言っても長時間アクセスしているとほぼ接続先が均等化されるので、一見この方法でも問題ないように見えます。しかしこの方法だと、接続しに行こうとしたSLAVEサーバーが高負荷もしくはサービス停止中であっても構わず接続しに行ってしまうという問題があります。 このような問題を解決する
ウノウラボ Unoh Labs: ブラウザでER図が描ける「WWW SQL Designer」紹介
miyakeです。皆さんドキュメントはしっかり書いていますか？ 近頃のWeb界隈では、詳細仕様書的なものは作らずにスピーディーに開発を進めるケースも多いかも知れません。ドキュメント作成のコストは小さくありませんし、内容を最新に保つのも一苦労です。とは言え、複数の人間が関わるプロジェクトにはER図はあると嬉しいなと個人的には思います。 今日はそんなER図をブラウザ上で作成するアプリケーション「WWW SQL Designer」をご紹介します。 以下のスクリーンショットは、このアプリを実際に触って試せるlive DEMOのものです。 WWW SQL Designer posted by (C)フォト蔵 上部のメニューからテーブルやカラムを作ったり消したりして、テーブルをドラッグアンドドロップで配置、リレーションを同じくドラッグアンドドロップで設定、というのがおおまかな作業の流れになります。まず
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ)
ACID (コンピュータ科学) - Wikipedia
社内サーバインフラ勉強会(DB)
