バッチ処理について考える - Qiita
TL;DR ひとくちにバッチといっても色々ある 夜間バッチをもう作るな オンラインバッチはSQL以前にDB設計がんばれ はじめに Twitterのタイムラインで以下のようなツイートが回ってきました。 バッチ処理をみんな舐めてかかったり、ショボイとか思ってる人多い印象なんだけれども、数十万～数千万件規模のデータを処理したことあるのかな。テンプレ通りのコードじゃ動かないよ？ネットに本にも答え載ってないよ？低レイヤも意識しないと動かないよ？ 2020年1月10日 ツイートされたわだっしーさんの意図がどこにあるかは確認してないですが、極限の世界でテンプレート的な処理では対応出来ないのはあるよな、と思いつつもある程度はバッチの作法としての書き方があると思っています。 このツイートとその関連ツイートを読みながら、そういえばバッチ処理に関して書いてある記事はあまり見ないなぁ、とおもったので他のネットや本
ドキュメント指向のNoSQLデータベース（CouchDB、MongoDB）編
書籍紹介 本連載は下記書籍から第5章を基に、＠IT向けに再構成して掲載しています。 目次 序 章 ビッグデータの時代 第1章 NOSQLとは何か? 第2章 NOSQLのデータモデル 第3章 アーキテクチャの基本概念と技術 第4章 HadoopはNOSQL? 第5章 主なNOSQLデータベース製品 第6章 NOSQLデータベースの選択基準 第7章 NOSQLを使うビジネス 本連載は書籍『NOSQLの基礎知識』（リックテレコム刊、ISBN：978-4897978871）で解説されている内容から一部を抜粋し、本連載向けに一部再編集して掲載したものです。 書籍では、一般にNoSQLと呼ばれている各種データベース技術について、基本概念から主要なプロダクトの特性、ベンチマーク結果までを紹介しています。データモデルやアーキテクチャの違いといった基本概念から、各プロダクトの特徴を理解できる内容になっていま
PostgreSQL 9.0登場、ホットスタンバイとレプリケーション | エンタープライズ | マイコミジャーナル
PostgreSQL - The world's most advanced open sorce database 20日(米国時間)、PostgreSQLの最新版にしてメジャーアップグレードバージョンとなるPostgreSQL 9.0.0が発表された。PostgreSQL 8.0のリリースから5年以上、これまで待ち望まれてきて多くの新機能を実現した注目のバージョンに仕上がっている。PostgreSQL 9における主な新機能は次のとおり。 ホットスタンバイ ストリーミングレプリケーション リアルタイムバイナリデータベースレプリケーション インプレースアップグレード 大量のパーミッション管理機能 排他的制約 遅延ユニーク制約 匿名コードブロック ストアプロシージャに対する名前付きパラメータコール 順序付きアグレゲート Windows 64ビットビルド版導入 PostgreSQL 9で導入さ
pgpool-II ユーザマニュアル
(*)パラレルクエリモードではデータを分割して保存しているテーブルに対しては、レプリケーションならびに負荷分散の機能は使えません。 pcp.confの設定 どの動作モードでも、pcp.confの設定は必要です。pgpool-IIには管理者がpgpool-IIの 停止や情報取得などの管理操作を行うためのインターフェイスが用意されていま す。そのインターフェイスを利用するためにはユーザ認証が必要になるので、そ のユーザ名とパスワードをpcp.confに登録します。 pgpool-IIをインストールすると、$prefix/etc/pcp.conf.sampleができるので、それを $prefix/etc/pcp.confという名前でコピーします。 cp $prefix/etc/pcp.conf.sample $prefix/etc/pcp.conf pcp.confでは空白行や#で始まる行はコメ
Pgpool-II | Let's POSTGRES
メインコンテンツに移動 pgpool-II を使用した PostgreSQL の様々なクラスタ構成を紹介します。 ブックナビゲーション 入門向けの記事 技術的な記事 PostgreSQL13の新機能 PostgreSQL 8.4 の新機能 PostgreSQL 9.0 の新機能 PostgreSQL 9.1 の新機能 PostgreSQL 9.2 の新機能 PostgreSQL 9.3 の新機能 PostgreSQL 9.4の新機能 PostgreSQL 9.5の新機能 PostgreSQL 9.6の新機能 PostgreSQL10の新機能 PostgreSQL11の新機能 PostgreSQL12の新機能 PostgreSQL14の新機能 PostgreSQL15の新機能 PostgreSQL16の新機能 pgpool-II 3.2 の新機能 pgpool-II 3.3 の watchd
なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
Ywcafe.net
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Work from Home Accident Lawyers Anti Wrinkle Creams 10 Best Mutual Funds Free Credit Report Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy
MySQLは減るかもしれない、PostgreSQLとMariaDBへ | エンタープライズ | マイコミジャーナル
Analysis and Research of the latest developments in Technology, Business Models, and Mergers and Acquisitions. The 451 Group - 451 CAOS Theoryにおいて451 Group survey highlights user concerns over Oracle’s proposed ownership of MySQLのタイトルのもと、OracleのSun Microsystems買収にともなってMySQLの開発主体および支援グループがOracleに移行することに関してどう考えるかを問う調査結果の概要が発表されている。CAOSユーザコミュニティに対して実施された調査で、提案されている取り引きをどう考えているかや、現在のデータベースの利用状況などが調査され
Kazuho@Cybozu Labs: MySQL のトリガーの実用性を確認するために InnoDB の SELECT COUNT(*) を高速化してみる
最近 RDBMS のトリガーを色々書いているのですが、知らない人にトリガーが何かいちいち説明するのに簡単な例はないかな、というのと、MySQL の処理速度はトリガーによってどの程度変化するか、ということを確認するために、以下のような実験を行ってみました。 InnoDB はしばしば、「SELECT COUNT(*) が遅い！」と批判されます。では、トリガーを使って行数を別のテーブルにキャッシュすればいいのではないでしょうか？ 以下のように、極めて小さなテーブル t1 を作り、その行数を t1_cnt にキャッシュしてみることにします。 mysql> create table t1 ( -> id int unsigned not null primary key auto_increment, -> v int unsigned not null -> ) engine=innodb
ERダイアグラムを編集するAmaterasERDでDB設計
AmaterasERDの特徴 AmaterasERDは、ベースとしてAmaterasUMLのコンポーネントを利用しており、AmaterasUMLの姉妹品といえます。AmatarasUMLについては、本連載第14回「軽量なUMLプラグインAmaterasUML」をご覧ください。AmaterasERDは次のような特徴を持ちます。 物理設計と論理設計をサポート 多くのフリーERダイアグラム作成ツールは物理設計しかサポートしていませんが、AmaterasERDは論理設計も行うことができます。 また、論理設計と物理設計がシームレスに行えるようになっているため、論理設計モードで上流工程のモデリングを行えば、下流工程の物理設計をスムーズに行うことができます。 DDLファイルの生成 さらに、物理設計により作成したテーブルからDDL（Data Definition Language、データ定義言語）ファイル
画像もDBに格納して管理する －扱いがめんどうなLOB(ラージオブジェクト)は使わない方法も含め
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Health Insurance High Speed Internet Work from Home Healthy Weight Loss Best Penny Stocks Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IDEA * IDEA