分散DB「Cassandra」の人気が加速、AppleとNetflixがブームを牽引
オープンソースソフトウエア（OSS）の分散データベース（DB）である「Apache Cassandra」の人気が米国で急速に高まっている。データセンター（DC）に障害が発生しても処理を継続できる可用性の高さがユーザーの支持を集めている。 Cassandraは最大で数千台のサーバーを連携して、数ペタバイトもの巨大なDBを運用できるという分散DBだ。サーバーは地理的に異なるDCに分散配置できるため、DC障害が発生した場合でも他のDCで処理を継続できる。 もっとも従来は、大企業でもなければ複数DCを運用するのは困難だったため、Cassandraの人気は限定的だった。最近は「Amazon Web Services（AWS）」や「Microsoft Azure」といった世界中のDCが利用できるクラウドが登場したことから、スタートアップでもCassandraのメリットを享受できるようになり、人気が高ま
CSV/TSVに対してSQL発行できるツール「q」 | DevelopersIO
今日はCSV/TSVなどのテキストファイルをSQLで操作できるツール「q」の紹介です。 使いどころ データ処理を実施する時にはDBに保存されているデータやテキストファイルなどをCSVやTSV等の一定のフォーマットに変換して処理することが多いと思います。そのデータ内容を確認するときには、例えばExcel等に貼り付けることもあると思います。ただ、Excelではデータ量が数百万件規模になってくるとソフトウェアの制約上、処理が行えません。 データベースに保存されている大量のデータを処理・取得する際によく用いられるのはSQLです。SQLはデータ操作のための非常によくできたインターフェースであり、かなりの数のエンジニアが利用できるのではないでしょうか。 単純なCSVファイルに対してもSQLを利用して検索が実施できれば楽だと思って探していたところ、「q」にたどり着きました。 インストール qには様々なイ
iOSアプリ開発の現場で訊いてみた！Realm編 - Stargazer
アカウント登録をすることでGitHub, Qiita, Slideshare, Stack Overflowの情報からスター数を集計します このインタビューでは、Realm社に今年2015年の春から所属する@kishikawakatsumiの住むマンションに伺い、日本で海外のメンバーと仕事をする上でどんな苦労があったり工夫があるのか、入社試験のようなものはどんなものだったのか、Objective-C/Swift/Android Java版の足並みを揃えるためにどういうプロジェクト管理やコミュニケーションを行っているか、について訊いています。 インタビュアーは@ninjinkunと私@yimajoが行いました。 まずRealmとは何か Realmについて説明すると、TightDBというC++で書かれた独自のエンジンを使用したiOS, Android向けのデータベースで、Realm社によって開
Mac/Windows/Linuxで利用可能なDB専用GUIツール『0xDBE』について | DevelopersIO
これまでに、(主に)Amazon Redshiftで活用出来るGUIツールとして『Intellij IDEA Ultimate Edition』や『Aginity』等を紹介して来ましたが、Intellij IDEAを開発しているJetBrain社から別種のDB関連ツールが開発されているという情報を先日知りました。 Amazon RedshiftのMac OS X向けGUIツールとして『Intellij IDEA Ultimate Edition』のDatabase Toolsを使う ｜ Developers.IO Redshift専用 Windows GUIツール『Aginity Workbench for Amazon Redshift』が便利かもしれない件 ｜ Developers.IO それがこの『0xDBE』と呼ばれるものになります。アナウンス自体は1年以上前からなされていた様で、
「最新技術の採用で基盤の“コスパ”追求」、カカクコムの長谷川氏
「価格.com」や「食べログ」などの口コミサイトを運営するカカクコム。同社の長谷川知彦氏（プラットフォーム技術本部 システムプラットフォーム部 第1インフラサービスチーム）が、システム基盤の構築・運用方針を記者に語った。「基盤はコスト性能比が大切。そのためには実績が乏しい最新のソフトやハードでも積極的に採用する」（長谷川氏）というものだ。 カカクコムは2013年から、主に新規事業用としてプライベートクラウドを運用している。当初稼働させた基盤は、DB周りのI/O性能が不足気味になったため、2015年3月に刷新した。刷新に当たって長谷川氏らのチームが掲げた方針が、冒頭のコスト性能比の追求である。パブリッククラウドと同等以上の性能を割安に実現してこそ、プライベートクラウドを運用する価値があるというわけだ。 事実、3月に稼働させた基盤には最新のソフトやハードをふんだんに取り入れた。例えば仮想化ソフ
RDB - 実例で学ぶ、JOIN (NLJ) が遅くなる理屈と対処法 - Qiita
"Nested Loop Joinしか取り上げて無いのにタイトルが大きすぎないか" と指摘を頂いたので、タイトルを修正しました。Merge JoinとHash Joinのことはまた今度書こうと思います。 「JOINは遅い」とよく言われます。特にRDBを使い始めて間がない内にそういう言説に触れた結果「JOIN=悪」という認識で固定化されてしまっている人も多いように感じています。 たしかに、JOINを含むようなSELECT文は、含まないものに比べて重たくなる傾向があることは事実です。また、本質的に問い合わせたい内容が複雑で、対処することが難しいものも存在します。しかし、RDBの中で一体どういうことが起きているのかを知り、それに基いて対処すれば高速化できることも少なくないと考えています。 本稿では、JOINの内部動作を解説した上で、Webサービスを作っているとよく出てくるJOIN SQLを例題に
実務で役立つデータベースの活用法
オープンセミナー2015＠香川の登壇資料です。 http://connpass.com/event/15646/
TechCrunch | Startup and Technology News
The National Democratic Alliance (NDA) has emerged victorious in India’s 2024 general election, but with a smaller majority compared to 2019. According to post-election analysis by Goldman Sachs, JP Morgan,… The tech layoff wave is still going strong in 2024. Following significant workforce reductions in 2022 and 2023, this year has already seen 60,000 job cuts across 254 companies, according to i
日本IBM、DB2をSaaS型クラウドサービスとして提供
日本IBMは2015年7月3日、同社のRDBMS（リレーショナルデータベース管理システム）であるDB2を月額制のクラウドサービスの形態で提供する「IBM DB2 on Cloud」を発表した。中位の二つのエディション（「Workgroup Server Edition」と「Advanced Workgroup Server Edition」）を利用できる。価格（税別、以下同）は、月額14万2800円から。 同社がDB2を汎用的なSaaS型のクラウドサービスとして提供するのは、今回が初めて。IaaS基盤には同社のSoftLayerを使う。クラウド型で利用できるDB2はこれまでもあったが、データベース単体で使えるSaaS型のサービスではなく、アプリケーションの開発実行環境を提供するPaaS型クラウドサービス「Bluemix」で選択できるRDBMSの一つとして提供されていたに過ぎなかった。 同日
DBTS2015 Tokyo DBAが知っておくべき最新テクノロジー
[db tech showcase Tokyo 2015] C17:MySQL Cluster ユーザー事例紹介～ＪＲ東日本情報システム様における導入事例... （株）ＪＲ東日本情報システム様は、昨年システム障害の発生から解決までのプロセスを記録して集約し、再発を防ぐ仕組みを構築しました。その心臓部には、オープンソースで構築しながら高可用性を確保するために、MySQL Cluster とHP Moonshot Systemの組み合わせが採用されています。本セッションではシステムの背景、テクノロジー採用の背景、どのようにして高可用性を確保しているのかを数多くの検証に基づき解説します。是非ご期待ください。
MySQL 互換のDB、Percona Server を使う理由 - Qiita
# Time: 120114 6:34:33 # User@Host: user[user] @ [10.10.10.10] # Thread_id: 28313080 Schema: mydb Last_errno: 0 Killed: 0 # Query_time: 0.588882 Lock_time: 0.000068 Rows_sent: 3 Rows_examined: 183839 Rows_affected: 0 Rows_read: 100 # Bytes_sent: 121 Tmp_tables: 0 Tmp_disk_tables: 0 Tmp_table_sizes: 0 /+ Percona Server 独自のログ +/ # InnoDB_trx_id: 9903E4DB1 # QC_Hit: No Full_scan: No Full_join: No Tmp
MySQL 5.6リファレンスマニュアル日本語版のお知らせ
MySQL 5.6 リファレンスマニュアル というわけで、日本語版のマニュアルがリリースされた。これまでMySQL 5.6のリファレンスマニュアルは英語版しか無かったのだけど、公式に日本語版がリリースされる運びとなったので、是非参照して頂きたい。 かつてMySQL 5.1の日本語版マニュアルが存在したのだが、そちらは現在ウェブから参照できなくなっている。（PDF版はダウンロードできるという話も。）MySQL 5.1の日本語版マニュアルは、ぶっちゃけ翻訳があまりイケてなかったので、今後はぜひMySQL 5.6の日本語版を参照してもらいたい。ついでにもう古のバージョンは窓から投げ捨てて、この機会に是非新しいバージョンへ移行してみてはいかがだろうか。 何か問題が見つかった場合には、ぜひバグレポートをお願いします。バグレポートのカテゴリは「Japanese Documentation」を選択してく
DBの自動連番がロールバックしても戻らない理由 - C Sharpens you up
DBの主キーカラムに自動連番（MySQLならAUTO_INCREMENT、SQL ServerならIDENTITY、OracleやPostgreSQLならシーケンス）を設定していると、基本的には連続した数字が付番されていくのですが、行削除もしていないのに抜け番が発生する場合があります。 INSERTが制約にひっかかって失敗した トランザクションをロールバックした などの場合です。 特にトランザクションのロールバックは、DB全体の変更をなかったことにするはずなのに連番だけは進んだまま戻らないということで、知らないと違和感があるものです。 連番が戻らない理由 PostgreSQLのドキュメントがこう説明しています。 同一のシーケンスから数値を取得する同時実行トランザクション同士のブロックを防止するため、nextval演算は決してロールバックされません。 http://www.postgresq
100億件を4時間半で分析 NTTデータらビッグデータで革新技術
NTTデータとNTTデータ数理システムは2015年4月27日、1億件を超える大量のデータ分析ができる「In-Database Analytics技術」（図）を共同で開発したと発表した。検証では100億件のデータをサーバー1台で約4時間半で分析でき、従来製品の1000倍以上の件数を処理できたという。NTTデータは15年度中に同技術を用いたサービスを商用化し、2020年度までに100億円の売り上げを目指す。 業務データを高速に分析する「データウエアハウス（DWH）」では扱うデータ量や分析処理の速度に限界があったが、今回両社が共同でこの問題を解決する技術を開発。DWHとデータ分析ソフトの役割分担を見直し、DWH内部でデータを分析できるようにした。 DWH用のデータベースサーバーソフト「SAP IQ」（旧Sybase IQ、関連記事）に同技術を実装。分析はSQL（データベース言語の一種）を使ってい
RDBMSを捨てたワークス「HUE」でホントに知りたかったこと
DBMSを正面から取り上げた特集を約10年ぶりに日経SYSTEMS（2015年5月号の特集1）で組んだ。クラウド、ビッグデータというキーワードがITのあり方を大きく変える中、「業務系でデータベースといえばRDBMS」という固定観念にヒビが入っているはずとのヨミでスタートさせた企画だ。脱RDBMSやHadoop活用といった取り組みから、いろいろな“新常識”が生まれているだろうと考えたのである。 記事の冒頭に、ITエンジニアが今、これはちょっと気になるぞと思うDBMS関連のトピックスを置きたい。何がいいだろうか。頭をひねって、あれやこれやと、選択肢を挙げてみた。その中から選んだのは、1000社以上に採用されて盤石ともいえる地盤を築いているのに、自己否定してゼロからERPパッケージを作り直した、ワークスアプリケーションズの取り組み。このネタを選んだのは、自分が今、最も知りたいことだったからだ。い
データベース研究者から見た"ビッグデータ"の意義 「HadoopもNoSQLも邪道だけど…」
情報処理における全国のエキスパートが一堂に会したリクルート主催の「春の情報処理祭」。人々が日常的に大量のデータを生成・消費するに伴い、「ビッグデータ」の重要性が高まっていると語る、大阪大学准教授の原隆浩氏。「ビッグデータを制する者が世界を制する」とまで言われ、その研究に注目が集まるデータベース分野の歴史と可能性について解説します。（春の情報処理祭in京都より） 高校生の頃まで、パソコンが苦手だった 原隆浩氏：まず、今日データベース研究会のほうから代表ということで来ましたので、自己紹介を兼ねてお話したいと思います。私は今、大阪大学で准教授をしていまして、42歳になります。なので、大学を卒業してちょうど20年経っているぐらいです。 研究の専門分野は、あんまりデータベースっぽくなくて、どちらかというとネットワークとデータベースの境界領域みたいなことをやって、アドホックとかセンサーネットワークにデ
データベース利用の幅を広げるPostgreSQLの存在感
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます グローバルでのリレーショナルデータベース製品市場は、Oracle、IBM、Microsoftが“ビッグスリー”として7割以上のシェアを占める。これらにSAPを加えた企業群は、Gartnerが公表している各ベンダーに対する市場での総合評価「マジッククアドラント」でも「リーダー」として評価されている。 この「マジッククアドラント」のオペレーショナルデータベース管理システム部門で、2014年になって新たに「リーダー」の評価を受けた企業にEnterpriseDBがある。同社は、オープンソースデータベース「PostgreSQL」のディストリビューターとして、Oracle Databaseとの互換機能を持つ「Postgres Plus Advanc
インメモリDBのRedis 3.0安定版がリリース。Redisクラスタを構成可能に
キーバリューストアのRedisの最新版「Redis 3.0」安定版が正式にリリースされました。1月にリリース候補第2版が出ておりその時点で次回が安定版と予告されていたため、予告通りのリリースとなりました。 Redisはメモリ上でデータを扱うインメモリデータベースで、その高速性が大きな特長です。Redis 3.0ではこの高速性を生かしつつクラスタ構成を備えたことで、より大規模に展開できるようになりました。 Redis Clusterのドキュメントによると、1000ノードまではリニアに性能がスケールするとのことで、単体サーバでRedisを運用するのに比較して大規模なデータを扱えるようになります。またクラスタ内の一部のノードが落ちても全体としては動作しつづける仕組みのため、データベースの可用性も高めることができるようになりました。 データはRedisクラスタのノードに対して自動的にシャーディング
リレーショナルモデルについて
Mikiya Okuno @nippondanji 第一正規形の条件は、テーブルがリレーションの性質を満たすこと。何故ならば、正規化はリレーショナルモデル上での設計理論なので、リレーションにしか適用できないから。だからNULLを含んではいけないし、繰り返しグループは許容されず、ドメインの設計がしっかりできていないといけない。 2015-03-31 22:23:44 Mikiya Okuno @nippondanji リレーショナルモデル上の設計理論は、対象がリレーションであるから実行できる。ということは、リレーションになれないデータには正規化も適用できない。なので「テーブルを全部正規化せよ」という方針は破綻してしまう。 2015-03-31 22:26:02 Mikiya Okuno @nippondanji テーブルを正規化すべきかの判断は実は至ってシンプル。それはリレーションか否か。あ
新著が出ます：『SQL実践入門』 - ミックのブログ
4月中旬ころになりますが、新著が出ます。SQLのパフォーマンスを主題にした本で、実行計画を読むことで、なぜこのSQLは遅いのか、あるいは速いのかをデータベースの内部動作まで把握して理解しよう、という趣旨です。 リレーショナルデータベースというのは、SQLという自然言語を模したインタフェースによって、低次のレイヤーを隠蔽する意図で作られたミドルウェアなので、本当は実行計画などという手続レベルの世界をユーザが覗き見るのは、本末転倒なところもあります。ただそうはいっても、現実にSQLが遅かったら原因を解析せざるをえないわけだし、大体本当にブラックボックスにしたいなら、なんでどのDBMSも実行計画を見られる手段なんか用意してるんでしょうね不思議ですね、という理想と現実の狭間で悩むエンジニアの方々に少しでもベターな解に辿りつけるアプローチを提示できれば、と考えております。 以下まえがきと章立てです。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
