Hive User Meeting August 2009 Facebook
The document discusses Hive, an open source data warehousing system built on Hadoop that allows users to query large datasets using SQL. It describes Hive's data model, architecture, query language features like joins and aggregations, optimizations, and provides examples of how queries are executed using MapReduce. The document also covers Hive's metastore, external tables, data types, and extens
MySQL Conference 2008に行って来た - stanaka's blog
今年もMySQL Conference 2008に行ってきました。社内向けの報告資料と雑多なメモですが、よろしければ参考にしてください。 *1 概要 MySQLがSunに買収されて始めてのConference 8セッション並列で、OSCONの規模にだいぶ近い MySQLが扱うトラフィック量・データ量がどんどん大きくなってきており、それにどう追従するか、という観点の話が多い 買収の話とか "MySQL、新機能追加は有償版の「MySQL Enterprise」だけを対象に"というのは、かなりミスリーディングな記事 実体は一部のセキュリティ形の機能やnative storage engine-specific driverをMySQL Enterpriseとして出す、という話 Backup機能や、Falcon, Mariaといったストレージエンジンの開発では、Community ServerとE
アシアルブログ
2018-12-21 経済産業省『未来の教室』実証事業の一環として宮崎県立日南振徳高等学校で『農業IoTシステム自作』講座を開催しました MonacaEducation担当の岡本です。経済産業省『未来の教室』実証事業の一環として宮崎県立日南振徳高等学校の生徒達とビニールハウスなどの温度湿度をクラウドに記録、スマートフォンやタブレットなどのモバイル端末からグラフとして情報を確認できるようなシ… 経済産業省『未来の教室』実証事業の一環として宮崎県立日南振徳高等学校で『農業IoTシステム自作』講座を開催しました 2018-12-14 IT健保（関東ITソフトウェア健康保険）のお得な活用方法について調べてみた はじめまして、諸井です。 マーケティングや営業のフロント・バックオフィス全般を担当しています。 入社して3年弱、嬉しかったことはいくつかあるのですが、そのひとつは関東ITソフトウェア健康保険
［MySQLウォッチ］第28回 MySQL 5.1期待のクラスタリング機能
数カ月前にMySQL 5.1 GA版 のリリース見通しを5月と記述したが，残念ながら下半期に突入した現在もBata版にとどまっている。バージョン5.0から5.1へのアップは，番号としてはポイント以下のマイナー・バージョンアップだ。しかし，非常に大きな期待を持って待っているユーザーも多いだろう。それは，MySQL 5.1 からMySQL Clusterがストレージ対応になるからだ。 今回は，MySQL 5.1 GA版 のリリース準備として，期待の高まるMySQL Clusterのストレージ対応を紹介する。 MySQL Cluster の登場 もともとMySQL Clusterは，NDB Clusterという商品だったものをMySQL ABが自社製品として取り込み，MySQL 4.1.3 (RPM版はMySQL 4.1.10)から実装が始まった。それ以前は，標準機能のReplicationかサ
オープンソースDBクラスタリング"Sequoia" - ログのリカバリなど確実に | エンタープライズ | マイコミジャーナル
Continuent.org, the Sequoia teamは11日(フランス時間)、Sequoiaの最新版となるSequoia 2.9を公開した。Sequoiaは複数のRDBMSに対してフェイルオーバやロードバランシング、クラスタリングなどの機能を提供するJavaで実装されたミドルウェアソリューション。 SequoiaはApache License Version 2.0のもとで公開されているオープンソースソフトウェア。JRE 1.4かもしくはそれ以降の環境で動作する。JMXベースの管理およびモニタリング機能も統合されている。 Sequoia 2.9における主な変更点は次のとおり。 PostgreSQLバックアッパに対するポストリストアオプションの追加 checkpointsコマンドにおいてログidを出力するように改善 非同期バックエンド実行および確実にログのリカバリを実施できるよう
［PostgreSQLウォッチ］第28回 パラレルクエリを実現したpgpool-II
既に本連載でお伝えしたように，来る7月8日から9日まで，PostgreSQLの誕生10周年を記念してPostgreSQL Anniversary Summitがカナダのトロントで開催される。筆者もこの歴史的なイベントに参加する予定である。 pgpool-IIプロジェクトとは PostgreSQL AnniversarySummitでは様々なPostgreSQLにかかわるセミナーが予定されているが，筆者のグループもプレゼンを行うことになった。今回発表するのは「pgpool-II」である。pgpoolについては既にこの連載でも何回か取り上げている（第9回 負荷分散が可能になったpgpool 2.0）。pgpool-IIはその後継プロジェクトである。 pgpool-IIプロジェクトは，独立行政法人 情報処理推進機構(IPA)の「オープンソースソフトウェア活用基盤整備事業」の支援を受けて，SRAと
日本OSS推進フォーラム
1.開発基盤WGの目的 開発基盤WGの活動目的は「サーバLinux、OSSの更なる普及・拡大のためのベンダサイドの課題解決」です。 企業内にあるOSSに関するノウハウをオープン化し、安心してOSSを使えるような環境作りを目指しています。 2.設立の背景 OSSの実システムへの適用が、Linuxだけでなく、ミドルウェアにまで拡大していることで、OSSを適用したシステムが複雑化しています。 それにもかかわらず、OSSでビジネスを展開するベンダサイドでは、 性能・信頼性などのシステム設計・構築に必要なデータが不足しており、結果として、各社が同じような評価を実施している 障害解析ツールが不足しており、原因究明に時間がかかる といった問題が発生しています。 そこで、開発基盤WGでは、次のような考え方で活動を展開しています。 (1)ベンダ共同のOSSの性能・信頼性評価により、
[ThinkIT] 第2回：大手ブログ検索サイトがPostgreSQLからOracleへ移行を決断した理由（前編） (1/3)
第２回：大手ブログ検索サイトがPostgreSQLからOracleへ移行を決断した理由（前編） 著者：ミラクル・リナックス 高橋 強 2006/4/5 OSSデータベースの利点のひとつとして、商用システムでも無償利用できるものがあることでしょう。特に採算の見通しが立ちにくい新規事業などで、こういったOSSデータベースを利用する例が増えています。しかしベンダーからの詳細な情報が得られやすい商用製品と比べると、データの肥大化やトラフィック増加にあわせたシステムの最適化やチューニングなどで難しいポイントがあり、OSSから商用へと移行を検討しているケースも増えつつあります。 今回はまさにそういった背景からOSSデータベースであるPostgreSQLから商用データベースOracleへの移行を決断された事例をベースに、移行における問題点などを技術的なポイントに着目してご紹介したいと思います。 こ
LinuxWorld Online - サーバ管理力強化マガジン
LinuxWorld Online LinuxWorld Online サイト・クローズに伴うコンテンツ移転のお知らせ 「LinuxWorld Online」は、2007年1月12日をもって閉鎖し、一部の記事コンテンツはComputerworld.jpに統合いたしました。また、Linuxテクノロジー・フォーラムは、http://www.idg.co.jp/expo/lwtf/に移設しました。 Computerworld.jpでは、世界最大規模のIT関連メディアであるIDGグループのグローバル・ネットワークを生かし、世界80カ国6,000人のITジャーナリストが取材・編集した最新のIT情報をタイムリーにお伝えするとともに、専任記者によるIT動向記事や技術解説記事などを提供してまいります。今後ともご愛読のほどよろしくお願い申し上げます。 Copyright © 2006 IDG Jap
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」：ITpro
ミクシィのCTOが語る「mixiはいかにして増え続けるトラフィックに対処してきたか」 YAPC::Asia 2006 Tokyo 東京都大田区で開催されているPerl技術者向けカンファレンス「YAPC::Asia 2006 Tokyo」で2006年3月29日，日本最大のソーシャル・ネットワーキング・サイト（SNS）である「mixi」を運営するミクシィのBatara Kesuma（バタラ・ケスマ）取締役最高技術責任者（CTO）が，増え続ける膨大なトラフィックにどのように対処してきたのかについて講演した。カギとなるのは「データベース分割」である。 mixiのシステムはもともとBatara氏が1人で作り上げたものだ。2003年当時，米国でFriendsterなどのSNSがはやっており，同氏が会社（現在のミクシィ，当時はイー・マーキュリー）にSNSを作りたいと提案したところ認められたという。同氏が
NTTデータがOracle RAC対抗のPostgreSQLクラスタ開発，2006年度に実システムに適用へ
NTTデータと子会社のNTTデータ先端技術が，オープンソースDBMS PostgreSQLでクラスタリング機能を実現するソフトウエア「RitaDB（開発コード名）」を開発したことがITproの取材で明らかになった。検索処理の負荷分散が可能なPostgreSQLクラスタリング・ソフトウエアは多いが，RitaDBはOracle RAC（Real Application Clusters)などと同様に検索だけでなく更新性能の向上も実現する。2006年度中に実システムへの適用を目指す。 RitaDBは，クライアントからのリクエストを受け付けて振り分ける「コーディネーター・ノード（C-Node」，SQL文を実行する「サブ・ノード（S-Node)」，トランザクションを管理する「トランザクション・ノード（T-Node）」，ログを管理する「ログ・ノード（L-Node）」で構成する。C-NodeおよびS-N
オープンソースのデータベースクラスタリングミドルウェアSequoia 2.7公開 | エンタープライズ | マイコミジャーナル
Continuent.org, the Sequoia Projectは24日(仏国時間)、Sequoiaの最新版となるSequoia 2.7を公開したことを発表した。Sequoiaは複数のRDBMSに対してフェイルオーバやロードバランシング、クラスタリングなどの機能を提供するJavaで実装されたミドルウェアソリューション。 Sequoia 2.7はApache License Version 2.0のもとで公開されているオープンソースソフトウェア。JRE 1.4かもしくはそれ以降の環境で動作する。JMXベースの管理およびモニタリング機能も統合されている。 Sequoia 2.7における主な変更点は次のとおり。 CallableStatementsにおける名前つきパラメータのサポート追加 CallableStatementにおけるアウトパラメータのサポート追加 書き込みクエリの実行失敗の結
三大DBMSへの挑戦 （その１）：ITExpress
今回は、オープンソースソフトウェア（OSS）のデータベース管理システム（DBMS）についての記事を紹介しよう。2006年2月6日のBusinessWeek onlineの記事「Taking On the Database Giants」の中からいくつかの話題を拾ってみたい。副題は「新興OSS企業がOracleやIBMやMicrosoftと張り合えるだろうか？ 辛い戦いになるが、顧客も既存のDBMSの代替製品を求め始めている。」というものである。この記事を読むための準備として、まずは今回のテーマであるデータベース、その中でも現在主流となっているリレーショナル・データベース（RDB）についてその歴史を紐解いてみよう。 CoddのRDB発明 IBMのEdgar F. Coddが1969年にIBM Research Reportで、さらに翌1970年にACMの論文において提唱したリレーショナルデー
MySQL :: Improving Database Performance with Partitioning
About the Author Robin Schumacher is MySQL's Director of Product Management and has over 13 years of database experience in DB2, MySQL, Oracle, SQL Server and other database engines. Before joining MySQL, Robin was Vice President of Product Management at Embarcadero Technologies. Improving Database Performance with Partitioning Improving Database Performance with Partitioning A few years ago, I wr
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[PDF] CUDAとGPUを用いたSQLiteの高速化
http://www.technobahn.com/news/2008/200804172000.html
IT news, careers, business technology, reviews
イングレス、LinuxとDBを一体化したソフト・アプライアンスを今年後半にリリース : オープンソース - Computerworld.jp
Bloomberg - Are you a robot?
http://mirror.tomato.it/mysql/doc/refman/5.1/en/partitioning-limitations.html