クラウド対応のスケーラブルなMySQLデータベース、米Xeroundが発表
「MySQL for the Cloud」。スケーラブルでつねに稼働し続けるというデータベースサービスを米Xeroundが発表し、プライベートベータとして一部に公開を始めています。 プレスリリースの中で同社はこのこのサービスの特徴を次のように表しています。 Xeround’s unique patented technology brings a new approach to data management in the cloud, aiming at providing the best of both worlds – the transactional and query capabilities of relational databases with the simplicity and scalability of NoSQL data stores. Xeroundのユニ
MySQLデータベースとBaseを接続する（その1）
現在、オープンソースのDBMSは、Firebird*、MySQL、PostgreSQLをはじめさまざまな選択肢があり、どれを使ったらいいのか困るほど充実したラインアップとなっています。中でもMySQLは、Windowsも加えた複数のOSでの可動実績のあるデータベースです。OS環境を選ばないという点で、本稿および次号からの連載では、紹介するデータベースとしてMySQLを選びました。 また、MySQLと並ぶ存在であるPostgreSQLも、2005年1月にリリースされたバージョン8.0でネイティブなWindows版が登場しています。同データベースを含め、いくつかのDBMSについては次号からの連載において紹介します。 さて、これらのデータベースは、一部例外はありますが、OpenOffice.org（以下、OOo）からはODBC*か、JDBC*のドライバ経由で利用することになります。どちらのドライ
パスワードなしでsshログイン - kotaroito's notes
Hadoopの設定するために必要っぽいのでやってみたところ、ちょっとハマったのでメモ。 同じマシンへのsshなのでセキュリティは問題ない。（本番系でも踏み台サーバが堅ければ、やっても大丈夫そうだがこのあたりはいまいち自信なし） 1.秘密鍵と公開鍵作成 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 2.リモートに公開鍵登録 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys リモートと言いつつ、同一マシンだけども。 3.パーミッションを設定 chmod 700 ~/.ssh chmod 600 ~/.ssh/id_dsa 4.確認 ssh localhost パスワードなしでログインできた！
Hadoopは企業のための新たな情報分析プラットフォームとなる、とCloudera
グーグルが大規模分散システムのために用いているMapReduceという技術を、オープンソースとして実装したJavaベースのソフトウェア「Hadoop」です。 Hadoopは当初、Yahoo!やFacebook、Facebookといったネット企業が数テラバイト、ペタバイトにおよぶ大規模なログなどを分析するのに利用していましたが、現在ではVISAやJP Morgan Chase、China Moblieなど一般の企業でも大規模なデータ処理にHadoopを用いています。多くの処理がネットで行われるにつれ、「Big Data」と呼ばれる大規模データは処理のニーズはさまざまな企業に広がっています。 Hadoopは新しいデータ分析プラットフォームになる Hadoopの商用ディストリビューションを提供する「Cloudera」は、Hadoopをあらゆる企業、組織の情報分析プラットフォームにするというビジョ
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
Snow Leopard で MacPorts から Apache2, PHP5, MySQL のインストール : Serendip – Webデザイン・プログラミング
Snow Leopard で MacPorts から Apache2, PHP5, MySQL のインストール Snow Leopard をクリーンインストールし、 Apache2、PHP5、MySQL を MacPorts からインストールした際のメモ。 Apache2 のインストール インストール後表示されるメッセージにしたがって、OS起動時に Apache2 を自動起動するように設定する。 $ sudo port install apache2 ########################################################### # A startup item has been generated that will aid in # starting apache2 with launchd. It is disabled # by defaul
Cassandraのはじめ方─手を動かしてNoSQLを体感しよう 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
もう1つの、DBのかたち、分散Key-Valueストアとは
もう1つの、DBのかたち、分散Key-Valueストアとは：分散Key-Valueストアの本命「Bigtable」（1）（1/3 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 クラウド時代のデータベース「分散Key-Valueストア」 グーグルがインターネットの世界をここまで席けんできた最大の理由は何でしょうか。実は、それは同社の優れた検索技術ではありません。グーグルが成し遂げた最も大きなブレークスルーの1つは、同社が生み出した巨大な分散データストア、「Bigtable」にあります。 Bigtableは、Google検索をはじめ、YouTubeやGoogle Map、Google Earth、Google Analytics、Goog
【IT用語】MapReduceとHadoop
【IT用語】MapReduceとHadoop 金 裕可里, 木田 直人, 三木光範, 廣安知之 ISDL Report No. 20091306001 2009年 7月 2日 1 はじめに 近年, Webページの検索や, 地図の検索を行うためにGoogleのサービスが頻繁に利用されており, 必要不可欠なものとなっている.Web検索は, 莫大なデータを扱うのにも関わらず, 瞬時に検索結果を表示させることを実現している. この事実の裏側では, 想像以上に膨大な計算や多数のコンピュータの働きがある. Googleはその超巨大なコンピュータネットワークを用いて, 膨大なデータ処理を分散化している. そのため, 大量のデータを瞬時に処理することが可能になっている. そのGoogleの分散処理システムはMapReduce[1]と呼ばれており, Googleの検索技術を支えるコア技術である.
TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由
スケーラブルなデータベースを実現する手段として「Sharding MySQL plus memcached」がよく知られる方法だとは、1つ前の記事「MySQL+Memcachedの時代は過ぎ、これからはNoSQLなのか、についての議論」で紹介しました。 ちなみに「Sharding」（シャーディング）とは複数のデータベースにデータを分散して運用することで、ざっくりいえばShared Nothing的な分散データベース構成のことです（この記事で紹介する英文中には「Shared MySQL」（共有MySQL）との記述がありますが、これは恐らく「Sharded MySQL」（ShardされたMySQL）のミススペルではないと推測します）。 日本で（たぶん）もっともMySQLについて詳しく解説してあるブログ「漢(オトコ)のコンピュータ道」のエントリ「さらにMySQLを高速化する7つの方法」では、Sh
ずばり動く！kumofs と ずばり動かないケース
hbstudy#10 kumofsのシステムを実際に構築し、運用する方法について紹介します。また、現状kumofsに存在する問題点を踏まえて、それらを改善する方法について議論したいと思います。Read less
Kazuki Ohta's Space
BiographyKazuki Ohta (太田 一樹) is a Co-Founder/CEO at Treasure Data, Inc. I’m a Japanese entrepreneur with the heart of computer science. BusinessI love building the business from zero. I was lucky enough to build $100m+ ARR B2B SaaS business from scratch. (see my experience). TechnologyMy specialities are around Data, SaaS and Open Source. I was a High Performance Computing researcher (see my publi
分散KVSの使い方 - sdyuki-devel
今流行のkey-value storageの利点と欠点など。小さいデータをたくさん扱うタイプで、単純なkey-value型のデータモデルを持つ分散KVSについて。 Webアプリをとりまく最近のKVS事情、雑感を読んで、ちゃんと整理して把握しておかないといけないな、と思ったので少し整理。 それは違うぞーという事があったらコメントくださいm(_ _)m ※2009-11-17 追記：現在、KVSという用語の意味は定義されておらず、使う人によって揺れています。ここで言うところの分散KVSは、Dynamo や kumofs や ROMA など を想定しています。 分散KVSの利点 スケールアウトできる 簡単にサーバーを追加して性能を上げられる 単体の性能が高い スキーマレス 最初は少ない台数で安く、後からサーバーを足してスケールアウト！という運用ができる。アプリケーションに影響せずに、ストレージ側
Not Only NoSQL!! 驚異的なまでにWRITE性能をスケールさせるSPIDERストレージエンジン
Webサービスでは、世界中からのトラフィックを捌く必要があるため、いくらチューニングしようとも一台のRDBMSでは捌ききることが出来ないのが常だ。MySQLは最初からマスター・スレーブ型のレプリケーション機能が搭載されており、スレーブをたくさんぶら下げることによって参照の負荷をスレーブに割り振るというスケールアウトによってその問題に対処してきた。スレーブによるスケールアウトは、参照（＝PV）が多いWebサイトと非常に相性が良く、幾多のWebサイトにおいて実績を作ってきているし、まだまだ利用されている。 しかしながら、サイトのトラフィックが劇的に増加してくるようになると、レプリケーションによる負荷分散では追いつかなくなってきた。そこで人々がとった選択肢は、memcachedを利用することである。memcachedはインメモリ型の高速なKVSであり、参照・更新性能はMySQLより格段に高い。M
MySQL :: MySQL 8.0 リファレンスマニュアル :: 6.2.1 アカウントのユーザー名とパスワード
MySQL Enterprise Data Masking and De-Identification のインストールまたはアンインストール
MySQL :: MySQL 5.6 リファレンスマニュアル :: 4.4.3 mysql_install_db — MySQL データディレクトリの初期化
mysql_install_db は MySQL データディレクトリを初期化し、システムテーブルを作成します (システムテーブルがない場合)。また、InnoDB テーブルの管理に必要な、システムのテーブルスペースおよび関係するデータ構造体も初期化します。MySQL 5.6.8 では、mysql_install_db は Perl スクリプトで、Perl がインストールされた任意のシステムで使用できます。5.6.8 より前ではシェルスクリプトで、Unix プラットフォームでのみ使用可能です。 MySQL 5.6.8 以降では、mysql_install_db は UNIX プラットフォーム上で、my.cnf という名前のデフォルトオプションファイルを基本インストールディレクトリに作成します。このファイルは my-default.cnf という名前の配布パッケージに含まれるテンプレートから作成
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - twitter-archive/gizzard: [Archived] A flexible sharding framework for creating eventually-consistent distributed datastores![GitHub - twitter-archive/gizzard: [Archived] A flexible sharding framework for creating eventually-consistent distributed datastores](https://cdn-ak-scissors.b.st-hatena.com/image/square/2db2051dcceeb069e3f99113b5c4df2bd582bd9f/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2Fa47bf8ff854e29b84d4885718b5bc0c9d061a6f5ae3f09346bd98dbadd3da437%2Ftwitter-archive%2Fgizzard)
Google基盤ソフトウェアのオープンソースクローンを使ってみる一覧
Good night, Posterous
Key-Value Store (KVS) 入門