分散システムの一貫性に関する動向について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog システム統括本部アーキテクト室 今野です。 昨年は、Twitter,Facebookを始めとするクラウド各社で新規の分散システム開発のプロジェクトが相次いで発表された年でした。これらの新しい分散システムを開発する理由や、その背景にあるものは何なのでしょうか？ 今回は、昨年末に開催された高信頼性分散システム系の国際学会であるSRDS 2014[1]の発表内容に関連する論文の話題も踏まえて、昨今のクラウド各社の分散システムの動向について整理してみます。 分散システムにおけるクラウド各社の動向 近年の分散データベースの世界では、AmazonのDynamo[2]やFacebookのCassandra[3]などを代表とする結果整合性（Eve
［速報］「Greenplum Database」がオープンソースに。DWH向けMPPデータベース。Pivotalが発表
Pivotalは2月17日（日本時間2月18日午前4時）にオンラインイベントを開催。同社が提供するビッグデータ関連の3つのソフトウェア「GemFire」「HAWQ」「Greenplum Database」をオープンソースにすると発表しました。 GemFireはインメモリデータベース、HAWQはHadoop上でSQLのクエリを実行できるソフトウェア。 もっとも注目されるのがGreenplum Databaseです。これはもともとEMCが買収したデータウェアハウス向けのデータベースで、その後VMwareからスピンアウトしたPivotalのラインナップに移管されました。 Greenplum Databaseは多数のマシンに分散させたデータをシェアドナッシングのアーキテクチャにより大規模並列分散処理することで、ペタバイトクラスにまでスケールアウト可能な高性能データベースとされています。 Pivot
基盤系プログラマ - kuenishi's blog
いわゆる基盤系のエンジニアリング技術について、私の場合は、今の会社に入社して２年間で徹底的に叩き込まれました*1。C言語なんかは独習の範囲内であって、コンピュータに関する基礎的な知識が不足していると痛感しています。一方、Computer Scienceに関する基本的なトピックはシンプルなものが多いので、数学の素養と、大学で詰め込まれた技術があれば何とかなる感じがしています。 飽くまでも、ですが、OSとかRDBMSとか、全ては手段です。ビル建設でいえば生コンのようなもの。砂利とか。肝心なのは、自分が欲しいビルの理想をきちんと描き、実現までの手段・手順を整理する。理想としているビルができているかを確かめる。難しいのは、「そんなビルが技術的な観点から本当に建設できるのか？」を確かめながら進むこと。 あるいは、それらの技術を全て、日本語にしてきちんと表現すること、設計を周囲に伝えて合意をとること、
Welcome to Apache™ Hadoop™!
This is the first release of Apache Hadoop 3.4 line. It contains 2888 bug fixes, improvements and enhancements since 3.3. Users are encouraged to read the overview of major changes. For details of please check release notes and changelog. This is a release of Apache Hadoop 3.3 line. It contains 117 bug fixes, improvements and enhancements since 3.3.5. Users of Apache Hadoop 3.3.5 and earlier shoul
＠IT：Amazon RDSの使い方（1/3）
オープンソースのRDB「MySQL」をクラウド上で利用し、ニーズに応じて簡単にインスタンスを増やせる「Amazon RDS」（Amazon Relational Database Service）。その特徴と使い方をご紹介します。（編集部） TIS株式会社 SonicGarden 並河 祐貴 2010/4/12 Amazon Web Servicesのニューフェイス 大手パブリッククラウドサービスの1つであるAmazon Web Servicesは、2009年以降も続々と新しいサービスや機能を発表し、日本でもますます注目を集める存在となっています。 Amazon Web Servicesは、仮想サーバを1時間単位の従量制で利用できるAmazon EC2や、1GB単位からの従量制ながら、高信頼性のオンラインストレージが利用できるAmazon S3などを中心とした、IaaS（Infrastru
Amazon S3互換分散オブジェクトストレージのBashoが国内本格展開。CEOとアーキテクトに聞く
Amazon S3互換分散オブジェクトストレージのBashoが国内本格展開。CEOとアーキテクトに聞く 分散キーバリューストアのRiakや、Amazon S3互換の分散オブジェクトストレージのRiak CSなどを提供するBashoが、国内での販売活動の本格展開を、代理店の東京エレクトロンデバイスとともに発表しました。東京エレクトロンデバイスはBashoへの投資も行い、国内で事実上の販売窓口となります。 同社CEOのGreg Collins氏とPrincipal ArchitectのAndy Gross氏に、同社製品の展開について聞きました。 Bashoはスタック全体をコントロールしている ──── オブジェクトストアとしてRiak CSが優れているところはどこですか？ グロス氏 私たちは（基盤となるキーバリュー型ストアからオブジェクトストレージに渡る）ソフトウェア全体のスタックをコントロー
分散ストレージの整合性をいかに解決するか。プライマリ-バックアップ方式と分散コミット～クラウドコンピューティングの雲の中（その2）。NII Open House 2013
分散ストレージの整合性をいかに解決するか。プライマリ-バックアップ方式と分散コミット～クラウドコンピューティングの雲の中（その2）。NII Open House 2013 クラウドはどのような仕組みで構成されていて、この先どう進化していくのでしょうか。6月14日に開催された国立情報学研究所主催のオープンハウス「NII Open House 2013」が開催され、国立情報学研究所 佐藤一郎教授が「クラウドコンピューティングの雲の中」と題した講座を行いました。 （本記事は「クラウド事業者がテクノロジーリーダーになる理由～クラウドコンピューティングの雲の中（その1）。NII Open House 2013」の続きです） クラウドのストレージ最大の問題、不整合をいかになくすか 世界には2種類のコンピュータしかありません。「壊れたコンピュータと、いずれ壊れるコンピュータ」です。 クラウドでは大量のサ
セールスフォース・ドットコム、クラウド基盤にOracle Exadataを採用へ。オラクルとセールスフォース・ドットコムが提携発表
セールスフォース・ドットコム、クラウド基盤にOracle Exadataを採用へ。オラクルとセールスフォース・ドットコムが提携発表 提携の内容は、セールスフォース・ドットコムがオラクルのプラットフォームを採用する一方、オラクルが自社アプリケーションにセールスフォース・ドットコムのサービスを統合するという2つの要素で構成されています。 クラウドプラットフォームに関しては、セールスフォース・ドットコムがOracle Linux、Exadata、Oracle Database、Javaミドルウェアプラットフォームを採用する計画。 Salesforce.com plans to standardize on the Oracle Linux operating system, Exadata engineered systems, the Oracle Database, and Java Mid
米オラクル、マイクロソフトと提携、セールスフォース・ドットコムと提携、ネットスイートと提携し、Oracle Database 12cを出荷開始。一連の狙いはクラウド市場での存在感
米オラクル、マイクロソフトと提携、セールスフォース・ドットコムと提携、ネットスイートと提携し、Oracle Database 12cを出荷開始。一連の狙いはクラウド市場での存在感 先週から今週にかけて、米オラクルは次々に大きな発表を行いました。これらを並べてみると、同社がクラウド市場で存在感を示すことを強く意識して行われたことが分かります。 先週行われた一連のクラウドに関する提携発表 日本時間の6月25日に行われたのが、マイクロソフトとのクラウドに関する提携発表です。Windows AzureのAzure仮想マシンとWindows ServerのHyper-Vを、Oracle DatabaseやWebLogic Serverの動作環境として認定する、というのがその骨子。 オラクルにとって、これは自社のソフトウェアが利用できるクラウドの選択肢を広げることとなります。マイクロソフトにとっては、
グーグルによるMapReduceサービス「BigQuery」が登場。SQLライクな命令で大規模データ操作
「数兆件のデータも対話的に、高速に分析できる」。グーグルは5月19日にこのような表現で新しいサービス「BigQuery」の登場を紹介するエントリを、ブログにポストしています。 グーグルが公開したBigQueryは、Hadoopやデータウェアハウスなどを用いて多くの企業が行おうとしている大規模データ（いわゆる「Big Data」）の分析を、グーグルのクラウドで可能にします。利用者はGoogle Storage経由で大規模データを転送し、SQLライクな命令によって抽出や分析を行います。 まるでグーグルが大規模データ処理のMapReduceをホスティングし、その機能をサービスとして提供するようなものがBigQueryといえます（ただし公開された「BigQuery」の説明には、内部でMapReduceを利用しているのかどうかの記述はないのため、MapReduce「的」なサービスと表現すべきかもしれ
優良企業はなぜHadoopに走るのか
ちなみに、この分析のために必要とされるMapReduceのコードであるが、そのサイズはわずか20ステップだという。Yahoo!のプレゼンテーターである、エリック・バルデシュバイラー氏によると、たとえ経験の浅いエンジニアであっても、MapReduceによるプログラミングは可能であるとされる。 また、VISAのジョー・カニンガム氏からも、貴重なデータが提供されていたので以下に紹介する。同社では、1日に1億トランザクションが発生するため、2年間で700億強のトランザクションログが蓄積され、そのデータ量は36テラバイトに至るという。こうしたスケールのデータを、従来のRDBを用いて分析するには、約1カ月の時間が必要とされてきたが、Hadoopを用いることで13分に短縮されたという。 これまでは、Yahoo!にしろVISAにしろ、膨大なデータをRDBに押し込むほかに方法はなく、その分析に数十日を要する
グーグル、BigQueryを正式公開。SQLで大規模データに対して高速処理
BigQueryはカラム型データストアの一種で、テラバイトクラスの大規模データに対して大量の並列処理を行うことで高速に結果を得ることが可能。グーグル 佐藤一憲氏の発言によると、 OLAP/DWH/Data Miningで行われるようなread onlyのad hocクエリをきわめて高速（数秒〜数十秒）に実行します。 とのこと。 SQLによる問い合わせが可能 この高速性に加え、BigQueryではSQLを問い合わせ言語に使えるという点にも大きな特徴があります。数秒程度のレスポンスとSQL文による記述は、大規模データに対するアドホックな処理を行うのに適したサービスだといえるでしょう。 BigQueryのSQLの構文は「Query Reference」で解説されていますが、SELECT文にFROM、WHERE、JOIN、HAVING、GROUP BY、ORDER BY、LIMITなどが使えるため
AWS News Blog
Amazon Q Business, now generally available, helps boost workforce productivity with generative AI At AWS re:Invent 2023, we previewed Amazon Q Business, a generative artificial intelligence (generative AI)–powered assistant that can answer questions, provide summaries, generate content, and securely complete tasks based on data and information in your enterprise systems. With Amazon Q Business, yo
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
