タグ

分散に関するstarcycleのブックマーク (11)

  • Vertebra: 次世代クラウドコンピューティングプラットフォーム

    Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。このでは、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

    Vertebra: 次世代クラウドコンピューティングプラットフォーム
  • ricollab Web Tech Blog

    はてなさんがダイアリーのAtomPubインターフェースをリリースしていました。 私は AtomPub が大好きなので、少しだけ試してみました。簡単にレビューを書こうと思ってエントリを起したのですが、意外と長くなりそうなので3部構成でお送りします。まずは実装編です。 認証 とりあえず普通のGETリクエストをサービス文書に送ってみます。http://d.hatena.ne.jp/{hatena-id}/atom がサービス文書の URI です。 GET http://d.hatena.ne.jp/yohei/atom HTTP/1.1 Accept: */* Host: d.hatena.ne.jp HTTP/1.0 401 Unauthorized Date: Fri, 19 Sep 2008 07:00:10 GMT Server: Apache/2.2.3 (CentOS) WWW-Au

  • Hadoopのインストールとサンプルプログラムの実行:CodeZine

    前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました(図1 参照)。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS(Hadoop Distributed File System)、Hadoop MapReduce Fr

  • Hadoop、hBaseで構築する大規模分散データ処理システム:CodeZine

    はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと

  • MapReduceとHadoopの将来について、YahooのDoug Cuttingにインタビュー

    Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。このでは、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

  • SOAにとって凝集性の考え方は必要か?

    IONA社(サイト・英語)で働いていた2005年に、Steve Vinoski氏(source)はサービスの凝集度(PDF英語)と結合度(source)についてのレポート(PDF英語)を作成した。その中で彼は、長い時間をかけて「良い」ということが認められてきた三つの凝集の型について言及している。 機能的凝集型: モジュールが単一の振舞いをするような場合の型。結合性は低く、再利用性は高い。 逐次的凝集型: モジュールがいくつかのタスクを順番に実行するような場合の型。 通信的凝集型: モジュールが同一のインプットを持つ、規定された順序性のない複数のオペレーションを実行するような場合の型。 次には、「悪い」とされる四つの凝集の型について言及している。 手続き的凝集型: 逐次的凝集に類似しているが、それぞれのタスクで使用されるデータが異なる。Steve氏曰く「このような凝集は(結合度を低くする

    SOAにとって凝集性の考え方は必要か?
  • MOONGIFT: � 成熟した分散化ファイルシステム「OpenAFS」:オープンソースを毎日紹介

    企業内のファイルサーバというと、SambaやWindowsを使った中央集約的なファイルサーバがメインになっている。だが、扱うファイルの量が膨大になってきていること、その維持管理がわずかなサーバによって管理されている問題がある。 そうした状況を受け、ファイルシステムも次世代化を目指す段階にきたようだ。 今回紹介するオープンソース・ソフトウェアはOpenAFS、分散化ファイルシステムだ。 OpenAFSの開発は実に1983年からはじまっているらしい。当時ではまだまだ速すぎたかも知れないが、現状のネットワーク化がようやくOpenAFSを求めつつある。分散化することによって複数のファイルサーバを意識することなく利用できるのは素晴らしい。 Mac OSX向けインストーラー インストーラー付きのクライアントはWindowsMac OSX向けが用意されている。クライアントはインストールするだけで良いの

    MOONGIFT: � 成熟した分散化ファイルシステム「OpenAFS」:オープンソースを毎日紹介
  • Rubyな楽天の次世代研究 (1/3)

    前回は、楽天(株)の技術戦略の中核を担うR&D(Research and Development)部門「楽天技術研究所」の森代表に、研究所に入るまでの経緯をお話いただきました。今回は同研究所のフェローであり、Rubyの開発者であるまつもとゆきひろさんとの関わりや、インターネットを中心としたこれからの社会の変化に対する持つべき「ビジョン」についてのお話を紹介します。 来る6月に発表予定? 楽天技術研究所が進めるRuby研究開発 ―――楽天技術研究所の研究内容についてお聞きします。楽天ではプログラミング言語の「Ruby」を使っているようですが、楽天技術研究所でもRuby関連の研究開発を行なっているのでしょうか? また、フェローであり、Rubyの開発者で知られるまつもとゆきひろさんとのお付き合いが始まった経緯を教えて下さい。 森:現在の「my Rakuten」というサービスは、Ruby on R

  • Googleライクなオープンソースインフラストラクチャ「Hadoopプロジェクト」が弾みをつける

    Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。このでは、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

    Googleライクなオープンソースインフラストラクチャ「Hadoopプロジェクト」が弾みをつける
  • かWiki - Git/分散レポジトリって何が嬉しいの

    Git は分散レポジトリ型の版管理システムです。 他にも Mercurial とか SVK とか分散レポジトリ型の版管理システムが最近流 行ってます。 では、分散レポジトリ型って何がいいんでしょうか。 この文章では単一レポジトリ型と分散レポジトリ型の特徴について書いておきたいと思います。 急ぐ方は、ページの一番下にある「まとめ」を参照してください。 用語 この文書内で使う用語について。 なんらかの版管理システムを使ったことのある人にとっては聞きなれた言葉だと思うけれど、一応。 レポジトリファイルの履歴情報などが格納されたデータベースのこと。普通はプロジェクト毎に用意されることが多い。レポジトリに登録されている各ファイルは、変更が行われ登録(コミット)されるごとに、リビジョン番号とファイルの内容が関連付けられて保存される。 ワーキングコピーレポジトリ中の特定のバージョンをファイルとして取り出

  • 楽天技術研究所とまつもと氏がRubyによる大規模分散フレームワーク開発へ

    楽天の研究開発部門である楽天技術研究所とまつもとゆきひろ氏は,Rubyによる大規模分散処理フレームワークを開発する。共同研究として開発し,楽天内で実際の業務に使用する。 楽天ではRuby on Railsを実際に顧客が利用するアプリケーションで採用しており,まつもとゆきひろ氏を2007年6月に楽天技術研究所のフェローに招聘していた(関連記事)。これまで共同研究の方向性について議論を行ってきた。ディスカッションの結果,「エンタープライズ」と「スケーラビリティ」を主要なテーマとする方向性が固まり,間もなくプロトタイプの開発に着手する。まつもと氏が方向性やアイデア,アドバイスを出し,楽天技術研究所が実装を行う。 楽天技術研究所とまつもと氏は2つのタイプの分散処理フレームワークを開発する方針。 一つは,小さくは2~3台から手軽に分散処理が行えるような「簡単さ」を追求したフレームワーク。用途としては

    楽天技術研究所とまつもと氏がRubyによる大規模分散フレームワーク開発へ
  • 1