クラウドに基幹を移行して5年超経過 - 急がば回れ、選ぶなら近道
もう5年か、まだ5年というべきかちょっと判断に迷う。大抵の業務系のシステムがクラウドを始めるのは現実的には今年来年以降になるので、今の自分達の状況は多分、今後の業務系システムをクラウド移行したユーザの近未来になると思う。ので、予想的にまとめておく。本格的にクラウドを利用した業務アプリケーションの5年がどうなるかの一つの指針になるかと。 以降は別に統計データでもなんでもなく5年間を眺めてみて自分の印象。 ・障害：大規模は５年で2-3回程度。一度は業務に影響が出て客先にお詫びに行った。AWSだったけど、サポートからは「もう回復してるのでチケットクローズね」みたいな話だったと記憶している。その後は大体四半期に一回程度のN/W障害。障害は普通に起きているし、オンプレと比べてどうか、という比較では細かい障害件数は減った気はしていない。ただし、「ドカンと来るでかい障害」は確実に減った。 ・データ増加対
Asakusa Frameworkのススメ - TEPPEI STUDIO
先週のCloudera World Tokyo 2013 で 講演させていただいた際に、Asakusa Frameworkの紹介をさせていただきましたが、マネージャー視点によっていたところがあるので、開発者視点の紹介を改めてしたいと思います。 尚、このブログでの記載は私が所属する会社とは何も関係なく、あくまでも個人の立場で書いているブログであり、会社を代表する発言ではありません。 Asakusa Framework とは Hadoop上でバッチアプリケーションを開発するためのフレームワークです。一定規模のバッチアプリケーションをHadoop上で開発するのであれば、現時点では他に選択肢は無いと言えると思います。 業務基幹バッチの置き換えに！みたいな文脈で語られることが多いですが、分析のための前処理といったロジックの更新頻度がある程度低くて、一定程度に大規模なバッチアプリケーションであれば広く
第1回 分散処理を隠蔽し、大規模開発を可能に
筆者らは、オープンソースソフトウエアの分散処理ミドルウエア「Hadoop」を、基幹系のバッチ処理システムに適用するためのフレームワーク「Asakusa」を開発した。AsakusaはHadoopと同様に、オープンソースソフトウエアとして公開する。公開日は、本連載の4回目をお届けする2011年3月31日の予定である。 Asakusaを使うことでHadoopによる分散処理のメリットを享受することが可能となり、これまでRDBMSを利用していた場合と比べて、多くのケースでバッチ処理システムの性能を大幅に向上することができる。筆者らが実際に構築を支援したシステムでは、それまで4時間かかっていた処理が数分で終わるようなケースも出てきている。 盛んに報道されているように、Hadoopはすでに多くの導入実績がある。ただしその用途は、ログ分析システムやレコメンデーションエンジンなどのビジネスインテリジェンス（
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編）
基幹システムをクラウドへあげるのは簡単ではなかった。ノーチラス・テクノロジーズがクラウドの現実を語る（前編） 基幹システムをクラウドで実現する。その過程でどのような技術を用い、どのような苦労があったのか。小売り流通業である西鉄ストアの基幹システムをAmazonクラウド（以下、AWS：Amazon Web Services）の上で実現したノーチラス・テクノロジーズが、その詳細について紹介したセミナーを5月15日、アマゾンジャパン本社のセミナールームで開催しました。 大規模システム開発の現状、Hadoopの可能性、クラウドのメリットとデメリットなど、参考にすべき多くの内容が語られたセミナーでした。この記事ではその概要を紹介します。 止まってはいけない基幹システムをクラウドへ ノーチラス・テクノロジーズ 代表取締役社長 神林飛志氏（写真中央）。 西鉄ストア様の本部基幹システムをクラウドへ移行する
新日鉄ソリューションズ、ノーチラス・テクノロジーズと協業し、HadoopとＡｓａｋｕｓａ Framework(*1)を活用した基幹系システム周辺のバッチ処理高速化サービス提供を開始｜プレスルーム｜日鉄ソリューションズ
新日鉄ソリューションズ株式会社（本社：東京都中央区、代表取締役社長：謝敷 宗敬、以下 新日鉄ソリューションズ）は、株式会社ノーチラス・テクノロジーズ（本社：東京都品川区、代表取締役社長：神林 飛志、以下 ノーチラス・テクノロジーズ）と協業し、Hadoop、Asakusa Framework™によるバッチ処理高速化ソリューション・サービスを提供開始いたします。 ネットワークの進展による企業間連携・オンライン化の促進、ビジネス変化に伴う処理の短時間化ニーズや管理サイクルの高頻度化ニーズ等により、企業システムにおけるバッチ処理についても、対象データの増加、許容時間の縮小等を背景に、処理性能の要件がより厳しくなってくるケースが発生しています。 本ソリューション・サービスでは、数時間かかっているバッチ処理システムの高速化策として並列分散処理をベースとしたHadoopを採用したシステム導入・開発支援を
Hadoopの現実解「バッチ処理」の常識をAsakusaで体得
Hadoopの現実解「バッチ処理」の常識をAsakusaで体得：ビッグデータ処理の常識をJavaで身につける（7）（1/4 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 “ビッグデータ”時代の「バッチ処理」 アプリケーション開発というと、システム利用者に一番近い画面系の開発が花形ですね。一方「バッチ処理」というと、何となく地味な感じがしますが、「バッチ処理」は縁の下の力持ち、これがないと、大概のシステムは稼働できません。 絶対に必要だけど、影の薄い「バッチ処理」でしたが、“ビッグデータ”への注目度が高まり、大量データを短時間に処理する「並列分散処理バッチ」が活躍する場面も増えてきました。 本稿では、並列分散で「バッチ処理」を行う方法につい
EMCジャパンとノーチラス、基幹システム向けHadoopで協業
EMCジャパンとノーチラス・テクノロジーズは2012年1月19日、分散バッチ処理ソフト「Hadoop」を基幹系システムのバッチ処理に適用するソリューションで協業すると発表した。EMC版のHadoopディストリビューション「Greenplum HD Enterprise Edition（EE）」と、ノーチラスのアプリケーションフレームワーク「Asakusa Framework」を組み合わせて提供する。 EMCは同日、Greenplum HD EEの日本市場での販売を開始した。Greenplum HD EEは、Apacheソフトウエア財団のオープンソースソフトウエア（OSS）である「Apache Hadoop」をベースに、性能や可用性などを強化したディストリビューションだ。分散ファイルシステムとして、標準の「HDFS」ではなく、米MapRテクノロジーズが開発した「MapR FS」を採用。C/C
株式会社ノーチラス・テクノロジーズ
劔＂Tsurugi＂ 新しいハードウェアアーキテクチャ（メニーコア・大容量メモリー）に合わせた設計思想で、 性能を最大限に発揮するデータベース Asakusa Framework 業務システムのバッチに並列分散処理の能力を活用するためのフレームワークです。大容量のデータ・複雑な処理を多数のコンピューターに分割して処理し、従来のシステムでは難しかった処理も実現できます。 Asakusa on M³BP Asakusa on M³BPは、分散処理の開発フレームワークであるAskausa Frameworkと、マルチコア環境でDAG形式で並列処理をするインメモリエンジンのM³ for Batch Processing（略称：M³BP）を組み合わせたデータ処理高速化のソリューションです。フィックスターズ社との共同開発でOSSとして公開しています。
ウルシステムズのHadoopフレームワーク「Asakusa」
企業ITに携わる人々の間で、Hadoopに対する関心が急速に高まっている。Hadoopとは、米Googleが発表した論文のアイデアから生まれた、オープンソースの分散処理基盤ソフトウェアである。大量のデータを、比較的安価なサーバを多数並べたクラスタシステム上で、高速かつ効率的に処理できる。既に多くの企業が、Webログの分析やPOSデータの解析といった情報系システムの用途で、Hadoopの活用を始めている。 さらに近年では、大量データを高速処理できるHadoopのメリットを、基幹系システムにも応用しようという動きが出てきている。特に、基幹バッチの処理を高速化するための技術として、Hadoopに大きな期待が寄せられている。しかしその半面、Hadoopを基幹系システムで導入するには、技術的なハードルが数多く存在するともいわれている。 ここに目を付けたのが、ウルシステムズだ。同社が2011年3月にオ
Hadoopフレームワーク「Asakusa」がOSSで公開 － ＠IT
2011/03/31 ウルシステムズは3月31日、基幹業務システムのバッチを高速処理するためのフレームワーク「Asakusa Framework」の正式版をオープンソースとして公開した（発表文、GitHubのレポジトリ）。Hadoop上に基幹バッチシステムに必要な開発環境・実行環境・運用環境を実装したもの。HadoopはJavaベースのオープンソース分散処理技術として、すでに広く利用されている一方、業務処理への適用では、導入の難しさから利用が進んでいなかった。Asakusaを使うことで、Hadoopに詳しくないエンジニアでも簡単にシステム開発ができるという。 Asakusaは、MapReduceのDSLをコンパイルする「Ashigel Compiler」、Hadoopのデータフォーマットに合わせたデータモデルを生成するジェネレータ、統合テストスイートの3つのコンポーネントからなる。Ashi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ノーチラスと富士通が協力、「Asakusa」バッチ処理の性能と信頼性を強化