AWS DataSync で Hadoop Distributed File Systems (HDFS)および AWS ストレージサービス間のデータのコピーが可能に
AWS DataSync で、Hadoop Distributed File Systems (HDFS) および Amazon S3、Amazon Elastic File System (EFS) 、または Amazon FSx for Windows File Server 間でデータの転送ができるようになりました。DataSync を使用して、Hadoop クラスターの HDFS から AWS ストレージにファイルやフォルダをすばやく、また簡単かつ安全に移行できます。また、DataSync を使用して、ビジネスの継続性維持のために Hadoop クラスターのデータを AWS にレプリケートし、AWS にデータをコピーしてデータレイクに格納できます。また、クラスターおよび AWS 間でデータを転送し、分析や処理を行えます。 AWS DataSync は、インターネットまたは AWS
ヤフー発の OSS 、Multiple-Dimension-Spread（MDS）の紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog はじめに こんにちは。 ヤフー株式会社 データ＆サイエンスソリューション統括本部データプラットフォーム本部データデリバリー部の井島＆大戸です。 今回は、ヤフー株式会社（以下ヤフー）が OSS として公開したカラムナストレージファイルフォーマットの Multiple-Dimension-Spread について、開発の背景を交えて紹介します。 Multiple-Dimension-Spreadとは Multiple-Dimension-Spread（以下MDS）はヤフーが開発したカラムナストレージフォーマットです。 大規模なデータを蓄えておく仕組みを湖として捉えたものをデータレイクといいます。 MDS はデータレイクにデータを保存、利
Twitter、一部インフラを「Google Cloud Platform」に移行へ
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Twitterは、自社データセンターで動かしているコールドストレージと「Hadoop」クラスタを「Google Cloud Platform」に移行させる計画だ。 Google Cloud PlatformはSpotify、Etsyなどの顧客を獲得しており、今回のTwitter獲得はそれに続くものとなる。 Twitterはすでに 「Amazon Web Services（AWS）」を利用しているが、Google Cloud Platformの採用はAWSを置き換えるものではなく、Twitterのクラウド基盤を多様化することとなる。Googleに移行させるワークロードは、これまでTwitter社内でホスティングしてきたものだ。 Twitt
Hue meetup (2017/09/20 19:00〜)
このイベントについて HadoopのWebUIであるHueのMeetupです。 Hueの機能紹介や事例の紹介をメインに、各社の講演者が発表します。 「これからHueを導入したいがどういう機能があるのかわからない」「Hueを使っているがよりうまく利用できる情報がほしい」といった方に有用なMeetupになりますと幸いです。 発表内容・タイムスケジュール 発表内容(敬称略) Hue 4.0登場！(Cloudera株式会社 川崎 達夫) 新しいメジャーバージョンの Hue 4.0 が7月にリリースされました 本セッションでは Hue 4.0 での変更点について、新しいユーザーインタフェースを中心に紹介します Amazon EMR で使う Hue(SNS mixi データ分析での利用事例) (株式会社ミクシィ 岩瀬 靖彦) Amazon EMR における Hue 利用の利点／欠点 実運用する上で必要
Yahoo! JAPAN MeetUp #8 （インフラ技術カンファレンス）セッション②
1. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 2017年1月30日 1 ヤフー株式会社 システム統括本部 サイトオペレーション本部 インフラ技術3部 DCNW1 深澤 開 Network for the Large-scale Hadoop Cluster at Yahoo! JAPAN 2. Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 自己紹介 2 名前 深澤 開 (ふかざわ かい) 所属 データ&サイエンスソリューション統括本部 データプラットフォーム本部 開発2部 システム統括本部 サイトオペレーション本部 インフラ技術3部 (兼務) 業務 全社Hadoopの設計・構築・運用 データセン
2017年のHadoopとその仲間たち―開発コミュニティから見た動向 | gihyo.jp
あけましておめでとうございます。 例年、Apache Hadoopを中心に並列分散処理ミドルウェアの動向や展望についてご紹介していますが、今年は特に、Apache Hadoopの開発コミュニティ寄りの視点からお伝えしたいと思います。 2016年のHadoop 2016年9月にHadoop 3.0.0-alpha1がリリースされました。 このリリースは、後方互換性のない変更の影響を、HiveやHBaseのようなHadoopに依存するプロダクトの側で、早期に確認できるようにするためのものです。エンドユーザが利用することはあまり想定されていませんが、新しい機能やインタフェースを確認するために、ちょっと使ってみることはできます。 大きな機能追加としては、HDFSのErasure CodingとYARNのTimeline Service v.2があります。 Erasure Codingは、コールドデ
HadoopとS3 - Qiita
Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016の12/25分です。もともとYARNのApplication Timeline Server v2について書こうと思っていたのですが、気が変わってHadoopとS3の関係性について書いていこうと思います。もし期待していた方がいらっしゃったらごめんなさい。（ATSについては機会があればまた書きたいと思います。) 背景 S3について書こうとおもったのは、下記のような仕組みを作っている中でいろいろ思うところがあったからです。 システムがS3に吐き出す様々なログ、データやメトリクスをZepplinで可視化するための仕組みです。永続化したいデータはS3にしか置かず、SparkやZeppelinなどのコンポーネントはステートレスかつ拡張、もしくは別の計算フレームワ
GitHub - nathanmarz/elephantdb: Distributed database specialized in exporting key/value data from Hadoop
ElephantDB 0.5.1 (cascalog 2.x) ElephantDB 0.4.5 (cascalog 1.x) About ElephantDB is a database that specializes in exporting key/value data from Hadoop. ElephantDB is composed of two components. The first is a library that is used in MapReduce jobs for creating an indexed key/value dataset that is stored on a distributed filesystem. The second component is a daemon that can download a subset of a
単一ノード／マルチコアに最適化した並列分散処理フレームワーク「Asakusa on M<sup>3</sup>BP」、ノーチラステクノロジーズとフィックスターズがオープンソースで公開
単一ノード／マルチコアに最適化した並列分散処理フレームワーク「Asakusa on M3BP」、ノーチラステクノロジーズとフィックスターズがオープンソースで公開 ノーチラステクノロジーズとフィックスターズは、単一ノード上での基幹バッチ処理を並列分散処理基盤で行うことに最適化したフレームワーク「Asakusa on M3BP」（アサクサ エムキューブドビーピー）と、その実行基盤となる「M3 for Batch Processing」（エムキューブド フォー バッチ プロセッシング）を開発し、オープンソースで公開したと発表しました。 単一ノードに最適化されたM3 for BP 大規模なデータに対する複雑な処理を並列分散処理で高速に実行する代表的なソフトウェアにはHadoopやSparkがあります。 しかしHadoopやSparkは数百台から数千台規模のサーバをネットワークで接続したクラスタ環境
Google、Spark/Hadoopのマネージドサービス「Google Data Proc」を正式公開。CPUあたり1時間0.01ドルから
クラウド側でHadoopやSparkの環境を用意してくれるため、利用者はインストールや設定などの手間がなく、すぐに利用できるのが特長。現時点で提供されるHadoopとSparkのバージョンは、「Hadoop 2.7.2」「Spark 1.6.0」。また、「Hive 1.2.1」「Pig 0.15.0」も用意されます。 利用料金は、仮想1CPUあたり1時間0.01ドル（約1円）から。Googleによると起動時間は非常に短く、平均で90秒かそれ以下だとしています。 Googleは大規模データ処理に向けたマネージドサービスとして独自サービスながら非常に高速でスケーラビリティの高い「Google Cloud Dataflow」や「BigQuery」を以前から提供しています。 これらに加えて今回の「Google Data Proc」を提供するのは、オンプレミスや他のクラウドでも使われている標準的なミ
Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadoop Spark Conference Japan 2016
Yahoo! JapanのHadoopクラスタは6000ノードで120PB。指数関数的に増大するデータ需要を技術で解決していく。Hadoop Spark Conference Japan 2016 日本を代表する規模のビッグデータ処理基盤を持つ企業の1つがYahoo! Japan（以下Yahoo!）です。 同社は2月8日に開催された「Hadooop Spark Conference Japan 2016」において、現在運用中のビッグデータ処理基盤の規模、そして同社が抱えている課題と、それをどう解決していくのかを基調講演の中で示しました。 同社が示した解決方法は、Hadoopなどのビッグデータ処理基盤を使い倒す側から、作る側へ向かうという大胆なものです。同社の貢献はオープンソースとなり、今後さらに多くの課題解決に役立つことになりそうです。 同社データインフラ本部 遠藤禎士（えんどうただし）氏
Spark 2.0はフロントエンドAPIの創設と10倍の性能向上を目指す。早くも今年の5月頃登場予定。Hadoop Spark Conference Japan 2016
Spark 2.0はフロントエンドAPIの創設と10倍の性能向上を目指す。早くも今年の5月頃登場予定。Hadoop Spark Conference Japan 2016 2月8日に都内で開催された、HadoopとSparkをテーマにした国内最大のカンファレンス「Hadoop Spark Conference Japan 2016」の基調講演には、Sparkの開発を進めているDatabricksのReynold Xin氏が登壇。 Xin氏は、現在開発が進んでいるSpark 2.0の概要を紹介しました。セッションの内容をダイジェストで紹介します。 Spark 2.0: What's Next DatabricksのReynold Xin氏（写真左）。
Hadoop、NoSQL、クラウドストレージ向けSQLエンジン「Apache Drill 1.0」が公開 | OSDN Magazine
オープンソースの非営利団体Apache Software Foundationは5月19日、Apache Hadoop、NoSQL、クラウドストレージ向けのスキーマフリーのSQLクエリエンジン「Apache Drill 1.0」をリリースした。 Apache Drillは米Googleの開発するクエリツール「Dremel」のオープンソース実装で、WindowsおよびLinux、Mac上でApache HadoopやNoSQL型データベースなどの非リレーショナルデータストアに保存されているデータへのクエリを行える。HBase、MongoDB、MapR-DB、HDFS、MapR-FSなどのほか、Amazon S3、Azure Blob Storage、Google Cloud Storage、OpenStack Swift、NAS、ローカルファイルもサポートする。単一のクエリで複数のデータスト
Apache Hadoop エコシステム を中心とした分散処理の今と未来
Copyright©2015 NTT corp. All Rights Reserved. Apache Hadoop エコシステム を中心とした分散処理の今と未来 小沢 健史 ozawa.tsuyoshi@lab.ntt.co.jp ozawa@apache.org 2 Copyright©2015 NTT corp. All Rights Reserved. • 処理基盤の意義 • MapReduce の動向と進化 • MapReduce の概要 • MapReduce の課題と解法 • 分散処理基盤の動向 • Google の処理基盤スタック • Microsoft の処理基盤スタック • オープンソースの処理基盤スタック • オープンソース開発 • なぜ会社として貢献するか • 活動内容 • 面白かったこと，大変なこと • これからの目標 アジェンダ 3 Copyright©201
第1回 なぜ、Hadoopはどのように動くのか、を学ぶのか | gihyo.jp
はじめに ビッグデータ解析のためのシステム基盤として、Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが、当該データ処理系をすでに利用している、もしくは利用の検討をしている読者の方々の中には、たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが、その内部をあまり理解できていない。または、内部の動作原理がよくわからないので、本格的に使う気にならない。 同様の目的を達成する複数のデータ処理系において、どれを使って良いかがよくわからない。または、適切に使い分けられていない気がする。たとえば、どのような場合にHadoopを用いて、どのような場合に同類のデータ処理系であるImpalaやSparkを用いれば良いかが“明確に”わからない。 このような問題を解決するには、
［速報］Hadoopエコシステムの標準化を目指す「Open Data Platform Initiative」設立。Hortonworks、Pivotal、IBMなど
Hortonworks、Pivotal、IBM、GE、SAS、EMC、VMwareなどがHadoopのエコシステムの標準化を目指す団体「Open Data Platform Initiative」の設立を発表しました。 Pivotal データプロダクトグループVPのSundeep Madra氏は、Open Data Platform Initiativeの設立に当たり「Hadoopエコシステムのフラグメンテーションを防ぐ」ためだと説明しました。 「Linuxでは共通のカーネルがあり、これによってアプリケーションは、あるOSで動けばほかでも動くことが分かる。これがLinuxのエコシステムを成長させた。Hadoopもこれにならうことで企業導入の促進と、さらにエコシステムを成長させていくことができる」Madra氏。 これに合わせてPivotalとHortonworksは協業も発表。両社は製品の統
Hadoopは「難しい・遅い・使えない」？ 越えられない壁がある理由と打開策を整理する
ビッグデータの申し子のように騒がれた「Hadoop」。以前ほどメディアを騒がせてはおらず、それほど広範囲に普及したようにも思えないものの、いまだ注目されるにふさわしい存在なのは間違いありません。しかし、今日の、あるいはこれからのHadoopがどのように進化しているのかを知れば、Hadoopを諦めていた方々も再度注目しようと思われるのではないでしょうか。 そもそもHadoopとは……？ の禅問答っぽさ 突然ですが、「Hadoopとは何ですか？」と説明を求められたら、皆さんならどう答えますか？ Q.「Hadoopとは何ですか？」 Ans. 複数のサーバーで構成され、MapReduceと呼ばれる仕組みで分散処理を行う環境であること データも共有ストレージではなく、各サーバーの内蔵ディスクに分散して格納されること HDFSと呼ばれる独自のファイルシステムがあり、データの分散については自動的に行われ
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
MongoDB and hadoop
The document introduces MongoDB, an open-source document database that provides high performance, high availability, and easy scalability. MongoDB keeps data as JSON-like documents which allows for flexible schemas and is well-suited for applications that work with unstructured or semi-structured data. The document also discusses how MongoDB can be used in conjunction with Hadoop for large-scale d
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Data Engineering at VOYAGE GROUP #jawsdays
