データを信頼し、AI を信頼する 信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。
Cloudera Standard のご案内 ~ 無償版 大幅機能強化のお知らせ | Cloudera Japan
データを信頼し、AI を信頼する 信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。
Hadoopといえば大規模分散フレームワークであり、実行にはそれなりのサーバ群を揃えなければならない、と思われがち。 しかしHadoopでもっとも有名なディストリビューションを提供するClouderaは、PC上の仮想マシンで手軽にHadoopを実行できる仮想マシンイメージ「Cloudera's Hadoop Demo VM for CDH4」を無償公開しています。 VMware Player、KVM、VirtualBoxなど幅広い仮想マシンに対応。個人のPCを使って、例えばWindowsの上でも簡単にHadoopを試すことができます。 仮想マシンを使ったHadoopの実行手順を詳しく解説
IDCF テックブログ
こんにちは。プラットフォーム開発部の阿部です。 IDCFクラウド のYAMAHA vRXを使ってIDCFクラウドローカルとAWS間をVPN接続する方法を紹介します。 背景と目的 前提条件 構築の流れ 構築手順 1.ゲートウェイ構築 1-1.IDCFクラウド 仮想マシン作成(vRX) 1-2.IDCFクラウド 仮想マシン作成(サーバ) 1-3.vRX基本設定 1-4.パブリックIPアドレス作成 1-5.SSH接続 1-6.vRXオプション設定 1-7.サーバのゲートウェイ設定 2.VRRP構成 2-1.IDCFクラウド 仮想マシン作成(vRX) 2-2.vRX②設定 2-3.3つ目のIPアドレスの取得 2-4.VRRP IPアドレス設定 2-5.シャットダウントリガー設定 2-6.NATするIPアドレスの変更設定 3.AWSとのVPN接続 3-1.AWS カスタマーゲートウェイ(CGW)の作
2013年 Hadoop 運用ログ @ Treasure Data Hadoop Advent Calendar 2013、5日目のエントリです。2日遅れてすいません！ 細かいのは上げればキリが無いんだけど、誰かの役に立てばと思い Treasure Data でHadoopクラスタを運用してみたログ 2013年度版を公開してみます。 対象バージョン2013年には、ディストリビューションのアップグレードを5回ほど行いました。 CDH3u0CDH3u1CDH4.1.2CDH4.2.0CDH4.2.1メジャーアップグレードは複数バージョンを同時に走らせて問題が無いことを確認後、切り替えを行っています。しかしCDH3って既にEnd of Maintenanceなんですね、知らなかった。 運用体制約3名、年末には約8名程。約100社に向けてサービス運用をしていて、数分ジョブが刺さるだけでもサポートチ
こんにちは． 昨年知人のオーケストラ演奏会で聴いたメンデルスゾーン交響曲第４番「イタリア」が大好きな，技術部の石川有です． そんな「イタリア」大好きな私ですが Hive のデータ移行も大好きという体で， 今回の記事ではオンプレミスで Hive を頑張って運用している方たちに向けて，どうしてもというときの Hive のデータ移行方法を紹介したいと思います． 弊社では最近，Cloudera's Distribution including Apache Hadoop 3 update 2 (CDH3u2) から CDH 4.1.2 にバージョンアップを行なっています． このようにオンプレミスで Hive を運用している方たちの中には，すでに持っているデータをうまく移行したいという方も多いかと思います． Hive には現状 MySQL の mysqldump のような機能が提供されていないのでバ
分析処理基盤において、データの民主化・マルチテナント化を進めるためにはいくつかのハードルがあります。そのハードルの一つに、データリスクを低減するための認証・認可の実現が挙げられます。 本講演では、ドワンゴが分析処理基盤の認証・認可機構を一新した内容とポイント、またそれらの認証・認可機構をベースとし、分析処理を数倍から数十倍に高速化した事例を紹介致します。Read less
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HadoopをWindows上の仮想マシンで手軽に試す方法
2013年 Hadoop 運用ログ @ Treasure Data | Post Moratorium
今日からはじめるお手軽 Hive データ移行 - mixi engineer blog
認証/認可が実現する安全で高速分析可能な分析処理基盤