ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について
ビッグデータツールチェインのセキュリティはビッグリスク、あるいは、誰もHadoopをスクラッチからビルドする方法を知らない件について The sad state of sysadmin in the age of containers コンテナー時代のシステム管理者の惨状 システム管理は惨劇に見舞われている。現状は悲惨だ。 筆者は昔気質のシステム管理者に不満はない。システムの稼働を維持し、アップデートし、アップグレードする方法を知っている者達だ。 この憤りは、コンテナーと構築済みVMと、それらがもたらす、「信頼」や「アップグレード」の欠如による悲惨な惨劇に対するものだ。 例えば、Hadoopを見てみろ。誰もHadoopをスクラッチからビルドする方法を知っているようには見えないぞ。依存性とバージョンとビルドツールが悲惨なほどに絡まりあっている。 この手のイケてるツールの中で、古典的なmake
DMM inside
なぜDMMがweb3に参入したのか。Seamoon Protocolが目指す新たなエンタメ体験の未来とは
［速報］Hadoopエコシステムの標準化を目指す「Open Data Platform Initiative」設立。Hortonworks、Pivotal、IBMなど
Hortonworks、Pivotal、IBM、GE、SAS、EMC、VMwareなどがHadoopのエコシステムの標準化を目指す団体「Open Data Platform Initiative」の設立を発表しました。 Pivotal データプロダクトグループVPのSundeep Madra氏は、Open Data Platform Initiativeの設立に当たり「Hadoopエコシステムのフラグメンテーションを防ぐ」ためだと説明しました。 「Linuxでは共通のカーネルがあり、これによってアプリケーションは、あるOSで動けばほかでも動くことが分かる。これがLinuxのエコシステムを成長させた。Hadoopもこれにならうことで企業導入の促進と、さらにエコシステムを成長させていくことができる」Madra氏。 これに合わせてPivotalとHortonworksは協業も発表。両社は製品の統
Cloudera World Tokyo 2014 でImpalaについて発表しました
こんにちは。ヤフー株式会社の杉山です。Hadoopのベンダーとして知られるCloudera社が主催する Cloudera World Tokyo 2014（以下CWT2014）の午後のセッションで、昨年頃から盛り上がっているHadoopのSQLエンジンImpalaについて発表してきました。 ImpalaはHDFSを直接readする低レイテンシなSQLエンジンで、データの検索や集約を行う処理は従来のMapReduceを使わずに専用に開発されたImpaladが行います。Impalaの発表当初は話題を呼びましたが、最近ではImpala自体の存在は浸透して実際にどのように使っていくか、という話題が増えているように思います。 私たちヤフーでも、この新しいSQLエンジンに強い関心を持っており社内でさまざまな検証を行っています。発表資料の方では、サービス利用を考えた時に気になるレスポンスや並列リクエスト
トレジャーデータの分析エンジンを採用した「Yahoo! ビッグデータインサイト」提供開始。月1000万件60回クエリまで無料のプランも。IDCフロンティア
トレジャーデータの分析エンジンを採用した「Yahoo! ビッグデータインサイト」提供開始。月1000万件60回クエリまで無料のプランも。IDCフロンティア Yahoo! ビッグデータインサイトは、IDCフロンティアのクラウド基盤にfluentdやトレジャーデータのtd-agent、バルクアップローダーなどによってクラウドデータを収集、保存し、Hadoopなどの分散処理システムを組み合わせたトレジャーデータのデータ分析エンジンでデータの分析を行えるもの。 分析した結果はSQLやPig、REST API、ODBC/JDBCなどで得ることができます。分析処理基盤の性能はIDCフロンティア側でつねに最適化を行い、またデータは3重コピーによって保管されています。 利用者はビッグデータのためのインフラや分析ツールの構築や維持費用の手間を省け、数百億件ものデータであってもクラウド上の分散処理基板を活用し
「RedshiftはHadoopキラーになる」、FlyDataの藤川氏に聞く
藤川幸一氏がシリコンバレーで起業した米フライデータ（FlyData）は、様々なデータソースから米アマゾン・ウェブ・サービス（AWS）のデータウエアハウス（DWH）サービス「Amazon Redshift」にデータを転送するというサービス「FlyData」を提供する。藤川氏はAWSのRedshiftが「Hadoopキラーになりつつある」との見方を示す。 フライデータのビジネスの現状はどうか？ 当社はもともとハピルス（Hapyrus）という社名で、「Hadoop」のPaaS（プラットフォーム・アズ・ア・サービス）を提供することを目指して起業した。しかしHadoopのPaaSが増えてきたことを考え、現在の「FlyData」の事業にピボット（事業転換）し、社名もFlyDataへと変更した。 事業を転換したもう一つの理由が、AWSが2013年初めにRedshiftを開始したことだ。Redshiftを
Hadoopソースコードリーディング 第16回に参加してきました | DevelopersIO
Hadoopソースコードリーディング 第16回に参加してきました。今回は1.0がリリースされる目前のApache Sparkがテーマでした。 NTTデータ濱野さんの冒頭の挨拶 Spark1.0リリースを記念する予定が、されていないｗ 今回はお酒を飲んでグダグダする時間はないｗ Apache Sparkのご紹介（前半） NTTデータ土橋さん まずは土橋さんからSparkの背景やSpark Summit 2013の振り返り、Sparkの基本についての説明がありました。詳細はスライドを見てもらった方がいいですが、さくっと雰囲気を掴みたい方は以下のメモをご参照下さい。 土橋さん 6年前からHadoopに関わっている。 基本はインフラエンジニア Ansible使っている。 アジェンダ Sparkの背景 Spark Summit 2013振り返り Sparkのキホン RDD スケジューラ 前提 机上調
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
「BigQueryは120億行を5秒でフルスキャン可能」は本当か？ 先日、kaheiさんがGoogle BigQuery（Googleクラウドの大規模クエリサービス）について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
ヤフー、全社共通のHadoop基盤を構築--ノードは数千以上、国内最大級
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます ヤフーは、全社で共通に使える、分散並列処理プログラミングフレームワーク「Apache Hadoop」基盤を新たに構築、その基盤ネットワークとしてイーサネットファブリック型のネットワークアーキテクチャを採用した。ブロケード コミュニケーションズ システムズが4月3日に発表した。 ヤフーは運営する「Yahoo! JAPAN」を通じて得られる情報をサービス品質の向上や新サービス創出のためにHadoop基盤で分析している。早い時期からHadoop基盤を活用してきたが、近年では近年レコメンデーション機能やターゲット広告などの多くのサービスでデータ分析に対する社内ニーズが急速に高まってきたため、より大規模で全社で共用可能なHadoop基盤を新たに構
AWS News Blog
Unify DNS management using Amazon Route 53 Profiles with multiple VPCs and AWS accounts If you are managing lots of accounts and Amazon Virtual Private Cloud (Amazon VPC) resources, sharing and then associating many DNS resources to each VPC can present a significant burden. You often hit limits around sharing and association, and you may have gone as far as building your own orchestration layers
スマートフォン広告計測サービスの裏側
スマートフォンアプリ広告の世界は、Web広告よりもユーザートラッキングが難しい世界。この領域のサービス展開を支える環境を現場技術者が解説する。 筆者らの所属するCyberZはスマートフォン広告代理店として、スマートフォン向けサービスのマーケティング支援、主に広告運用の代理事業を行っています。 広告運用では、弊社が開発したスマートフォン広告効果計測ツール「Force Operation X」（以下「F.O.X」）を使用して運用の効率化を図っています。この「F.O.X」にHadoop管理ツールであるCloudera Managerを導入しています。 今回の連載では、この「F.O.X」にHadoop、Cloudera Managerを導入、運用して得られたノウハウを全3回でお伝えしていく予定です。今回は、スマートフォン広告サービスを支える技術要件とCloudera Managerの導入を決めた背
『Amebaのログ解析基盤にCloudera ImpalaとPrestoを導入しました』
(この記事は、Hadoop Advent Calender 2013 の12日目の記事です) こんにちは、Amebaのログ解析基盤Patriotの運用をしている、鈴木(@brfrn169)と柿島大貴です。 Patriotについては以下をご覧ください。 http://ameblo.jp/principia-ca/entry-10635727790.html http://www.slideshare.net/cyberagent/cloudera-world-tokyo-2013 今回、Amebaのログ解析基盤PatriotにCloudera ImpalaとPrestoを導入しました。 Cloudera ImpalaとPrestoのインストール方法や詳細ついては、下記URLをご覧ください。 Cloudera Impala http://www.cloudera.com/content/clo
お探しのページが見つかりませんでした404 Not Found | ソフトバンク・テクノロジー
誠に恐れ入りますが、お客様がアクセスしようとしたページまたはファイルが見つかりませんでした。 お探しのページは、削除または名前が変更された、もしくは一時的に使用できなくなっている可能性がございます。
HBase論争に釣られてみる - 科学と非科学の迷宮
HBaseコミッター達による、NoSQLの記事への反論が面白かったので翻訳してみました。 著者の許諾取得済み。Thanks Stack and the other authors! 本文 原題: Taking the Bait Information Weekは先日、「HBase はNoSQL を支配するのか?」という記事を掲載した。MapR の Michael Hausenblas は HBase の事例に「賛成」の論陣を張っており、Apache Cassandra の Jonathan Ellis とベンダーである DataStax は「反対」の側だった。 この「ディベート」をベンダーのセールストークとして却下し、Apache HBase に立ち戻り、HBase を使用し、改善していくのは、簡単な話である。しかし、この記事は特別に問題のある例だった。記事では、「賛成」と「反対」の双方と
トレジャーデータを利用する（treasure-data） インストール方法 | QK
最近めっきりブログの更新が遅れてしまったのですが、飽きちゃったわけではなく、すごーく一年間忙しかったから更新できなかっただけです。とは言いつつも、何も試していないのです。ここ一年、ビッグデータ、ビッグデータてつい最近騒がれており。私個人としては、バズワードっぽく思っていたのであまり関心がなかったのが正直な感想です。まず、大事なのが、ビッグデータじゃなくて、ビッグデータをどう分析して価値あるものを見つけるの？・・と・・なので、そちらに力を入れないと・・と思うわけです。つまり、ビッグデータを安価にそして簡単に使えるものを待っていただけです・・。というわけで出ました。treasure-data トレジャーデータとは？ 一言でいえば、クラウドのDWH（ビッグデータ）です。大まかな説明でもうしわけありませんが、 ・Fluentdを使っている ・Hadoopを使っている ・Amazon AWSを使って
Treasure Data - naoyaのはてなダイアリー
少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。
あのジェリー・ヤンも出資! 話題のベンチャーTreasure Dataがめざすのは"ビッグデータをシンプルに"─Hadoop Conference Japan 2013 Winterレポート（3） | gihyo.jp
シリコンバレーの投資家からも一目置かれるTreasure Dataの成長を支えているその技術力と経営理念について、Treasure DataのCTOである太田一樹氏が基調講演で語ったその内容をレポートします。 Feature Creepではなく“ナタ”を作る 太田氏をはじめとするTreasure Dataの創業メンバーはいずれもHadoopやmemcached、MongoDBなど、現在のビッグデータブームを支えるオープンソース技術の開発に学生時代から関わっていました。これらのオープンソースプロダクト、とくにHadoopに触れる経験が長かったことが、Treasure Data設立の大きなきっかけになっています。 「Hadoopの登場はこれまで使いづらいだけの存在だった分散システムの世界を大きく変えた。一方で、ユーザ企業がHadoopをデプロイし、運用をはじめても、結局はメンテナンスが大変にな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕）
http://hadoop.apache.org/docs/stable/file_system_shell.html
ストリームデータ分散処理基盤Storm
