[B! Cloudera] rokujyouhitomaのブックマーク

Clouderaを退職しました - 科学と非科学の迷宮

2018年11月30日(金)は、Cloudera株式会社への最終出社日でした。2011年4月1日に入社したので、勤続日数は2800日でした。 Clouderaオフィス2011年 Cloudera Japan オフィス 2012年日本にオフィスも同僚もいない状態からのスタートでしたが、今日、多くの同僚たちに見送られる形で会社を出ることができました。退職するときは、最後の一人として会社を去るか、自分がいなくても会社が回るようになったときか、そのどちらかにしよう、と決めていました。皆が退職することを惜しんでくれましたが、私がいなくても会社は問題なく続いていくでしょう。私が理想とする結末にたどり着くことができて、本当に嬉しいです。 7年前、ごく一部の人しか知らなかったHadoopは、今や多くの人が知るソフトとなり、Hadoopに限らず、様々なデータ基盤を活用することが当たり前の時代となりました

rokujyouhitoma 2018/11/30

リンク

仕事ではじめる機械学習

The document discusses machine learning projects and production. It begins with an introduction of Aki Ariga and their background. It then discusses 4 patterns for machine learning projects: 1) train batch/predict online via REST API, 2) train/predict batch via shared DB, 3) train/predict/serve continuously via streaming, and 4) train batch/predict on mobile apps. The document also covers machine

rokujyouhitoma 2018/05/17

リンク

Deep Learning Frameworks on CDH and Cloudera Data Science Workbench - Cloudera Blog

Deep Learning Frameworks on CDH and Cloudera Data Science Workbench The emergence of “Big Data” has made machine learning much easier because the key burden of statistical estimation—generalizing well to new data after observing only a small amount of data—has been considerably lightened. In a typical machine learning task, the goal is to design the features to separate the factors of variation th

rokujyouhitoma 2017/07/13

リンク

「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮

Hadoopの時代は終わった、という言説をたまに見かけるようになりました。もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。以上をご了承の上、読み進めてください。要約データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが

rokujyouhitoma 2017/07/10

リンク

Clouderaがエンタープライズ市場にアピールするための次のステップは

Tony Baer （Special to ZDNET.com）翻訳校正：村上雅章野崎裕子 2017-03-29 06:30 Clouderaは現在、データサイエンティストやデータエンジニア、ビジネスインテリジェンス（BI）ユーザー向けの特別エディションを提供している。同社は今後、法人顧客を魅了するためにどのような動きに出るのだろうか？また、どのようなクラウド戦略を採用するのだろうか？ Clouderaは、「Hadoop」関連企業のなかでは良い位置に付けている。同社は早い時期から地盤を築いており、最大のインストールベースを有してもいる。また同社は、Intelから7億4000万ドルの投資を受け、同分野の企業のなかでは最大級の資金力を誇ってもいる。そして同社は、利益を生み出せるだけの資金を保持している一方で、新規株式公開（IPO）に向けて準備を進めているという報道がうわさを呼んでもいる。

rokujyouhitoma 2017/03/29

Cloudera

リンク

Cloudera Standard のご案内 ~ 無償版大幅機能強化のお知らせ | Cloudera Japan

データを信頼し、AI を信頼する信頼できるデータ、信頼できるモデル、信頼できる AI を実現するために、これほど多くのクラウドのさまざまなデータタイプを管理でき、オープンデータのイノベーションと大規模展開に対応できるプラットフォームは他にありません。

rokujyouhitoma 2015/10/16

リンク

フリーのVM環境を使って、ビッグデータ分析の学習環境をすばやく構築する

はじめに Hadoopを使って大規模データを蓄積し分析するのは、もはや当たり前になってきた昨今ですが、大規模データ分析の環境を試すのは、なかなか難しいというのが現状です。確かに、Hadoop単体やSQLエンジン単体なら、Amazon EMRやGoogle BigQueryなどを使うことで体験することは可能でしょう。しかし、大規模データの分析基盤では以下のようなことを行っていく必要があります。 RDBMSからデータをHadoopにインポートする SQLを使って、大規模データを高速に分析するアクセスログなどの大量の非構造化データを分析する大量のデータに対し、リコメンドに利用するための高度な分析処理を行う大量のデータを全文検索できるようにするこれらすべてを試す環境を構築するのは、たとえクラウド環境を使ったとしても困難です。また、（検証環境としては）意外と高額な費用がかかってしまい、永続化

rokujyouhitoma 2015/04/24

リンク

Cloudera Impala

大規模並列処理（MPP）エンジンであり、Hadoopのデータに対してSQLを用いてクエリを実行できるソフトウェアImpalaについて紹介する書籍です。ビッグデータのワークフロー全体から、またRDBMS、OS、そしてHadoopといった読者の背景知識を元にして、Impalaが実現する機能や役割を紹介します。なお本書はEbook版のみのリリースとなります。イントロダクション 1章　ビッグデータのエコシステムにおけるImpalaの立ち位置 2章　ビッグデータのワークフローにおけるImpalaの場所柔軟性パフォーマンス 3章　RDBMSの背景知識から見たImpala 標準的なSQL ストレージ、ストレージ、ストレージ数十億行に及ぶデータ Impalaとデータウェアハウスの相似点 Impalaでの初めてのクエリ Impalaのテーブルへのデータの取り込み 4章　UnixあるいはLinuxの背