SQLだけで機械学習するぞ-Hivemall入門- - Qiita
こんにちは。onunuです。 IESHILでエンジニアをしています。主にSQLを描くのがお仕事です。 以前はマッハバイト(旧ジョブセンス)で開発していたのですが、SQLで座標平面を描く能力を評価してもらい、座標上の2点間の距離計算とかいっぱいする不動産のサービスに異動になりました。地球は球なので大変です。 さてさて、本記事はLivesense -自- Advent Calendar 2017のために書かれています。 テーマは 自 、ということなので、自分の仕事領域であるSQLに関して書こうと思います。 Hivemallとは HivemallはHadoop/Spark上でSQLクエリを用いて機械学習を行うためのライブラリです。 実際にはHadoop/Spark用のデータウェアハウスであるHive上で動作するUDF(User Defined Function)として実装されています。 ユーザー
Hivemallを利用した機械学習実践入門 （第一回: ドラッグストアのセールス予測） - トレジャーデータ（Treasure Data）ブログ
本特集では、Treasure Data環境で利用可能な機械学習ライブラリHivemallを利用した機械学習の実践方法を紹介します。世界のデータサイエンティストが腕を競うデータサイエンスコンペティションサイトKaggleの中から、実践的な課題を扱っていきます。 1. はじめに 第一回は小売業の売り上げ予測するタスクであるRossmann Store Salesコンペティションを課題に用います。アルゴリズムとしては、決定木を利用したアンサンブル学習手法の一種であるRandom Forest回帰を利用します*1。 Rossmannはヨーロッパの７カ国で3,000以上の店舗を展開する薬局チェーンです。各店舗のマネージャーは6週間先までの店舗の売り上げを予測することがタスクとして課されています。各店舗の売り上げはプロモーション活動、競合要素、学校の休みや祝日、季節性、地域性など様々な要因に左右されま
TreasureDataで機械学習してみる | ADN LAB's Blog
この記事はTreasure Data Advent Calendar 11日目の記事です。 こんにちは、データマイニングチームのy_kawasakiです。（毎回所属が変わってます！） 最近、大量のデータを前に途方にくれていました。TreasureData（以下TD）という、武器を手に入れて、がっつりと戦っているところです。 TDにはHivemallという、Hive上で動くscalable machine learning libraryが実装されています。Hivemallの使い方はgithubのwikiによくまとめられているのですが、それは、あくまで、Hive上で動かすことを前提に書かれています。今回は、TD上で動いているHivemallを使いたいため、一部、変更したりする必要があります。 とりあえず、手を動かしたいということで、どこのご家庭にも常備してある、あやめのデータを使いたいと思い
トレジャーデータ、機械学習ライブラリを提供開始～複雑なプログラミング不要で機械学習の処理を可能に
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
Hcj2014 myui
Slide@Hadoop Conference Japan 2014 Video http://www.ustream.tv/recorded/49697833Read less
【超入門】Hivemallで機械学習 〜Treasure Dataでロジスティック回帰編〜 | DACエンジニアブログ：アドテクゑびす界
こんにちは。俺やで。 ビッグデータとかデータサイエンティストとかいう言葉が未だブームですね。 （「データサイエンティスト」は下火か。） ビッグデータ扱えるエンジニアも、 統計解析ができるアナリストも、 どっちもできるスーパーマンも世の中にはたくさんいますが、 ビッグデータも統計解析も扱えるインフラは多くはない現状です。 そこで！ この記事では、 ビッグデータに対応したHiveで使える機械学習ライブラリ、 「Hivemall」の使い方を学ぼうじゃないか！ という志をたくさん表現するべく書いています。 そして統計やるんだったら、 初歩的だけどおもしろいロジスティック回帰がいいだろうなと、 これを取り上げました！ ちなみにですが、 あくまで「Hivemallの使い方」に重きを置くので、 統計云々みたいな深い話は最低限しかしません。 あとTreasureDataで試させていただきました。 いつもお
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
