Movie Recommendation with MLlib
In this chapter, we will use MLlib to make personalized movie recommendations tailored for you. We will work with 10 million ratings from 72,000 users on 10,000 movies, collected by MovieLens. This dataset is pre-loaded in your USB drive under data/movielens/large. For quick testing of your code, you may want to use a smaller dataset under data/movielens/medium, which contains 1 million ratings fr
バナーデザインのコツ11選！初心者が気をつけるべきポイント、ビフォーアフターも紹介 | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
はじめまして。デザイナーののっちです。 好きな業務の1つがバナー制作なのですが、最初の頃は「決められた空間に文字と画像を詰めて、さらには綺麗に見せて……」と、まるでジグソーパズルのようなあの作業にもの、すごーーく時間がかかっていました。これは新米デザイナーなら、誰でも一度は通る道だと思います。 そこで今回は、新米デザイナーが知っておきたい“美しい”バナーを“効率的”に制作するためのフローについてまとめます。 独学でつまずいていませんか？ バナーデザインの作り方を効率的に学びたい、プロに教えてもらいたい……という方は、「スクールでの勉強」もおすすめです。LIGでもWebクリエイター育成スクール「デジタルハリウッドSTUDIO by LIG」を運営しております。「今すぐスクールの概要を知りたい！」という方は、ぜひこちらより資料をご請求ください。 ※この記事は2022年2月に編集部が情報を更新し
カエルでもわかる！Spark / MLlib でやってみる協調フィルタリング（前編） - ALBERT Engineer Blog
はじめに 当ブログでは Apache Spark プロジェクトの機械学習ライブラリ MLlib について何度か取り上げました。 Spark / MLlib の K-means を Java から利用してみる Scala ではじめる Spark / MLlib の単純ベイズ分類器 今回のエントリでは MLlib の協調フィルタリングについて書きます。 アルゴリズムの簡単な解説と Java からの利用方法、性能評価実験などの話をします。 Spark 1.1.0 が9月にリリースされてからしばらくたってしまいましたが、1.1.0 から実装された機能も紹介します。 少し長くなるので前・後編に分かれます。 以下では Spark 1.1.0 を想定しますが、このあたりは今も発展中であり、以降のバージョンではまた違う話になっている可能性が高いのでご注意ください。 MLlib における協調フィルタリング
map, reduce, filterによるシーケンス操作
シーケンスに対して繰り返し操作するためのビルドイン関数。forで繰り返し処理する代わりに記述できる。mapとfilterはリスト内包表記で記述でき、そちらのほうが概ね高速なのでリスト内包表記で記述したほうが良い。 map: すべての要素に処理を行う シーケンスのすべての要素を関数の引数として実行し、その実行結果から新しいlistを作成する。 >>> items = [1, 2, 3] >>> def plus(n): # 10加算して返すだけの関数plus ... return n+10 ... >>> map(plus, items) #itemsの要素すべてにplus関数の実行し、新しいlistを返す [11, 12, 13] >>> items #元のitemsは変更されない [1, 2, 3] >>> map(lambda n:n+20, items) #関数部分をlambda関数
Java Streamメモ(Hishidama's Java8 Stream Memo)
概要 Stream系クラス Stream系メソッド Stream生成 [/2018-10-01] メソッド Stream [/2021-03-21] BaseStream プリミティブStream [/2021-03-21] onClose [2015-12-13] Streamの例 [/2021-03-21] 概要 JDK1.8で導入されたStreamは、複数の値（オブジェクト）に対して何らかの処理（変換や集計）を行う事を分かりやすく記述できる。 import java.util.stream.Stream; Streamの値の持ち方はjava.util.Listのようなイメージ。 しかしStreamの操作は一度しか行えないので（ScalaのTraversableOnce相当）、java.util.Iteratorの方が近いかも。 つまり複数の値を保持し、順次処理していく。 なお、Str
Java関数型インターフェースメモ(Hishidama's Java8 Functional Interface Memo)
概要 @FunctionalInterface 標準的な関数 Supplier（get：()->T） [/2014-04-13] Consumer（accept：(T)->void） [/2014-04-13] Predicate（test：(T)->boolean） [/2018-10-01] Function（apply：(T)->R） [/2014-04-13] UnaryOperator（apply：(T)->T） [/2014-04-13] BinaryOperator（apply：(T,T)->T） [/2014-04-13] 関数型インターフェースは、ラムダ式やメソッド参照の代入先になれるインターフェースのこと。 関数型インターフェースの条件は、大雑把に言って、定義されている抽象メソッドが1つだけあるインターフェース。 staticメソッドやデフォルトメソッドは含まれていても
Java8 Lambdaの文法拡張まとめ - きしだのHatena
デフォルトメソッドは前に解説しました。 Java8で最もインパクトのある構文拡張、デフォルトメソッド ここでは、それ以外の構文拡張についてまとめておきます。 ラムダ式 実装すべきメソッドがひとつだけのインタフェースを関数型インタフェースといいます。 UnaryOperatorインタフェースは実装すべきメソッドがapplyメソッドひとつだけなので、関数型インタフェースになります。 たとえば、UnaryOperatorインタフェースを実装したクラスを定義すると次のようになります。 class MyOp implements UnaryOperator<String>{ @Override public String apply(String t) { return "** " + t + " **"; } } このUnaryOperatorインタフェースを使う、List#replaceAllを
[Python][お勉強] Python入門(27) - lambda式
メモ代わり。てきとーに。 いや、ですからてきとーですって。 2年前ぐらいにPythonあたりでメールくれた方、ごめんなさい。メール紛失してしまい無視した形になってしまいました。。。 今日はlambda式。 Lispから来た名前だそうで。 lambda式とは defステートメントのように関数を作成する際に使用するもの。 defステートメントとは違い「式」。よってdefステートメントでは記述できない場所に記述することが可能。 また、defステートメントでは関数の名前を記述できたが、lambda式では意図的に代入しない限り名前がない。つまり無名関数生成式ということ。 lambda式のシンタックス lambda <arg1>,<arg2>,...<argN>: <expressions> の形をとる。 実際に書いてみる。 まずdefステートメントから、 >>> def func(x,y,z): r
Builtoutを使う Egg基礎編 - 箱が…
前回の概要編では訳文的なノリで書いてみましたが、なかなか上手くいかないものですね 今回はPython Eggsを作るために必要なものについて書きます。 とはいったものの、Buildout(zc.buildout)を使うのに何故Eggの話を挟む必要があるのか、と思っている方もいると思います。 その理由は簡単です。BuildoutはPyPIやローカルにあるEgg（.eggまたはEggにする前のソースコード）を組み合わせてアプリケーション（のための環境）を構築するシステムだからです。 つまりBuildoutはEggがベースになっているので、あなたが今から書こうとしているアプリケーションもEggである必要があるのです。 そういうわけなので、この記事を読んでEggを作れるようになりましょう。 念のためご存じない方のために説明しますが、Python EggsとはJavaでいうところのJAR(Java
レシピ検索を改善する工夫 - クックパッド開発者ブログ
こんにちは。技術部検索グループの兼山(@PENGUINANA_)です。 クックパッドの中でレシピ検索はレシピをのせる人とさがす人をつなぐ大事な仕組みです。 今回はレシピ検索を運用改善していく上での工夫のうち、他の検索システムでも役立ちそうな内容を紹介させていただきます。 改善ポイントを発見しやすくする 工夫1. 検索語をモニタリングする search monitorという社内ツールを作りました。前日の検索傾向を表示できます。 このツールは以下の作業をサポートします。 検索語をUU（ニーズ）が多かった順に知る キーワードごとに何人に使われたのかを知る ユーザーが実際に目にする検索結果を素早く確認する レシピが1品も見つけられなかったキーワードを知る 他にも「キーワードごとにどのようなキーワードと組み合わされやすいか」、「その検索語のCTRはどの程度か」、「その検索語は何時頃あるいは何曜日によ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://databricks-training.s3.amazonaws.com/getting-started.html
正月休みだし Mesos 触ってみた : sonots:blog