サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
おみそ汁
yubessy.hatenablog.com
秋から京都に会社のオフィスができて異動になり、以前から交流のあった id:syou6162 さんにご報告したところ、京都に拠点のあるIT企業の合同論文輪読会に誘っていただきました。 自分の担当回では推薦システムに関する次の論文を取り上げることにしたので、発表用のノートを兼ねて解説を公開します。 Rank and Relevance in Novelty and Diversity Metrics † ACM RecSys 2011 - Rank and Relevance in Novelty and Diversity Metrics for Recommender Systems from Pablo Castells www.slideshare.net 推薦システムにおける Novelty, Diversity Webサービスを利用していて、以下のような経験をした方は多いのではない
最近仕事では機械学習を使ったアプリケーションをKubernetes上で運用することが多くなっています。 MLOpsのような言葉も次第に浸透してきたりと、システムとしての機械学習をどう運用していくかが活発に議論されるようになってきました。 運用に頭を悩まされてきた身としては心強い限りです。 この記事ではKubernetes(以下k8s)のようなコンテナオーケストレーション技術が、機械学習システム(以下MLシステム)の実行基盤としてなぜ適しているのかについて考えてみました。 注意点として、私はMLアルゴリズムの専門家ではなく、またLinuxやコンテナ技術の専門家でもありません。 あくまで仕事としてMLシステムを運用するためにk8sを利用している立場からの考察です。 TL; DR: MLシステムの運用には次のような課題が存在する 目的によって求められるワークロードの形態が異なる 一時的・断続的に
という発表を社内勉強会でしてきました。
社内のLT大会にて表記のタイトルで発表しました。 資料は以下に公開しています。 speakerdeck.com 最近仕事ではもっぱら機械学習システムの開発を行っていますが、モデルは作れても継続的な運用や実環境での安定稼働にはまだまだ苦労することが多く、いろいろと模索しているところです。 そんな中で今なんとなく考えていることをまとめてみた、という程度の内容ですので、わかったように書きつつわかっていないこともあります(ご容赦ください)。 スライドでも紹介している以下の2つの資料は、運用まで面倒をみる機械学習エンジニアとして非常に参考になる内容で、おすすめです。 Machine Learning: The High Interest Credit Card of Technical Debt Rules of Machine Learning: Best Practices for ML Eng
word2vecによって得られる語の分散表現を用いて文書間の距離(非類似度)を計算する手法についての論文を読みました。 せっかくなので解説してみます。 [1] Kusner, Matt J., et al. “From word embeddings to document distances.” Proceedings of the 32nd International Conference on Machine Learning (ICML 2015). 2015. TL;DR この論文では Word Mover’s Distance(WMD) という文書間距離の計算手法を提案しています。 提案手法は手っ取り早く言うと次のようなものです。 文書A, B間の距離 = A, Bの語同士を対応付けることでAをBに変換するとき、 対応付けのコストが最も低い場合のコストの総和 語xを語yに対応付
はじめに Sparkの基本的な仕組み データコレクションの操作のためのAPI 1. RDD - ネイティブなオブジェクトのコレクション 2. DataFrame - 基本的な型の値からなるテーブル RDD v.s. DataFrame 3. Dataset - RDDとDataFrameの長所を併せ持つコレクション RDD, DataFrameからDatasetへの書き換え DataFrameからDatasetへ RDDからDatasetへ おわりに はじめに Livesense Advent Calendar 2016の11日目の記事です。 昨今ではAmazon Elastic Mapreduce (EMR)などのマネージドサービスの登場により、分散データ処理基盤を構築・運用するハードルは劇的に下がっています。 ソフトウェアの選択肢も広がり、特にApache Sparkはオンメモリ処理を
Pythonで機械学習を使う場合、scikit-learnには何かとお世話になる。 豊富な学習アルゴリズムの実装を利用できるのが長所だが、実はアルゴリズムそのもの以外にも、前処理や評価のための様々な便利機能を有している。 これらを知らずに使っていると,車輪の再発明をしてしまうことになる。 また、機械学習関連のPythonライブラリはscikit-learnと連携できるAPIをもつものも多い。 scikit-learnを中心とするエコシステムが成立しているとも言える。 中にはコードをほとんど書かずに簡単なモデリングができるようなツールまである。 この記事では個々の学習アルゴリズムではなく、scikit-learnに予め用意されている便利機能やscikit-learnと連携できるライブラリなどを紹介する。 便利モジュール・パッケージ 前処理や評価で使われる一般的なテクニックの多くは既に実装され
昨年の10月から12月にかけて Cousera の機械学習オンラインコース "Machine Learning" を受講し、無事完走することができた。 www.coursera.org コースは無料で受講できるが、修得したことを公式に認定する修了証 (verified certificate) を取得するためにはお金がいる。 機械学習コースの取得料は$49と安くはないが、記念と思って取得してみた。 取得すると以下のようなパーマリンクがもらえて、修了証が閲覧できるようになる。 https://www.coursera.org/account/accomplishments/verify/WX835R39AB77 もともとアルバイトをしていたはてなでこのコースを利用した勉強会が開催され、それに参加させてもらったのが受講のきっかけだった。 運営の id:takuya-a さんをはじめ皆様にはお世
うまくいけば来年4月から社会に出ることになるので、今年は家計簿をつけることを目標にしていた。 そのため、今年1月からマネーツリーとマネーフォワードという2つの家計簿アプリ(iOS)を1年間使ってみた。 moneytree.jp moneyforward.com 結論から言うとマネーツリーに一本化することに決めた。 せっかくなので選択の過程を書き残しておこうと思う。 以下はあくまで自分の用途からみた主観的な話であり、内容について責任は持たない。 比較表 下の話を表にまとめるとこんな感じ。 マネーツリーマネーフォワード 資産一覧 種別集計画面見やすい見にくい 資産とポイント別画面同画面 出費集計 種別グラフ棒グラフのみ円グラフ可 通販履歴非対応対応 現金管理 レシート読み取り非対応対応 財布残高自動計算ATM引き出しで対応対応 その他 無料版の機能高機能制限あり Web版ありあり もう少し詳し
※以下は自分の利用ケースにおける主観的な感想です。 仕様は今後変わる可能性があります。 ちょっと前にタスク管理をApple標準のリマインダーからTodoistに乗り換えた。 最初はTodoistに満足していたが、使っていると時折痒いところに手が届かないことがあった。 そこで今度はWunderlistに乗り換えてみると、感じていた不満がほとんど解消されて幸せになることができた。 Todoistの不満点 有料版限定機能が多い 次の機能はTodoistでは全て有料版でしか使えない。 完了したタスクの閲覧 タスクにラベル付与 タスクに時刻指定のリマインダーを指定 タスクにメモを付与 タスクにファイルを添付 Wunderlistではこれらと同様の機能を全て無料で使うことができる。 またTodoistでは、これらの機能がメニューに表示されているのに、使おうとすると「この機能はプレミアム限定です」と言わ
最近Neo4jというデータベースに触れる機会がありました。 Neo4jはグラフ構造を扱えるデータベースシステムで、人間関係のネットワークやWebページ間のリンク関係などを扱うのに適しています。 グラフデータベースでは「友達の友達の友達」や「10以上リンクされているページ同士の相互リンク」といった情報を簡単に引き出すことができます。 これらをRDBMSで実現しようとすると何段ものJOINが必要となり、クエリが複雑になって計算量も増えてしまいがちです。 グラフデータベースを使えば、クエリを簡潔に保ち、計算量も抑えることができます。 今回は日頃から利用しているはてなブックマークのデータを使い、Neo4j上にはてブグラフを構築していろいろなクエリを試してみました。 ※はてなブックマークWebおよび公開APIから取得できるデータのみを使用しています。 グラフとは ここでいう「グラフ」はExcelで描
このページを最初にブックマークしてみませんか?
『yubessy.hatenablog.com』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く