Facebookの高速ベクトル計算ライブラリfaissをレコメンドAPIに使ってみる - Qiita
関。関連。関連といえばレコメンドですね。 というわけで今回はレコメンドエンジンに利用できそうな技術を紹介します。 MF系アルゴリズムの動的スコア計算 リブセンスでは以前から機械学習を用いたレコメンドエンジンを開発・運用しています。 ユースケースによりけりですが、最近ではMatrix Factorization(MF)系のアルゴリズムの利用が盛んです。 Non-negative matrix factorization - Wikipedia MFでは生成したユーザ・アイテムのベクトルの内積としてレコメンドのスコアを求めますが、ユーザやアイテムの数が多い場合、全てのユーザ×アイテムの組合せについてスコアを事前計算すると保持するデータサイズが非常に大きくなってしまいます。 このような場合はユーザ・アイテムのベクトルを別個に保持し、入力に応じて動的にスコア計算とソートを行ってレコメンド結果を返す
NumpyやPyTorchで使える超便利ツールを作った - シバニャンだニャン！
この記事は，CAMPHOR- Advent Calendar 2018の7日目の記事です． この記事は，NumPyやPyTorchなどの開発に使える「shape_commentator」という便利ツールを使った話です．このツールはpipでインストールできるので，サクッと試してみたい方はGitHubのページに飛んで使ってみてください． 加筆修正(2019/12/12) IPython拡張を追加したことでIPythonやJupyterNotebookでの使い心地が良くなったので，IPythonの例の部分を中心に一部修正しました． はじめに こんにちは．シバニャンです．最近は卒論で画像系の研究をしています． 卒業研究ではNumPyやPyTorchを使ってコーディングしているんですが，今までUnityのコードをC#で書いてVisual Studioのコード補完のぬるま湯に浸かってきた僕とっては，型
『機械学習のエッセンス』はゼロからガチで機械学習を生業にしたい人が「いの一番に」読むべき一冊 - 六本木で働くデータサイエンティストのブログ
機械学習のエッセンス -実装しながら学ぶPython,数学,アルゴリズム- (Machine Learning) 作者: 加藤公一出版社/メーカー: SBクリエイティブ発売日: 2018/09/21メディア: 単行本この商品を含むブログを見る発売されてからだいぶ経ちますが、構想段階の頃より著者の「はむかず」さんこと加藤公一さんからお話を伺っていて注目していたこちらの一冊をようやく一通り読みましたので、サクッと書評めいた何かを書いてみようかと思います。 各章の概要 言うまでもなく実際の内容は皆様ご自身でお読みいただきたいのですが、これまでの書評記事同様に概要を簡単にまとめておきます。 第01章 学習を始める前に Python環境やAnacondaのインストールについての説明もなされているんですが、重要なのは後述する「本書は何を含まないか」という節。ここに本書の狙いの全てが書かれていると言って
Pythonによる時系列データの異常検知 - Technology Topics by Brains
インターン生の松井(B4)です．時系列データの異常検知手法をまとめました． 入門 機械学習による異常検知という本の7章が時系列データの異常検知を扱っています．(本書の内容をまとめたWeb記事もあります．) www.coronasha.co.jp この本のサンプルコードはすべてRで書かれているため，Python (+numpy, scikit-learn) で書き直してみました． 後半では，深層学習を用いた時系列データの異常検知手法について，知られている所をまとめました． k近傍法による異常部位検出 特異スペクトル変換法による変化点検知 深層学習を用いた異常検知手法 LSTM (Long short-term memory) を用いた手法 Autoencoder (自己符号化器) を用いた手法 結び k近傍法による異常部位検出 時系列データの異常検知手法の中でも比較的シンプルなやり方です．
【python】自己相関関数を用いたピッチ検出【サウンドプログラミング】 - すこしふしぎ．
こんばんは．1000chです． 今週頭から内定先のインターンが始まり，今年はTAとして参加生のサポートをしています． 自分が昨年参加したインターンに，このような形で携われるのはなかなか感慨深いものがあります． 振り返るとこのブログを始めたきっかけもこのインターンでの出会いだったりして，時が経つのは早いものだなぁと思うばかりです． さて，今回は音のピッチ検出プログラムを作ってみます． キーワードは自己相関関数． いきますよー． ピッチ検出アルゴリズム 入力音声のピッチ検出には，様々なアルゴリズムが知られています．くわしくはおぐぐりいただくか，wikipedia先生に聞いてみてください． 今回は手始めということで，簡単そうな「自己相関関数」を利用したピッチ検出を試みます． 相関関数 相関関数r(m)は，ざっくり言うと「信号の周期性」を表現できる値です． 信号をmサンプルずらしたとき，元の信号に
LSTMで為替の予測をしてみた
RNN(LSTM)入門2日目。依然として、全然わかりません。 このあたりが自分のスキルの限界なのかもしれない。Udacity DLNDで株の値動きの予測をする動画が紹介された。 llSourcell/How-to-Predict-Stock-Prices-Easily-Demo: How to Predict Stock Prices Easily - Intro to Deep Learning #7 by Siraj Raval on Youtube FXのシステムトレードを以前やっていたので、ディープラーニングで学んだことが生かせればいいなと思い、株を為替に置き換えて、LSTMで為替の値動きの予測をしてみた。 この記事は以下の記事をベースに書いている。 Time Series Prediction with LSTM Recurrent Neural Networks in Pyth
活性化関数のまとめ（ステップ、シグモイド、ReLU、ソフトマックス、恒等関数） - Qiita
[参考]ゼロから作るDeep Learning 活性化関数とは 活性化関数は、入力信号の総和がどのように活性化するかを決定する役割を持ちます。これは、次の層に渡す値を整えるような役割をします。 一般的に、 「単純パーセプトロン」の活性化関数では、「ステップ関数」などが使われ、 「多層パーセプトロン（ニューラルネットワーク）」の活性化関数では、「シグモイド関数、ソフトマックス関数」や恒等関数が使われます。 また、これら「ステップ関数、シグモイド関数、ソフトマックス関数」を非線形関数と呼ぶのに対し、「y=cx」のような関数を線形関数と呼びます。 一般的に、ニューラルネットワークでは線形関数は使われません。この理由は、「なぜ多層パーセプトロンで線形関数を使わないのか？」で説明します。 一般的に、ソフトマックス関数と恒等関数は出力層で使われます。 ステップ関数 ステップ関数は、閾値を境にして出力が
東大のディープラーニング公開講座がヤバくていろいろ考えさせられた件｜加藤貞顕
１カ月ほど前から、東京大学の松尾研のディープラーニング公開講座に行っている。 ネットで募集していたのであわてて申し込んだら、とんでもない数の人が集まっていて熱気がすごい。学部生、院生、社会人、あわせて300人以上が同時に授業を受けている。 初回こそ、人工知能概論のような話だったけれど、2回目以降はものすごい速度で授業が進む。そして宿題の量と質もすごい。2回と3回目の授業だけで、普通の学校の半年分くらいの内容になっている気がする。東大、ほんとにやべーよ。 毎回、授業の冒頭は「ふんふん、そうか」とはじまるのだけれど、終わり間近に大量のサンプルコードを見せられて、それをすごい勢いで説明され、最後にゴツイ宿題が出る。授業終了後は、ポカーンってなる（授業中にぜんぶ理解しているひと、どれくらいいるんだろう）。 友人の物書堂の社長の広瀬くん（iPhone辞書アプリ開発の大御所！）も、たまたまいっしょに講
データサイエンティスト・データエンジニアのための Python ライブラリ一覧 - Qiita
データ分析やデータ加工、機械学習などを行うのに便利な Python ライブラリを紹介する。 なぜ Python なのか 統計や機械学習をするなら、 R という選択肢もある。 R のデータの加工や集計、統計処理に優れた言語であり、言語標準の機能だけでかなりのことができる。機械学習のライブラリも充実しており、有力な選択肢であることは間違いない。 R と比較して Python が優れている点は、周辺エコシステムの充実にある。 Python エコシステムはデータサイエンスの分野に留まらない。 NumPy や Pands で加工したデータを Django を使った本格的な Web アプリケーションで利用することも可能だ。 ライブラリ群のインストール ここで挙げているライブラリのほとんどは Anaconda で一括でインストールできる。 データ加工 NumPy NumPy は数値計算を効率的に行うため
機械学習のためのPython/NumPy/pandasチュートリアル（パート2） - めもめも
※パート1は、こちらです。 DataFrameとは？ パート2では、pandasのDataFrameを説明します。これは、エクセルシートのように、縦横に並べたデータにラベルをつけて取り扱うことができます。R言語のデータフレームに相当するものになります。 SeriesとDataFrame DataFrameは、RDBのテーブルのように、1つの列が特定のデータ項目、１つの行が１つのデータ（レコード）を表します。１つの列、もしくは、１つの行を取り出したものがSeriesオブジェクトです。 まず、特定のデータ項目に対応するSeriesオブジェクトを作ってみます。それぞれ、都市名、気温、湿度を表すデータです。 In [1]: city = Series(['Tokyo','Osaka','Nagoya','Okinawa'], name='City') In [2]: temp = Series([
pandasで使われるデータ構造 ～1次元、2次元、3次元のデータの扱い方～ - 今日も窓辺でプログラム
この記事について 今までなんとなくで使用していたpandasですが、なんとなくで実装していたコード（日経平均予想のやつです）が汚くメンテナンスが難しくなってきたので、一度ちゃんとpandasでのデータの扱い方をまとめておこうと思って書いたものです。 pandasの公式ドキュメントに Intro to Data Structures というものがあり、基本的にはそこで説明されていることの一部をピックアップして紹介している記事になります。 http://pandas.pydata.org/pandas-docs/stable/dsintro.html 目次 この記事について 目次 Series: 1次元のデータ Seriesの作り方 Seriesはnumpyのndarrayに似ている SeriesはPythonの辞書に似ている ベクトル的な計算もできます Name属性 DataFrame: 2
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
