Encoder-Decoder でレシピの材料名を正規化する - クックパッド開発者ブログ
研究開発部の原島です。部のマネージメントのかたわら、自然言語処理関連の開発に従事しています。本エントリでは、最近社内で開発した自然言語処理システムを紹介します。 ■ 「しょうゆ」のバリエーションは 100 種類以上 クックパッドで以前から解決したかった課題の一つに材料の名前（以下、材料名）の正規化があります。 クックパッドのレシピは複数の材料から構成され、各材料は名前と分量から構成されています。例えば、上のレシピの一つ目の材料は「豚薄切り肉」が名前で、「200g」が分量です。 さて、この材料名はこのレシピでは「豚薄切り肉」という表現でした。しかし、他のレシピでは「豚うす切り肉」という表現かもしれません。「豚うすぎり肉」や「ぶた薄切り肉」、「豚薄ぎり肉」等の表現もありえますね。 これは異表記同義（いわゆる表記揺れ）の問題ですが、同様の問題は他にも沢山あります。例えば、以下のようなものです。
ベイズ統計の数理と深層学習 @db analytics showcase Sapporo 2017
ベイズ統計の数理と深層学習 @db analytics showcase Sapporo 2017 1. ベイズ統計の数理と深層学習 株式会社Gunosy 米田 武 (@MATHETAKE) 2017.07.01 2. 2©Gunosy Inc. 自己紹介 ● 米田 武 ( マスタケ ) ● Twitter : @MATHETAKE ○ Twitter就活してました ● Blog : Obey Your MATHEMATICS. ● 学位：修士(純粋数学) - 2017年卒 ○ 微分幾何学, 複素幾何学, シンプレクティック幾何学 ● 所属 ○ 株式会社Gunosy 開発本部 データ分析部 ロジック/研究開発 ■ 推薦アルゴリズムの実験 / 精度検証 / バックエンドの実装 ■ 釣り記事対策 & 記事の品質モデリング などなど ● 基本的に自然言語処理 ● 最近の興味/研究対象 ○ 自然
「そのモデルの精度、高過ぎませんか？」過学習・汎化性能・交差検証のはなし - 渋谷駅前で働くデータサイエンティストのブログ
今年の1月にこんな話題を取り上げたわけですが。 この記事の最後にちょろっと書いた通り、実際にはこういう"too good to be true"即ち「そのモデルの精度いくら何でも高過ぎるんじゃないの？」→「実は汎化性能見てませんでした」みたいなケースって、想像よりも遥かに多くこの世の中存在するみたいなんですね。ということで、それこそ『はじパタ』の2章とかPRMLの最初の方に出てくる初歩中の初歩なんですが、その辺の話を改めてだらだら書いてみようと思います。 そもそも「精度100%」とか「相関係数0.9以上」とか見たら身構えるべき 冒頭に挙げた例は、そもそも「精度100%なんておかしい」という声があちこちから挙がったことで話題になり、蓋を開けてみたらleakageはあるわ訓練誤差でしか評価してないわで散々だったわけです。 一般に、実世界のデータセットで統計モデリングにせよ機械学習にせよモデリン
Machine Learning in a Year
Getting into machine learning (ml) can seem like an unachievable task from the outside. After this highly effective introduction, I continued learning on my spare time and almost exactly one year later I did my first ml project at work, which involved using various ml and natural language processing (nlp) techniques to qualify sales leads at Xeneta. This felt like a blessing: getting paid to do so
Fashion Tech x Machine Learning/twm_fashion_ml
Outfit Generation and Style Extraction via Bidirectional LSTM and Autoencoder
やる夫で学ぶ機械学習 - ロジスティック回帰 - · けんごのお屋敷
やる夫で学ぶ機械学習シリーズの第 5 回です。分類問題を解くためのロジスティック回帰を見ていきます。 第 4 回はこちら。やる夫で学ぶ機械学習 - パーセプトロン - 目次はこちら。やる夫で学ぶ機械学習シリーズ ロジスティック回帰 やる夫 分類問題を解くための素晴らしいアルゴリズムがあると聞きましたお。 やらない夫 今日は展開が早いな。 やる夫 回りくどいのは終わりだお。 やらない夫 では、今日はロジスティック回帰の話をしていこう。ロジスティック回帰は、パーセプトロンのように基本的には二値分類の分類器を構築するためのものだ。 やる夫 パーセプトロンよりは使い物になるのかお？ やらない夫 もちろんさ。ロジスティック回帰はいろんなところで使われているし、線形分離不可能な問題も解ける。 やる夫 それはナイスだお。 やらない夫 いつものように最初は簡単な具体例を示して概要を見ていこうか。 やる夫
不均衡データに対するNaive BayesとComplement Naive Bayes, Negation Naive Bayesの比較 - Debug me
ちゃお・・・† 舞い降り・・・† 今回は、Naive BayesとComplement Naive Bayes, Negation Naive Bayesでの多クラス分類を比較したい思います。なお多クラス分類とは、文書 がどのクラス に属しているかを求めることです。 それぞれの手法 Naive Bayes Naive Bayesによる多クラス分類では、ベイズの定理を適用した事後確率 が最大となるクラス を求めます。ただ、 を直接推定するのは難しいので、文書 を文書に含まれる単語列 で近似します。また、計算を簡単にするために各クラスで単語が独立に生起すると仮定します。 そして、最終的に以下の式によって文書の属するクラスを求めます。 \begin{align} \tilde{c} = argmax_c P(c) \prod_{i=1}^{n} P(w_i|c) \end{align} Comp
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
このページを見るには、ログインまたは登録してください
Pythonで機械学習入門以前
機械学習に基づく自然言語処理勉強会
『長文日記』へのコメント