自己紹介 すぎゃーん (id:sugyan) Web系エンジニア ドルヲタ TensorFlowで機械学習に入門 (2015.11〜) はてなブログ書いてます すぎゃーんメモ http://memo.sugyan.com/ アジェンダ アイドル顔識別について 自作識別器の紹介 データセット・学習の話 可視化 前回のあらすじ TensorFlowによるアイドル顔識別器の話 (2016.9.28) 学習用データセットの収集・作成 …の苦労話 モデルの評価と実験 収集したデータを使った顔画像生成 など アイドル顔識別について 問題設定 (やりたいこと) 「入力した画像に対し、写っているのが『どのアイドル(人物)か』を機械学習により自動判定する」 画像に対する 物体検出 + 分類 顔検出は今のところCloud Vision API任せ 検出された領域を抽出した個々の顔画像に対する分類がメイン LI

この記事はChainer Advent Calendar 2016の14日目の記事になります。 概要 こちらのツイートの研究について、詳しくお話します。 新海誠さんの世界観が大好きなのですが、撮影した写真を新海誠さん風のイラストに自動変換できたら面白いなと思い、システムを試作してみました。 上の写真を変換したのが下のイラストです。クオリティはまだまだですが、上手く使えば使えそう（自動変換後、若干の手動補正を行っています） pic.twitter.com/qY07hmzvHF— null (@NrNrNr7) 2016年9月22日 @NrNrNr7 比較用に映画のシーン。全体の色合いはかなり似せることができているのですが、使っているアルゴリズムの弱点で部分的におかしな色になってしまうのが課題です。 （画像はそれぞれ言の葉の庭、秒速5センチメートル、君の名は。より引用） pic.twitter

By grfx_guru 人間は音楽を聴いて「この曲はバッハの作曲だな」や「このフレーズはモーツァルトに似ている」といった分析を行うことが可能です。その際には脳の中で音の高さや長さを分析して自分の記憶と照合して……という処理が行われているわけですが、コンピューターにも同様の能力を可能にさせるための詳細なデータセットが公開されました。 What makes Bach sound like Bach? New dataset teaches algorithms classical music | UW Today http://www.washington.edu/news/2016/11/30/what-makes-bach-sound-like-bach-new-dataset-teaches-algorithms-classical-music/ 2016年11月、アメリカ・ワシントン

Microsoft Japan Data Platform Tech Sales Team 北澤 この Blog の記事でも マイクロソフトの統計分析・機械学習ソリューションの紹介 などで何回かご紹介していますが、 Azure には Azure Machine Learning ( 以降 Azure ML ) という PaaS で提供されている機械学習サービスがあります。Azure ML は様々なアルゴリズムを使った機械学習を、マウスのドラッグ アンド ドロップ操作を中心とした、直観的で容易なオペレーションで実行できるサービスで、 Microsoft が提唱している「 AI の民主化 」の中核となるサービスの 1 つとなっています。 本 Blog では Azure ML のサンプル集である Cortana Intelligence ギャラリーの Experiments をご紹介します。 C

The blog is aimed at a brief explanation of LLR. For more details please refer the original paper at http://ucrel.lancs.ac.uk/papers/tedstats.pdf. Another great resource is http://tdunning.blogspot.in/2008/03/surprise-and-coincidence.html from which much of the inspiration for this blog is drawn. The approach is centered around analyzing counts of co-occurrence of events. Concretely, lets consider

Research Open-sourcing DeepMind Lab Published 3 December 2016 Authors Charlie Beattie, Joel Leibo, Stig Petersen, Shane Legg DeepMind's scientific mission is to push the boundaries of AI, developing systems that can learn to solve any complex problem without needing to be taught how. To achieve this, we work from the premise that AI needs to be general. Agents should operate across a wide range of

(Chainer Advent Calendar 2016 5日目です．この記事はTokyoTechLTで発表したものと同内容のものです．) この記事は何？ 以前Chainer Advent Calendar 2015において，Chainerを用いたRankNet(ランク学習手法の1つ)の実装を紹介しました． 本記事では，RankNetを応用した画像の順序予測を紹介します． やりたいことの概要 RankNetを応用した画像順序予測の概要図を示します． 訓練データとして，既に順序付けされた画像集合を用います． 順序付けの例として，ユーザーの好みによるレイティングが考えられます．クリック率などを使う方法も可能だと思います． 得られた訓練データをCNNに入力し学習します．目的関数は，訓練データ中の画像対の順序が正しく識別できるように設定します(RankNet)． 得られた予測器にレイティング未知

3行まとめ Recurrent Neural Networkによるかな漢字変換をTensorFlowを使って実装しました。 既存手法のN-gramと比べて高い精度（文正解率2.7ポイント向上・予測変換3.8ポイント向上）を実現しました。 RNNの特性により離れた単語の共起関係と低頻度語の扱いが改善されました。 かな漢字変換とN-gramモデルの限界 パソコンやスマートフォンで日本語を入力するためのかな漢字変換には、同音異義語や単語区切りに曖昧さがあります。この問題に対処するため、現在は大規模な訓練データに基づく統計的言語モデルが主流になりました。その中でも代表的な単語のN-gramモデル1では、連続する単語列の頻度を使って言語モデルを構成し、変換候補の確率が高いほど順位が高いと考えます。 しかし、N-gramモデルには離れた単語の共起関係を考慮できないという問題点（マルコフ性）と、低頻度語

NEW GAME! というアニメはご存知でしょうか。女の子たちがワイワイとゲーム会社で働く日常を描いた作品で、非常に良い作品なのですが、一方でこんなキラキラした会社ねーよと言われた挙句、実はあそこにいるのは皆中年男性で、働きすぎて周りが皆美少女に見える幻覚が見えているのではないかという説まであったりします。ドワンゴのslackには、バーチャル彼女生成系チャンネル#kanojo_createや、美少女変身願望チャンネル#become_bishoujoというものが存在するので、現実を捻じ曲げてしまう異もあながちあり得ない話ではないのではないかとも思ってしまいます。 私もそんな一人であり、そんな美しい幻覚なら喜んで受け入れよう、ということで作ったのがこのリアルタイムNEW GAME!フィルタです 似顔絵データが存在しない = 転移学習 さて、ここでやりたいのは、実写画像を入力として、その実写画像

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

この結果を見て単語ベクトルが変わるとNGTの性能が変わってしまうように感じた方がいるかもしれません。しかし、実はこれらの単語ベクトルはデータの次元数や件数が違っているため、それぞれの条件をあわせてみる必要があります。興味がある方は論文を読んで見比べて欲しいと思いますが、ここで重要なことは、NGTが高い精度にも関わらず、せいぜい100ミリ秒程度で検索できるという規模感であるということです。その規模感を感じてもらうために、これらの実験結果をご紹介しました。この実験以外にも論文の中では単語ベクトルの応用としてアナロジーと呼ばれる合成ベクトルでの実験やその他の比較手法の比較、実験結果の考察などもありますが今回は割愛します。 これまで紹介した内容と同じような実験はLinux系のサーバーであれば公開しているExperimental softwareという実験プログラムを使うと簡単に試すことができます。

データサイエンティストの中村です。今回はイメージファーストなファッションアイテム検索システムを作ってみたのでそちらの紹介をしたいと思います。 本記事で紹介する技術はIBIS2016でも報告しています。 概要 ファッションアイテムを探すとき、見た目の印象はとても大事な要素です。ファッションは感覚的なものなので、自分が欲しい服について言葉で説明することは難しいですが、そのアイテムの良し悪しは画像を見ただけで判断できるからです。 今回開発した検索システムは見た目の印象を大事にしたいので、画像をクエリとします。ただし、ただの画像検索では面白くないので、色や形状などの属性情報を付加した状態で検索を実行できるようにしました。 例えば、「シルエットは良いんだけど、これの赤いやつが欲しい」のような感覚的な注文を、以下のGIFのように画像に属性を付加する形で拾っています。 よくある検索システムではカテゴリに

はじめに 本記事はPython2.7, numpy 1.11, scipy 0.17, scikit-learn 0.18, matplotlib 1.5, seaborn 0.7, pandas 0.17を使用しています． jupyter notebook上で動作確認済みです．(%matplotlib inlineは適当に修正してください) SklearnのManifold learningの記事を参考にしています． 多様体学習と言われる手法について，sklearnのdigitsサンプルを用いて説明します． 特にt-SNEはKaggleなどでもたまに使用されている，多次元データの可視化に適した手法です． また可視化だけでなく，元のデータと圧縮されたデータを結合することで，単純な分類問題の精度を向上することができます． 目次 データの生成 線形要素に注目した次元削減 Random Proj

YahooはNSFW(職場閲覧不適切)な画像を認識するディープニューラルネットワーク「Open nsfw」をオープンソースとして公開しているのですが、これを使って「コンサート」「ギャラリー」などのカテゴリごとにNSFWな画像を自動生成できるジェネレーターを開発した猛者が登場しています。 Image Synthesis from Yahoo's open_nsfw https://open_nsfw.gitlab.io/ 博士論文提出志願者のGabriel Goh氏は、Yahooのオープンソースニューラルネットワーク「Open nsfw」に、ワイオミング大学のEvolving AI Labが開発した画像生成ネットワーク「Synthesizing」を組み合わせることで、NSFWな画像を生成するジェネレーターを開発しました。 Synthesizingはニューラルネットワークを通じて画像を生成する

※昨年話題になったDCGANで遅ればせながら遊んでみたという話です。内容としてはアルファベットに適用しただけです。 背景 ドレイクの方程式のN値がもし１より大きければ、どこかに地球外文明があり、おそらく何らかの文字が使われていることでしょう。そしてその多くは、地球でも生まれた（そして消えていった）文字とかなり共通している、または似ている確率が高いと思います。 文字としての制約： - 条件１：少々くずれても互いに判別可能な（判別しやすい）文字のセットであること - 条件２：複雑すぎないこと - 条件３：描きやすいこと（≒条件2） を満たす図形のバリエーションには限りがあるためです。 であるならば例えば、現在のアルファベットから特徴を抜き出してうまくアルファベット様文字列生成器を作れれば、パラレルワールドのアルファベット、そして宇宙人のアルファベットを垣間見ることができるはずです。 実験手法と

20 Tips, Tricks and Techniques That You Can Use To Fight Overfitting and Get Better Generalization How can you get better performance from your deep learning model? It is one of the most common questions I get asked. It might be asked as: How can I improve accuracy? …or it may be reversed as: What can I do if my neural network performs poorly? I often reply with “I don’t know exactly, but I have l

機械学習は日々進化を遂げ、全てのエンジニアにとって無視できない存在となってきました。 現在では、検索エンジン、マーケティング、データマイニング、SNS等さまざまな分野で活用されています。 そんな中、2015年11月10日にGoogleが機械学習ライブラリ・TensorFlowをオープンソース化し、大きな注目を集めました。 そこで今回は、機械学習に興味があるけれど何から手を付けたらいいのかわからないエンジニア向けに、TensorFlowの入門資料（記事・スライド）をまとめました。 機械学習案件を提案してもらう 特にプログラマーでもデータサイエンティストでもないけど、Tensorflowを1ヶ月触ったので超分かりやすく解説 / Qiita http://qiita.com/tawago/items/c977c79b76c5979874e8 TensorflowがMNIST（手書き数字データ）の