機械学習を使ってUI自動テストをサイト間で再利用する - DeNA Testing Blog

SWETの薦田（@toshiya-komoda）です。 今回は第3回目の記事で言及させていただいた機械学習とUIテストに関して実験的に進めている技術開発について紹介させていただこうと思います。 この記事で紹介している内容の実装はGitHubにアップロードしていますので、もし興味がある方はこちらも覗いてみていただければと思います。 こちらはTensorFlow Advent Calender 2017第７日目の記事にもなっています。機械学習の実装の中でKerasを用いてます。 とりあえずデモ 最初に以下のデモ動画をご覧いただきたいです。会員登録フォームに対する自動テストのデモです。各入力欄に適切な情報を入力しつつ、パスワード欄にだけ'weak'という不正なパスワード文字列を入力して、バリデーションで弾かれることを確認するテストです。デモでは入力欄に値を埋める部分を、Chrome Extens

[mad-p]

自分もchainerで少し試しました

[roshi]

これを応用してポイントがもらえるアンケートを自動回答させたい。

[stealthinu]

ネットワーク的にはディープではないのだけどこのくらいのことは出来ると。目のつけどころが良い感じ。

[t-wada]

機械学習を用いてページ中の入力欄の意味を判別し、適切な値を入力することによって自動テスト自体を自動化する DeNA SWET チームの試み。素晴らしい。

[sonots]

良いじゃん

[ryopeko]

挑戦的なことやっててすごい

[june29]

すごすぎる…！

[kukita]

【#機械学習】機械学習でサイト固有の DOM Element を自動判別させ自動テストを行うという話。なかなかスゴい。自分用メモφ(..) #テスト #自動化 #テスト自動化 →

[hatz48]

すごい

[yosuke_furukawa]

すげぇ

[nagayama]

“ページ中の入力欄の意味を機械学習を用いて判別し、適切な値を入力する”

[shogo_okamoto]

これはいろいろな可能性を秘めている分野。

[mrmt]

すばらしい

[devorgachem]

よさが高い

[hakobe932]

まじかおもしろい

[karupanerura]

すごい

[braitom]

DOM要素を機械学習を用いて分類、推定してUI自動テストを行う方法について。面白いなー。

[ledsun]

画像は教師データ少なくて無理では？と思ったけど、HTML文字列解析か、なるほど。input要素だけなら、NN使わなくても、ただの辞書でよい気もする。labelや隣の文字も使うなら、もうちょっと工夫が入りそう。