はてなブックマーク

これまで多数のAIチャットボットを作ってきた筆者が学んできたことを紹介します。 1. チャットボットにしか出来ない事とは？ 大昔から人は対話することで直接問題を解決してきました。 AIチャットボットはそんなはるか昔の時代を思い起こさせるようなものです。 現在の主なAIチャットボットは、アプリほど豊かなGUI（=グラフィカル・ユーザ・インターフェース）を提供するわけではありません。 対話を使ったこのインターフェースは、シンプルであればあるほどその効果を発揮することができます。 1-1. AIチャットボットが使われる主な理由 1. 対話性：問題解決のために複数のインプットが必要なため、アプリでは適さない場合 2. シンプルさ：ボットが問題に対して即時に直接的な解決策を提示できる場合 つまり、複数の対話入力を必要とし、アプリよりも単純に問題解決する手段としてチャットボットが有効であると言えます。

あらすじ チャットボットについて語る際に、NLP、NLU、NLGのように色々な略語がよく使用されます。 これらは一見すると全て同じようなものと考えられがちです。 チャットボットの特徴をよく理解するために、これらの用語の意味も考えていきましょう。 1. NLP (Natural Language Processing)：自然言語処理とは？ 日本語では自然言語処理と呼ばれ、機械に人間の言葉を理解させる技術です。 より詳細を説明すると、適切なアクションと、レスポンスをユーザに理解可能な言葉で伝えるために用いられるものです。 2. NLU (Natural Language Understanding)：自然言語理解とは？ NLU：自然言語理解とはより狭い範囲に限定したNLPです。 NLPとの違いは、より機械にとってフレンドリーな言語理解を行う事を目的としており、構造化されていないテキストを受け取

～ ニューラルネットを利用して、あなた個人の行動について、あなたよりも詳しく学習する方法 ～ SNSのインスピレーションの最たるものは、人間の脳だと言われています。 ニューラルネットで使用されている、データを収集しそれを別のものに応用するという作業は、人間の脳のニューロンが何かを学ぶ際に実際に行っていることです。 科学的な視点から言うと、ニューラルネットはそれほど大きなニュースではありません。 私は以前、既に観測されたデータ群から汚染されているデータを予測するためにニューラルネットを使用しました。 更に、ニューラルネットをスマートフォンの音声認識の精度を高めるために活用しました。 この分野の新しい技術的な挑戦は、我々の人格をデジタル化し、それを取りまとめて販売可能な状態に落とし込むことです。 好きなバンドに関することをSNSに投稿したり、アップロードしたりするような行為は、通常１０代を終え

※【無料】独学用 実践演習問題・解答（サンプル・プログラム）付き！ よく使う関数等に「絞って」まとめていますので、ムダ無く効率的に「最速」で独習頂けます。 [toc heading_levels=”2,3″] 1. Python（パイソン）とは？ 本章の内容 Python（パイソン）の特徴や、よく使われているシーンの解説 1-1. Pythonの３つの特徴 1-2. Pythonがよく使われている分野 1-3. Python環境を手軽に構築できる、Jupyter Notebook 1-1. Pythonの３つの特徴 特徴1. シンプル Python（パイソン）は、プログラム言語の１つで、文法がシンプルで読みやすく、初心者でも開発しやすい 特徴2. Pythonはライブラリが豊富 数値計算、統計処理、自然言語処理、機械学習等のライブラリ 特徴3. 実績が豊富 Google、NASA、Micr

※サンプル・コード、Githubへのリンクも掲載 1. あらすじ チャットボットブームに際し、過去数ヶ月間、NLP（自然言語処理）、及びDeep learningをどのようにチャットボットに適用するか、関連リソースを集めていました。 常に有用なコンテンツをリストに収集するようにして、可能な限り細かく収集を行ったつもりです。 今回、そのリストをチャットボットの開発者、及びその他の方にシェアします。 このリストは、チャットボット分野におけるDeep learningの経験豊富なDenny Britzによって、ソースコードと、Githubへのリンクが提供されており、ユーザにとって、チャットボットの作り方のガイドとなります。 チャットボット選定で“絶対に外せない”３つの確認ポイントとは？ 本資料（無料 eBook）をご覧頂ければ、以下の事がスムーズに出来る様になります。 選定候補のAIチャットボッ

AIを活用した次世代カーナビを開発 株式会社エディア（本社：東京都千代田区、代表取締役社長：原尾正紀、以下「エディア」）と、株式会社SPJ（本社：東京都千代田区、代表取締役：江口天、以下「SPJ」）は、2018年3月12日（月）より、AI（人工知能）関連技術（機械学習※1、ディープラーニング※2、自然言語処理※3、ビッグデータ解析※4等）を活用した次世代カーナビ・ゲーム等の開発を目的とする共同研究開発を開始いたします。 本共同研究開発により、ユーザーの行動・会話をAIが学習し、ユーザー毎の趣味・趣向に合わせて自動で進化・最適化した世界観・キャラクターを形成するサービスの提供を目指します。 ■本共同研究開発の概要 本共同研究開発では、多彩なスマホゲームやナビアプリを運営・開発するエディアが商品またはサービスの企画・学習データの収集を担当し、AIソリューション企業であるSPJがAI関連技術の支

2017/12/04 投稿 株式会社SPJ（本社：東京都千代田区、代表取締役CEO：江口 天、以下「当社」）は、小売業に特化した高精度 人工知能 接客システムを2017年12月7日（金）にリリース致します。 通常の対話システムは、雑談等幅広い話題に対応出来るようにすることを目標に開発されています。その結果、意図解釈能力が広く浅くなってしまい、回答の精度が上がりにくくなっている現状があります。 そこで当社は、小売業の接客で良く使われている単語や業務、対話内容を調査・分析し優先順位をつけ、対応頻度の高い対話を重点的にAIに学習させることで、小売業務での高精度な対話システムを実現しました。 また技術的にも、ディープラーニングを使用した高精度対話エンジン、及び意図判定エンジンの技術を融合して双方の利点を取り入れることで精度を飛躍的に向上させることに成功致しました。更に、来店客との日々の対話を学習し

あらすじ ニューラルネットワークを作成する際に、層の数、ニューロンの数、活性化関数の種類等考えるべきパラメータは非常に多くあります。 そこで、これらのパラメータがどのようにモデルや学習に影響を与えるかということをscikit-learnの MLPClassifier を使って解説したいと思います。 MLPClassifierを使うと、非常に簡単にニューラルネットワークを使うことができます。 今回はそれぞれのパラメータの意味と使い方及び各種メソッドの解説していきたいと思います。 ちなみに、scikit-learnの推定器の選び方に関しては、scikit-learn（機械学習）の推定器：Estimatorの選び方 をご参照下さい。 1. hidden_layer_sizes｜ 層の数と、ニューロンの数を指定 default : (100,) 隠れ層の層の数と、ニューロンの数をタプルで指定します

※サンプル・コード掲載 １．あらすじ ビタビアルゴリズム、おそらく人工知能について興味を持っている方で、音声認識、音声合成関連の仕事や、勉強をされている方には馴染みの言葉かと思います。 特に、音声認識分野での活用が多く、ビタビアルゴリズムを活用して、入力された音声信号から、最もそれらしい文字列を見つけ出す際に使用されます。 ビタビアルゴリズムとは何かを簡単に説明すると、何かの状態が与えられた時に、現在の状態に基づいて、その後に生じる状態の最も尤らしい（最も起こり得る）並びを探索するアルゴリズムで、動的計画法の一種であり、特に隠れマルコフモデルに基づいています。 それでは、以下詳しく見ていきましょう。 ２．動的計画法とは？ 動的計画法とは何か？なにやら難しそうな言葉で、あまり聞き馴染みの無い言葉かもしれませんが、今回の主題であるビタビアルゴリズムや、人工知能を支える技術の一つである機械学習の

1. あらすじ 空前の人工知能ブームの昨今、ディープラーニングを始めとする、人工知能技術の中心である「機械学習」に対する期待と、世の中の需要は日に日に上昇してきています。 ディープラーニングも、ニューラルネットをベースにした機械学習の１つであり、現在の人工知能分野で主流のアルゴリズムになっていますが、それ以外にも様々な機械学習のアルゴリズムが存在し、目的によって、それらのアルゴリズムを正しく使い分ける事が重要になってきます。 今回は、その機械学習の中でも、割と古典的な学習方法である、決定木による学習方法について解説を行い、それによる、分類、及び回帰の方法の詳細について解説して参ります。 2. 機械学習の２つの手法とは？ それでは本題に入る前に、まず始めに軽く機械学習そのものに関してのおさらいをしておきます。 機械学習とは、人間が自然に行っている学習と同等の機能を、機械に学習させようという試

１．あらすじ 人工知能ブームがどんどん加速する中、ニューラルネット、SVM、ナイーブベーズ等、様々な機械学習の手法が存在し、その派生系もどんどん増えていって、一体どういう場合にどのアルゴリズムを選ぶといいんだろうと、首を傾げている方も多いと思います。 今回はその中でも、特にアンサンブル学習という手法を紹介します。 アンサンブル学習とは、その名の通り、簡単に言えば多数決をとる方法で、個々に別々の学習器として学習させたものを、融合させる事によって、未学習のデータに対しての予測能力を向上させるための学習です。 他の、回帰や分類を目的とした機械学習アルゴリズムとは、少し趣が異なる学習方法となっております。 また、アンサンブル学習の特徴は、単純にアンサンブル学習そのものを回帰や分類の機械学習のアルゴリズムの手法として用いるだけでなく、他の機械学習アルゴリズムの学習係数を求める際などに、補助的に用いら

1. 自然言語とは何か？ 言語は、私たちの生活の中に常にあり、また、なくてはならないものです。 そんな日々当たり前に使われる言語を見つめ直し、解析すると、どんな興味深いものが見えてくるのでしょうか。 1-1. 言語の世界とは？ 「自然言語処理」の「自然言語」とは何か？ 言語には、大きく分けて２種類あり、「コンピュータ言語」と「自然言語」に分けられます。 つまり、「自然言語」とは普段、私たちが日常で会話する言語のことで、「コンピュータ」のための言語と対比した言い方だと言えます。 1-2. コンピュータ言語と自然言語処理の違い 一言でいえば、「解釈が一意であるかどうか」です。 自然言語では、聞き手によって受け取る意味が変わり、日常生活で誤解を生むことは、よく見受けられるかと思います。 これは日本語であろうと、外国語であろうと同じです。 対して、コンピュータ言語は、解釈がたった１通りしか存在しな

1. あらすじ 昨今の人工知能ブームで、Siriに話しかけている人や、店頭にいるpepper等のロボットに話しかけている人、また、Line上でりんなに話しかけて対話を楽しんでいる人等が増えてきていると思います。 また、商業的な観点からは、コンタクトセンタ等の問い合わせ対応の手間を軽減させるために、チャットボットを導入して、今までは人間のオペレータが問い合わせ対応をしていた部分を（一部でも）代行させるという流れがだんだんと主流になってきています。 とにかく、世間では、人工知能と対話をしたい、という要望が強くなってきており、いつか人間と同等に人工知能と対話ができるように、様々な分野で対話システムに関する研究が行われてきています。 読者の方も、何らかの形で、人工知能と対話をした事がある方、siri等の対話アシスタント等を日常で使用している方等、いらっしゃるかと思いますが、正直、対話がスムーズに行

※サンプル・コード掲載 1. あらすじ 人工知能という言葉が、昨今、ますます身近になってきており、Siriなどの対話システムも日々発達してきています。 また、人間の言語を人工知能に解釈させる対話システムの需要が増えると共に、NLP（自然言語処理）のニーズも日に日に高くなって来ています。 NLP分野では、画像処理系や、音声処理系と比較すると、まだ技術的なブレークスルーが起こっているという状況では無く、他の分野に比べて人工知能関連の技術適用は、限定的と言えるかもしれません。 しかしながら、NLPの分野でも、当然、機械学習は使用されますし、ディープラーニングをNLP分野に使おうとする動きも多く見られています。 今回は、その中で対話システムの制御等に使われる、入力文章の意図、主に対話カテゴリーの分類を、NLP、及び、機械学習を用いて、なるべくシンプルな手法で実装してみます。 文章のカテゴリー分類と

表１．転置ファイル例 このような形式で転置インデックスを保存しておく事により、インデッキシングの際や、文章の検索の際に、二分木探索のアルゴリズムや、その他のアルゴリズムを用いる事によって、高速に文章を検索する事が可能になります。 次に、「では実際どのように、文章中の単語を抽出すればいいんだ？」という疑問が湧いてきたと思うので、以下、文字列抽出の方法について詳しく見ていく事にします。 １．n-gram法 「Nグラム法」等と呼ばれる、単純ですがパワフルな文字列分割アルゴリズムで、Nで指定した単語の長さに、先頭から1文字ずつ文字列を分割します。 例）N=2の時、「情報検索」という文字列に対して、N-gramを実行した例 情報　報検　検索　索 このように、文字列を分割する事で、「情報」と「検索」の単語が正しく抽出されるため、単語の抽出の取りこぼしを防げます。 しかしながら、この方法では、「報検」等

※操作手順の画面キャプチャ掲載 あらすじ とりあえず、話題の機械学習とやらに触れてみたい！ ディープラーニングを最速で試してみたいが、プログラミング経験が無いので、とりあえず簡単にスグに動かせる環境が欲しい！ そんな方へ向けて、Jupyter Notebookを使用し、最速でディープラーニングをブラウザ上で実行出来る環境を構築する方法を解説していきます。 そして、実際に簡単な機械学習の処理をしてみるところまでお伝えいたします。 1. 作業環境 Windows10 2. Jupyter Notebookとは？ Jupyter Notebookとは、ブラウザ上で実行される、プログラムの対話実行環境となります。 対応している主要な言語（Julia + Python + R）からJupyterと名付けられました。 現在は上記のようなデータ分析系に主に用いられる言語だけでなく、他にも様々な言語をサポ

※サンプル・コード掲載 1. pix2pixとは？ 昨年、pix2pixという技術が発表されました。 概要としては、それまでの画像生成のようにパラメータからいきなり画像を生成するのではなく、画像から画像を生成するモデルを構築します。 DCGANと呼ばれる画像生成の技術を使用しており、使い方としては、白黒写真からカラー写真を生成したり、線画から写真を生成したりといったことが可能です。 2. DCGANとは？ DCGANとは、画像生成器と画像判別器があり、画像生成器は訓練データに出てくるような画像を生成します。 画像判別機は、訓練データの画像なのか、画像生成器から作られたデータなのかを判別するものです。 そして、画像生成器は、自身が生成した画像だと見破られないように自身の重みを更新していきます。 また、画像判別機は画像生成器が生成した画像なのか、そうでないのかを学習して自身の重みを更新します。

※サンプル・コード掲載 あらすじ scikit-learnはpythonで使用できる機械学習ライブラリですが、元々とても多くの推定器（Estimator）が実装されています。 ただ、どのEstimatorを使えばよいのか最初から決めるのは経験則や広範囲な知識が必要なのでなかなか難しいです。 そのため、一括で全部試してしまってその結果から良さそうなモデルを選定していくという方法を取ると効率がよいため、その方法をご紹介します。 1. 環境構築 環境はpython3を使用します。 必要なライブラリをインストールします。 また、日本語の処理にmecabが必要なので、それもインストールします。 #数値計算・機械学習系 sudo pip install pandas sudo pip install scikit-learn sudo pip install scipy #mecab sudo apt

※サンプル・コード掲載 あらすじ 空前のAI（人工知能）ブームで、NLP（自然言語処理）に興味を持ち、MeCabやKuromoji等の形態素解析器を試した方は多いと思います。 ただし、いまいち形態素解析器が何に活かせるのか把握していない人は多く、その出力をどう料理すればいいのかわからない人が多いのも事実です。 そこで、本記事は形態素解析のアウトプットを利用し、最速でBag of wordsベースのテキストマイニングをする方法を解説します。 １．使用した環境 Windows or Mac Java1.8x（最新のバージョン） EclipseをIDEとして使用し、Mavenプロジェクトを作成 ライブラリ等の依存関係はMavenのpom.xmlファイルによって解決 ２．Kuromojiのセットアップ 以下参照 Kuromoji（形態素解析）を２分で使えるようにする方法（Java） ３．シンプルな

※サンプル・コード掲載 あらすじ 近年、AIの技術の活用分野は多岐に渡り、その中でも特に、人間の言葉を解釈する技術であるNLP（自然言語処理）が進歩してきています。 テキストマイニングや、対話システム等多岐に渡って使用され、人間のコミュニケーションを一部、チャットボットが代行するという所まで来ています。 今回は、そのNLPの一分野の感情分析と言われる分野で、テキストから人間の感情を読み取る技術について紹介をします。 この技術は、例えば、テキストに未成年に不適切な内容がある場合に、それをブロックするポルノフィルターや、暴力やヘイトスピーチを含んだ内容を検知する、オフェンシブフィルター等、実用的な活用が進んでいる分野です。 使用した環境 Windows or Macを仮定Eclipse（Neon3）を使用Java8.X（最新バージョン）を使用 形態素解析機器（Kuromoji）の準備 以下参照