はじめに こんにちは。データ戦略室データエンジニアリンググループの森下です。 普段はデータエンジニアとして、主にデータ活用基盤の保守運用や機能追加、ツール開発やデータ抽出・可視化といった業務を行っています。もともと機械学習への興味はありましたが、本記事の内容以前では、業務で使用したことはありませんでした。今回、初めて機械学習の業務を経験する事ができ、非常に多くのことを学ぶことができました。本記事は未経験者の奮闘記となりますので、これから機械学習を学ぶ方・業務に活かす方にとって参考になれば幸いです。 経緯について データエンジニアとしてデータ活用基盤の構築や保守運用をしていく中で、機械学習へのデータ活用は自然と考える部分です。しかし、書籍やチームの勉強会で機械学習について少しずつ学んではいるものの、業務で機械学習を使用したことはありませんでした。 そのような状況の中で、機械学習の業務に携わり

医療スタートアップのUbieに入社して1年が経ちました。これまでの人生で一番短かったんじゃないかというくらいのスピードで月日が過ぎ去っていき、主体的に携わるプロジェクトも1.5周くらいしたところかなと思います。この記事では機械学習エンジニアの私が、医療というドメインの自然言語処理に携わるなかで考えたことを紹介したいと思います。 最近ではリーガルテックをはじめ、HR、ファイナンス、そして医療など、様々な領域で自然言語処理の活用が広がっています。そうした専門ドメインでの自然言語処理に携わる人も増えてきていると思いますので、その中の一例として何かしら参考になれば幸いです。 【目次】 - 医療という専門領域の知識は必要 - 分野が違っても手法は同じ、研究が扱う題材を知っておく - 医療という特殊なデータ事情 - なぜ私はいま医療言語処理をやるのか？ - まとめ 医療という専門領域の知識は必要 機械

当ページのリンクには広告が含まれています。 本記事では、LSTM(Long short-term memory)というRNNの拡張モデルを活用して、サンドウィッチマンさんの漫才ネタを学習させて、もっともらしい単語の予測をさせてみました。 目次 LSTMとは 入力データの準備 データの読み込み 時系列の数、バッチサイズ、エポック数、中間層のニューロン数の設定 各文字のベクトル化 文字の重複を省きlist化 文字がキーでインデックスが値の辞書を作成 インデックスがキーで文字が値の辞書を作成 時系列データと予測する文字の抽出 入力と正解をone-hot表現で表す LSTMモデルの構築 文書を生成するための関数を記述し学習 まとめ LSTMとは以下の記事で詳細にまとめられています。 https://qiita.com/t_Signull/items/21b82be280b46f467d1b LST

NLP4J Index NLP4J™ はテキストマイニングや自然言語処理に必要な以下の機能を提供するJavaライブラリです。 データ収集機能 (クローラー Crawler) 自然言語処理呼び出し機能 (アノテーター Annotator) 形態素解析 構文解析 辞書 構文マッチ機能 統計インデックス作成機能 (インデクサー Indexer) Crawler, Annotator, Indexer の三本立てという基本的な概念と構造は、日本で最も大規模に使われているエンタープライズテキストマイニングソフトウェアである IBM Watson Explorer (旧TAKMI, IBM Content Analytics)と似たものになっています。 NLP4J では基本的な機能から提供を始めて日曜大工的に時間をかけて提供していくつもりです。 公開済記事 データの読み込み Wikipedia, Wi