高性能・高速・軽量な日本語言語モデル LINE DistilBERTを公開しました
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。LINEの小林滉河(@kajyuuen)です。NLPチームで固有表現抽出、有害表現の検知、LINEスタンプ推薦の改善など自然言語処理に関する仕事をしています。 この記事ではLINEが公開した言語モデル「LINE DistilBERT」について紹介します。 https://huggingface.co/line-corporation/line-distilbert-base-japanese https://github.com/line/LINE-DistilBERT-Japanese LINE DistilBERTは次のような特徴を持つ日本語言語モデルです。 高性能・高速・軽量 Hugging Faceのtra
【重要】日本語形態素解析・自然言語理解API V2 リリースのお知らせ - Yahoo!デベロッパーネットワーク
いつもテキスト解析Web APIをご利用いただきありがとうございます。 テキスト解析Web APIにおける一部APIの後継バージョン（V2）リリースと仕様変更についてお知らせいたします。 ■ 対象API 日本語形態素解析 自然言語理解 ■ 変更箇所 リクエストURLが変わります GETリクエストは廃止となり、POSTリクエストのみになります リクエストパラメータが変わります（一部パラメータが廃止されます） レスポンス形式・フィールドが共に変更になります V2の仕様の詳細につきましては以下のページをご覧ください。 日本語形態素解析 自然言語理解 V1終了予定時期につきましては2022年11月末を予定しております。 ご迷惑をおかけしますが、なにとぞご了承ください。 今後ともテキスト解析Web APIをよろしくお願いいたします。
読みがなを正しい50音順（辞書順）にソートする - メモ用紙
読みがなを持つデータを、辞書のような順序に並べ替えたいとする。 ところが辞書の配列は意外と複雑だ。Wikipedia の索引の配列として次の規則が提示されている。 読みの五十音順とする。 清音・濁音・半濁音は、この順に並べる。 促音「っ」、拗音「ゃ」「ゅ」「ょ」はそれぞれ「つ」「や」「ゆ」「よ」の後に並べる。 小文字「ァ」「ィ」「ゥ」「ェ」「ォ」はそれぞれ「あ」「い」「う」「え」「お」の後に並べる。 長音符「ー」は直前の母音を表すものとし、それぞれ仮名の後に並べる。 例: 「コーヒー」は「こおひい」と見なす。 ひらがなとカタカナは、この順に並べる。 プロジェクト‐ノート:索引/配列順 - Wikipedia 成果物 PHP で Composer から使用できるライブラリを作成した。次のコマンドでプロジェクトに追加できる。 composer require sharapeco/kana-or
Pythonでひらがなの国語辞典の見出し語順ソート - yucatio@システムエンジニア
Pythonなどのプログラミング言語では文字列のソートは 辞書式順序 - Wikipedia でされます。 これは、1文字目をみて、違う値であれば、その順序を、同じ値であれば2文字目を比較して…ということを繰り返す方法です。 例えば、 'はっか', 'はっぱ', 'はつか', 'はつが', 'はつばい', 'ばつ' はpythonで並び替えを行うとこの順に並びます。 ひらがなは文字コード上では、以下の順番になっています。 清音(濁点・半濁点がついていない小文字でない)はあいうえお順に並んでいる 拗音（ぁぃぅぇぉゃゅょ）と促音(っ)は対応する清音の直前 濁音・半濁音は対応する清音の直後(ただし、'ゔ'のみ'う'と離れている) 0 1 2 3 4 5 6 7 8 9 A B C D E F E3 81 80 ぁ あ ぃ い ぅ う ぇ え ぉ お か が き ぎ く E3 81 90 ぐ け
BARTを用いた新しい固有表現抽出手法の紹介
input,output 山田太郎は10月にXX株式会社に入社しました。,山田太郎は人名です。 山田太郎は10月にXX株式会社に入社しました。,10月は時間表現です。 山田太郎は10月にXX株式会社に入社しました。,XX株式会社は組織名です。 山田太郎は10月にXX株式会社に入社しました。,10月にXXは固有表現ではありません。 山田太郎は10月にXX株式会社に入社しました。,入社しましたは固有表現ではありません。 山田太郎は10月にXX株式会社に入社しました。,山田太郎は10月は固有表現ではありません。 加藤部長は昨日つけ麺を食べました。,加藤は人名です。 …… 学習 やっていることはすごく単純で、先ほど作ったデータセットのinputの文を入力としてoutputの文を出力するようにBARTを学習します。 推論 推論するときは全てのスパンでそれぞれテンプレートを埋めてみて、どれが一番しっく
［文章生成］MeCabをインストールして分かち書きを試してみよう
今回の目的 前回は、青空文庫のWebサイトから梶井基次郎の小説データを取得して、そこから本文のデータを抽出する方法を見ました。今回は、自然言語処理で扱いやすいように分かち書きをするための準備をします。 ところで、自然言語処理とはもちろん私たちが日常的に使っている言葉（ここでは日本語としましょう）をコンピューターに処理させることです。その結果、コンピューターに入力された言葉からは、何らかの情報が取り出されます。何らかの情報とは例えば地名や製品名、ランチの注文かもしれませんし、ユーザーがしたい何かのアクションかもしれません。あるいは、入力された言葉が、全体として肯定的なものなのか、否定的なものなのかを判断するといったことも考えられます。 いずれにせよ、こうした処理を行うには、入力された言葉をさまざまな段階を踏んで解析する必要があるでしょう。 例えば、「くるまでまつ」という文について考えてみます
Ruby on Railsと素のPostgreSQLで日本語全文検索 - 2020-12-22 - ククログ
PostgreSQLに超高速な日本語全文検索機能を追加するPGroongaを開発している須藤です。今回はPGroongaやpg_bigmなど拡張モジュールを使わずにPostgreSQLの組み込み機能だけで日本語全文検索を実現する方法を紹介します。PGroongaを使う方法はRuby on RailsでPostgreSQLとPGroongaを使って日本語全文検索を実現する方法を参照してください。 Heroku PostgresなどDBaaSとして提供されているPostgreSQLではPGroongaを使えません。（DBaaSとして提供しているベンダーがPGroongaをインストールしてくれないから。）PostgreSQLの組み込み機能だけでは日本語全文検索を満足に実現することができないので、DBaaSのPostgreSQLを使っていると次のように日本語全文検索で困ってしまいます。 日本人のプ
Elasticsearchのための新しい形態素解析器 「Sudachi」 - Qiita
tl;dr （要約） Kuromojiに代わる新しい形態素解析器「Sudachi」 なにが良いの？ 最新の辞書 企業（ワークスアプリケーションズ）による継続的な更新 複数の分割単位 → 検索用途での再現率と適合率の向上 プラグインによる拡張 省メモリ Elasticsearchで使いたい プラグイン: WorksApplications/elasticsearch-sudachi 使い方は当記事の後半をご覧ください 注: この記事の執筆者はSudachiの開発に関わっています さまざまな形態素解析器 形態素解析は、伝統的な自然言語処理（Natural Language Processing, NLP）において基盤となる技術です。そして世の中にはさまざまな形態素解析器が存在します。販売されているものもありますが、一般に公開されているものだけでもいくつか例をあげると、JUMANとRNNLMを利
MeCabへWikipediaの辞書を追加する方法
こんにちは、GMOアドマーケティングのS.Rです。 日本語のNLP（自然言語処理）で形態素解析は大切な処理の１つとなります。 今回は、形態素解析ツール「MeCab」へWikipediaの辞書を追加する方法を紹介します。1. 日本語の形態素解析ツールMeCab MeCabは日本語の形態素解析ツールです。詳細はWikipediaの説明をご覧ください。 MeCabはオープンソースの形態素解析エンジンで、奈良先端科学技術大学院大学出身、現GoogleソフトウェアエンジニアでGoogle 日本語入力開発者の一人である工藤拓によって開発されている。名称は開発者の好物「和布蕪（めかぶ）」から取られた。 MaCab、2019年09月17日、ウィキペディア日本語版、https://ja.wikipedia.org/wiki/MeCab 2. 「MeCab」へWikipediaの辞書を追加する方法の説明 1)
Wikipediaの前処理はもうやめて「Wiki-40B」を使う - Ahogrammer
最近の自然言語処理では、大規模なテキストから単語の分散表現や言語モデルを学習させて使っています。学習する際のテキストとしては、分量や利用しやすさの都合からWikipediaが選ばれることが多いですが、その前処理は意外と面倒で時間のかかる作業です。そこで、本記事では比較的最近リリースされた前処理済みのデータセット「Wiki-40B」とその使い方を紹介します。 Wiki-40Bとは？ Wiki-40Bは、40言語以上のWikipediaを前処理して作られたデータセットです。このデータセットは言語ごとに学習/検証/テスト用に分かれているので、単語分散表現や言語モデルの学習・評価に使えます。言語ごとの対応状況については、以下のページを参照するとよいでしょう。 wiki40b | TensorFlow Datasets 前処理としては、大きくは以下の2つに分けられます。 ページのフィルタリング ペー
JavaScriptで全文検索(N-gram)を実装してみる！ | Simple is Beautiful.
プラコレアドベントカレンダーもラストスパート！こんにちは、森です！ 仕組みをちゃんと理解するには実装してみることが一番！ということで、N-gramの中でも一番実装が簡単なuni-gramをjsで実装してみました！ 目次 全文検索とは uni-gram インデックスの作成 文章にdocument IDを振る 文字列の分割 文字位置付与 トークンごとに位置情報をまとめる トークンをキーに引けるように保存 インデックスから検索 検索文字列をトークンに分割 インデックスからトークンのデータを取得 取得したデータをつなぎ合わせる 実装 動かし方 インデックスの作成 インデックスから文字列を検索 コード 参考文献 最後に 全文検索とは まず最初に全文検索とはなにかってことですが、Wikipediaで調べてみました「コンピュータにおいて、複数の文書（ファイル）から特定の文字列を検索すること。「ファイル名
自然言語処理のためにMeCabを入れるのに疲れたのでCOTOHA APIを使った - Qiita
動機 MeCabを導入するのは結構手間だと感じていて、 環境が変わるたびに入れるのに疲れたのでCOTOHA APIを使ってみました。 提供API一覧 ここからみれます。 構文解析 日本語テキストの構造と意味を解析します。 固有表現抽出 人名や地名などの固有表現を抽出します。 照応解析 「あれ」「彼/彼女」「同〇〇」「その〇〇」等の指示語を検知し、指し示す対象を特定します。 キーワード抽出 文章からキーワードを抽出します。 類似度算出 ２つの文章の類似性を数値化し出力します。 文タイプ判定 挨拶や同意、約束などの発話行為のタイプを判定します。 同時に、叙述文、命令文、質問文などの文タイプを出力します。 ユーザ属性推定 文章からユーザの年代、職業などの属性を推定します。 言い淀み除去 ユーザからの音声入力時に含まれる言い淀みを除去します 音声認識誤り検知 音声認識処理後のテキストに対して、認識
言語処理100本ノックをdockerで。python覚えるのに最適。docker(19) python(1) - Qiita
言語処理100本ノックをdockerで。python覚えるのに最適。docker(19) python(1)PythonGitDockerDockerHub小川メソッド pythonを覚えるのに最適な教材はこちら。 言語処理１００本ノック（東北大学） http://www.cl.ecei.tohoku.ac.jp/nlp100/ 上記を勉強する方に向けて書いたプログラム等をdockerに掲載して、いつでも、どこでも続きが実行できるようにしたい。 現在、第10章の途中まで確認作業中のdocker imageはこちら。（「今日の作業記録 python error」記事未解決あり） 注意事項。無茶でかいです。うんじゅうGBあるらしい。ごめんなさい。 いくつかに分割してあげなおすよう調整中の予定が転職で手がまわらず。ごめんなさい。 Windowsだ, Macintoshだ という違いを意識せず、D
「小説家になろう」の小説を自動生成するマンになろう - nus_miz’s diary
この記事は eeic （東京大学工学部電気電子・電子情報工学科）その2 Advent Calendar 2018 - Qiita の13日目の記事です。 1. なにをしたいの？ 本記事は、小説を書くことができない人間がなんとかして自力（？）で小説を生み出すために試行錯誤した記録です。 リカレントニューラルネットワークの一種である多層LSTMを用いて、「小説家になろう」に投稿された小説の「言語モデル」を学習し、学習したモデルをもとに実際に小説を自動生成します。 「御託はいいから生成された文章を見せろ」という人はこの記事の10章に飛ぶか、https://ncode.syosetu.com/n7444fc/ を見てください。 2. 「小説家になろう」とは https://syosetu.com/ 誰でも無料で小説を投稿、閲覧することができるWEBサイトです。 独自の文化を形成しており、主に異世界
文書からFAQを自動生成する試み - Qiita
本文書について タイトルは少し盛りました。 frequentryではありません。すみません 本文書では、COTOHA APIの構文解析機能を使って、任意のテキストから質問と回答のペアを生成する「QA生成器」について述べる。 QA生成器 背景 商品文書やらチャットデータから、FAQを作りたいというニーズは結構あるらしい。 ものは試しと作ったQA生成器だが、割と面白いと好評だったので調子にのって公開してみる。 概要 ↓下記のように解析される文があったとして 「今朝おばあさんが川から拾った桃を切ろうとしたら、桃が突然割れて中から男の子が飛び出してきた」 ↓こうすれば質問文が作れる。 ↓さらに、場所や時間に関する質問文も作れる。 このように、構文解析結果に object や place や time などの、深層格情報が含まれているため、ある程度のバリエーションを持った質問文を作ることができる。
Wikipedia2Vecを用いた文書分類 - MicroAd Developers Blog
こんにちは、機械学習エンジニアの岸本です。マイクロアドのシステムにおいて、機械学習などデータ解析が関わる部分の研究開発を行っています。 学生時代は、医用画像を対象とした医師の診断を支援するシステム (Computer-Aided Diagnosis; CAD) の研究開発を行っていました。マイクロアドに入社してからは、画像解析や広告配信のログを対象とした機械学習を行ってきましたが、最近では主に自然言語処理を行っています。 広告配信をユーザへの広告のレコメンドと捉えると、ユーザに対してWebページの閲覧履歴などから、「何にどれだけ興味があるか」を定量的に評価することが重要です。そこでWebページに記載されている内容から、トピックを推定したり重要なキーワードを抽出したりすることが必要になってきます。マイクロアドでは、こういったところで自然言語処理を活用しています。 自然言語処理においてWiki
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
知識ベースの自然言語処理への活用
Pythonで始める ドキュメント・インテリジェンス入門 / Introduction to Document Intelligence with Python
Sudachi辞書のつくり方
言語処理100本ノック 2020 (Rev 2)
