NINJAL-LWP for BCCWJ (NLB)
■NINJAL-LWP for BCCWJ とは NINJAL-LWP for BCCWJ（以下、NLB）は、国立国語研究所（以下、国語研）が構築した『現代日本語書き言葉均衡コーパス』（Balanced Corpus of Contemporary Written Japanese: BCCWJ）を検索するために、国語研とLago言語研究所が共同開発したオンライン検索システムです。国語研の共同研究プロジェクト「日本語学習者用基本動詞用法ハンドブックの作成」（リーダー：プラシャント・パルデシ）、「日本語レキシコンの文法的・意味的・形態的特性」（リーダー：影山太郎）、「述語構造の意味範疇の普遍性と多様性」（リーダー：プラシャント・パルデシ）による研究成果の一部です。 国語研からはBCCWJ用のオンラインコンコーダンサとして中納言が公開されていますが、NLBはコンコーダンサとは異なるレキシカルプ
日本語の文章をいい感じに文区切りするライブラリを作った - Qiita
はじめに 昨今、自然言語処理技術の発展はめざましく、様々な分野で応用が進められています。 そんな私も自然言語処理技術やAIを活用した業務をこなすことが多いのですが、その中でとりわけめんどくさい（しかし重要な）作業は、様々な前処理に関するものです。 大抵のタスクで実施することになる主な前処理としては、以下のようなものがあります。 クリーニング HTMLタグや記号等、テキスト中のノイズを除去 正規化(normalization) 全角・半角や大文字・小文字等の統一 文区切り(sentence segmentation) 文と文の区切りを検出し分割 単語分割(tokenization) 文を単語の列に分割 ストップワードの除去 解きたいタスクに不要な単語を除去 私は主にPythonを利用しているのですが、これらの中で日本語の文区切りについては適当なライブラリが無く、毎回似たようなコードを書く羽目
おまえはもうRのグラフの日本語表示に悩まない (各OS対応) - ill-identified diary
2021/9/10 追記: 改めて更新された話を統合して整理して書き直しました. 以降はこちらを参考にしてください: ill-identified.hatenablog.com 2021/1/15 追記: RStudio 1.4 がリリースされたのでなるべくアップデートしましょう 2020/12/06 追記: Japan.R で今回の話の要約+新情報を『Mac でも Windows でも, PNG でも PDF でもRのグラフに好きなフォントで日本語を表示したい (2020年最終版)/Display-CJK-Font-in-Any-Gpraphic-Device-and-Platform-2020 - Speaker Deck』として発表した. ハイライトは「近々出るRStudio 1.4 があれば fontregisterer はほぼいらなくなる」 2020/10/31 追記: geom
【日本語モデル付き】2020年に自然言語処理をする人にお勧めしたい文ベクトルモデル - Qiita
2023/03/20 追記 Studio Ousia様によるLUKEモデルをベースに学習したSentence-LUKEモデルを公開しました。 Sentence-LUKEモデル: https://huggingface.co/sonoisa/sentence-luke-japanese-base-lite 手元の非公開データセットでは、日本語Sentence-BERTモデル（バージョン2）と比べて定量的な精度が同等〜0.5pt程度高く、定性的な精度は本モデルの方が高い結果でした。 2021/12/14 追記 MultipleNegativesRankingLossを用いて学習した改良版モデルを公開しました。 改良版（バージョン2）のモデル: https://huggingface.co/sonoisa/sentence-bert-base-ja-mean-tokens-v2 手元の非公開デー
Shinnosuke Takamichi (高道 慎之介) - jvs_corpus
This corpus consists of Japanese text (transcripts) and multi-speaker voice data. The specification is as follows. 100 professional speakers Each speaker utters: "parallel100" ... 100 reading-style utterances that are common among speakers "nonpara30" ... 30 reading-style utterances that are completely different among speakers "whisper10" ... 10 whispered utterances "falsetto10" ... 10 falsetto ut
GiNZA - Japanese NLP Library
Skip to the content. GiNZAの公開ページ What’s new! GiNZA v5.2.0をリリースしました (2024.03.31) 日本語の節認定のためのAPIを追加 (experimental) ja_ginza_bert_largeのβ版を公開中 cl-tohoku/bert-large-japanese-v2をベースモデルに採用 精度が大幅に向上（LAS=0.938, UAS=0.949, UPOS=0.983, ENE=0.708） CUDAに対応し8GB以上のRAMを搭載したGPU環境、または、M1・M2などApple Silicon環境の利用を推奨 ginzaコマンドで日本語以外を含む全てのspaCyモデルが利用可能に ginza -m en_core_web_md の形でモデル名を指定することでCoNLL-U出力ツールとして利用可能 ginzaコマ
ドラクエやモンハンの世界をどう訳す？ 「教会の十字架の形まで変える」ゲーム翻訳の奥深き世界
RPGで「はい」か「いいえ」を選ぶとき、私は必ず「いいえ」を選ぶ。 大抵は「はい」で先に進むところを、一発で進めたくないのである。どうせ「はい」しか選べないのだから、まずは「いいえ」を選んだときのテキストをきちんと読みたいのだ（ごくまれに取り返しのつかないことがあり、頭を抱える）。 それだけではない。RPGでは必ず一人残らず街中の人に話しかけ、当然「ここは始まりの村だよ」と案内するだけの人とだって話す。世界を救ったら、「勇者様、王様がお待ちです！ 今すぐ城へお越しください！」という兵士の言葉なんて無視。王様に会いに行く前に全ての街を巡り、世界中の人に話しかけに行く。どうだ、世界が平和になっただろう、君はいま何を思う、と。人だけじゃない、ニャーと鳴くだけの猫にだって話しかけるのを忘れない。 私はとにかくゲーム内のテキストを全て読みたい、活字中毒型ゲーマーなのだ。おかげでいつもクリアまでの総時
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - hottolink/hottoSNS-w2v: hottoSNS-w2v: 日本語大規模SNS+Webコーパスによる単語分散表現モデル