7000㎞離れたタミル語と日本語の旅路【本：日本語の起源、日本語の源流を求めて】｜mami@Chennai
今回は、タミル語が話される南インド、タミルナドゥ州在住の日本人の方に借りた、大野先生の本２冊『日本語の起源』『日本語の源流を求めて』を読んで、タミル語から見る日本語の起源について、歴史を振り返ってみたいと思う。 大野晋（1919 - 2008）：言語学者。日本語のタミル語起源説やベストセラーとなった「日本語練習帳」などで知られる国語学界の第一人者。大野氏は言語を通じて「日本とは何か」という謎に挑み続けた。 「皆が普段使っている言葉がよくわかっているかどうかが、とても大事」 言葉を厳密にとらえようとする姿勢 「これからの時代は自分をはっきり相手に伝えなくちゃ」 『日本語の起源』 日本語とは、どこに起源を持つ言葉なのか？ 対応語と具体的な物の世界の比較、日常の生活習慣や精神の世界比較 大野先生：大正年代中期の東京下町の商家生れの人間 山の手と下町 山の手は、ヨーロッパの言葉を操って日本の進路を
Llama 3.1 Swallow – Swallow LLM
Llama 3.1 Swallow Llama 3.1 SwallowはLlama 3.1の英語の能力を維持しながら、日本語の能力を強化した大規模言語モデル (8B, 70B) です。モデルのパラメータ（重み）がHuggingFace上で公開されていますので、Llama 3.1ライセンスに従う限り、研究や商業目的などで利用できます（ただし、指示チューニング済みモデルの利用においては、Llama 3.1ライセンスに従ったうえで、Gemma利用規約の利用制限に抵触してはいけません）。Llama 3.1 Swallowは米Meta社のLlama 3.1をベースに、東京科学大学情報理工学院の岡崎研究室と横田研究室、国立研究開発法人産業技術総合研究所の研究チームで開発されました。Built with Llama. (2024年10月8日 v0.1 公開、2024年11月11日 8B v0.2 公開、
lightblue/japanese-mpt-7b · Hugging Face
Dataset Japanese subset of the mC4 dataset Training Trained for 3000 steps on top of the MPT 7b checkpoint mosaicml/mpt-7b How to load Before running this model, please install the following pip package: pip install einops To load the model, run the following command. from transformers import AutoModelForCausalLM model_name = "lightblue/japanese-mpt-7b" model = AutoModelForCausalLM.from_pretrained
【日本語モデル付き】2020年に自然言語処理をする人にお勧めしたい文ベクトルモデル - Qiita
2023/03/20 追記 Studio Ousia様によるLUKEモデルをベースに学習したSentence-LUKEモデルを公開しました。 Sentence-LUKEモデル: https://huggingface.co/sonoisa/sentence-luke-japanese-base-lite 手元の非公開データセットでは、日本語Sentence-BERTモデル（バージョン2）と比べて定量的な精度が同等〜0.5pt程度高く、定性的な精度は本モデルの方が高い結果でした。 2021/12/14 追記 MultipleNegativesRankingLossを用いて学習した改良版モデルを公開しました。 改良版（バージョン2）のモデル: https://huggingface.co/sonoisa/sentence-bert-base-ja-mean-tokens-v2 手元の非公開デー
トークナイザをいい感じに切り替えるライブラリ konoha を作った - Qiita
TL; DR 文のトークン化のためのライブラリである konoha の紹介をします． (旧 tiny_tokenizer) ↓みたいな感じで使えます．なにとぞ〜 from konoha import WordTokenizer sentence = '自然言語処理を勉強しています' tokenizer = WordTokenizer('MeCab') print(tokenizer.tokenize(sentence)) # -> [自然, 言語, 処理, を, 勉強, し, て, い, ます] tokenizer = WordTokenizer('Kytea') print(tokenizer.tokenize(sentence)) # -> [自然, 言語, 処理, を, 勉強, し, て, い, ま, す] tokenizer = WordTokenizer('Sentencepie
CaoboCha: Yet Another Japanese Dependency Structure Analyzer
CaboCha/南瓜: Yet Another Japanese Dependency Structure Analyzer CaboCha/南瓜とは CaboCha は, Support Vector Machines に基づく日本語係り受け解析器です。 特徴 Support Vector Machines (SVMs) に基づく, 高性能な係り受け解析器 SVM の分類アルゴリズムの高速化手法である PKE (ACL 2003 にて発表)を適用. IREX の定義による固有表現解析が可能 柔軟な入力形式. 生文はもちろん, 形態素解析済みデータ, 文節区切り済み データ, 部分的に係り関係が付与されたデータからの解析が可能 係り受けの同定に使用する素性をユーザ側で再定義可能 データを用意すれば, ユーザ側で学習を行うことが可能 内部の辞書に, 高速な Trie 構造である Double
小林 暁雄 (Akio Kobayashi) - Wikipediaと汎用シソーラスを用いた汎用オントロジー構築手法 - 論文 - researchmap
小林暁雄, 増山繁, 関根聡 巻 J93-D 号 12 開始ページ 2597 終了ページ 2609 記述言語 日本語 掲載種別 出版者・発行元 一般社団法人電子情報通信学会 日本語語彙大系や日本語WordNetといったシソーラスは,自然言語処理の分野における様々な研究に利用可能なように構築されている.これらのシソーラスはその精度を保持するために,人手により,よく吟味されて構築されている.このため,新たな語を追加する際にも,よく検討する必要があり,容易に更新することはできない.一方,Wikipediaはだれでも参加・閲覧できるオンラインの百科事典構築プロジェクトであり,日々更新が行われている.日本語版のWikipediaでは,現在100万本以上の項目が収録されており,非常に大規模な百科事典となっている.このWikipediaのもつ膨大な語彙を,既存のシソーラスの名詞意味体系に分類することがで
BERT with SentencePiece で日本語専用の pre-trained モデルを学習し、それを基にタスクを解く - クックパッド開発者ブログ
研究開発部の菊田（@yohei_kikuta）です。機械学習を活用した新規サービスの研究開発（主として画像分析系）に取り組んでいます。 最近は、社内の業務サポートを目的として、レシピを機械学習モデルで分類して Redshift に書き込む日次バッチを開発・デプロイしたりしてました。 ここ数ヶ月で読んだ論文で面白かったものを３つ挙げろと言われたら以下を挙げます。 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Focal Loss for Dense Object Detection Exponential expressivity in deep neural networks through transient chaos 本記事では、BERT というモデルをクックパッドのレ
日本語WordNetを使って、類義語を検索できるツールをpythonで作ってみた - Qiita
日本語WordNetを使って、何か面白いことができないか調べていきたいと思います。 今回は、とりあえず日本語WordNetについて簡単に情報をまとめ、類義語を検索できるツールをpython3で作ってみました。 WordNetとは？ 同義語、上位・下位語などがまとめられている、概念の辞書です。 元々英語で整備が進んでいました。 日本語版は、2006～2010に、国立研究開発法人情報通信研究機構（NICT）が整備を進めました。 詳しくはWikipediaで https://ja.wikipedia.org/wiki/WordNet WordNetはどうやったら使えるの？ 以下の日本語WordNetのHPから、ダウンロードできます。商用フリーです。申し込み不要です。 日本語 WordNet： http://compling.hss.ntu.edu.sg/wnja/ 私はpython経由で使いやす
UD_Japanese-GSD
Description This Universal Dependencies (UD) Japanese treebank is based on the definition of UD Japanese convention described in the UD documentation. The original sentences are from Google UDT 2.0. The Japanese UD treebank contains the sentences from Google Universal Dependency Treebanks v2.0 (legacy): https://github.com/ryanmcd/uni-dep-tb. First, Google UDT v2.0 was converted to UD-style with bu
gensimとjanomeを用いた日本語トピック分析 - Qiita
この記事の目的 ずいぶん昔、このトピック分析を用いたサービスの開発を行なっていました。 最近は全く関係のないことばかりやっていたので、最新のライブラリの使い方を学び直す際のアウトプットをすることが一つの目的。 もう一つは実際にトピック分析をサービスに導入するという観点で記事を書くことです。 なのでこの記事は簡単にトピック分析の手順についての解説と、要所要所で実際の導入において留意せねばならない点を解説できればと思います。 対象者 テキストマイニング初心者 トピック分析をサービスに導入することを検討する人 トピック分析をはじめる 手順の概要 トピック分析を始める前にいくつかの事前準備が必要となります。 環境設定 文章準備 文章分割 辞書データ作成 コーパス作成 LDAトピックモデル作成 LDAトピックを用いて文章のトピックを分析 基本的にはその他機械学習の手順と同じく、学習データを作成してモ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最近の話題にも詳しい14億パラメータの日本語LLMの公開
GitHub - UniversalDependencies/UD_Japanese-GSD: Japanese data from the Google UDT 2.0.
Japanese · spaCy Models Documentation
Semi-automatic construction of a domain ontology for wind energy using Wikipedia articles
https://ir.lib.hiroshima-u.ac.jp/files/public/2/23011/20141016142130723221/Hiroshima-IntStudentCenter-kiyo_15_25.pdf
sonoisa/sentence-bert-base-ja-mean-tokens · Hugging Face
GitHub - himkt/konoha: 🌿 An easy-to-use Japanese Text Processing tool, which makes it possible to switch tokenizers with small changes of code.
フリーで使える日本語の主な大規模言語モデル（LLM）まとめ
GitHub - megagonlabs/ginza: A Japanese NLP Library using spaCy as framework based on Universal Dependencies
