日本語大規模SNS+Webコーパスによる単語分散表現モデルの公開 : hottoSNS-w2vの配布｜#ホットリンク
最終更新日：2023年6月12日 R&D部の榊です。 当社のR&D部では，研究開発上で利用する様々なリソースを部内で共有しています。 今回、そのうちの一つである単語分散表現モデルを社外の方にも利用可能な形で配布することにしました。 なので、それについてご説明したいと思います。 なお、最近の日本の自然言語処理界隈では、文分散表現モデルであるBERTの日本語を含む多言語モデルが公開になったばかりなので、日本語の単語分散表現モデルの配布は大変今更感があるなあ・・・と思ったりもしています。 ですが、日本語を対象とした文・単語の分散表現共に、配布されているのはWikipediaを学習コーパスとしたものが殆どです。 なので、WikipediaではカバーしきれないSNSやWeb上の文書を学習コーパスとした分散表現のモデルを公開することは一定の価値があると考えています。 本言語資源に関しては、2019年6
服部平次歓喜 人前でコナンを「工藤」と言ってしまったときごまかしに使える単語を論理的に算出した一覧が完成
『名探偵コナン』（青山剛昌）で、服部平次が人前でコナンくんを「工藤」と呼んでしまい慌てて「くどい」や「躍動」など似た単語を言ったことにしてごまかすシーンがよく出てきます。では、「工藤」をごまかすときに適した単語は、他にどのようなものがあるのか。そんなニッチな一覧を、極めて論理的に算出した調査がTwitterに公開され「ガチ過ぎる」とその知識と愛に感動する声が多数寄せられています。これはもはや論文レベル！ 全てはこの思いから始まった 単語を集める この一覧を作成したのは、やましたさん（@yaa_maa_520）。調査では最初に一般的な単語をIPA（情報処理振興事業協会／Information-technology Promotion Agenc）辞書から、新語や固有名詞をはてなキーワードから収集しました。収集した単語はIPA（国際音声記号／International Phonetic Alp
中3の15%は短文理解も難しい？中学卒業までの読解的基礎力と将来との関連性に驚く人々と納得する人々「ツイッター見てたらわかる」
リンク 東京新聞 TOKYO Web 中３の１５％、短文も理解困難 教科書や新聞で読解力調査 短い文章から事実を正しく理解する「基礎的読解力」について、国立情報学研究所の新井紀子教授や名古屋大学などのグループが、全国の小中高校生や大学生、社会人らを調… 666 users 1603 新井紀子/ Noriko Arai @noricoco 東ロボ, NetCommons, researchmap, リーディングスキルテスト, edumap, 「AI vs. 教科書が読めない子どもたち」「AIに負けない子どもを育てる」,教育のための科学研究所所長 信頼が崩壊した社会は無駄にコストが高い。name callingはやめませう。 researchmap.jp/arai_noriko/
GitHut - Programming Languages and GitHub
Top active languages A split by language view of active repositories GitHut is an attempt to visualize and explore the complexity of the universe of programming languages used across the repositories hosted on GitHub. Programming languages are not simply the tool developers use to create programs or express algorithms but also instruments to code and decode creativity. By observing the history of
忍殺語形態素解析辞書「チャドー」がリリース｜Colorless Green Ideas
「ドーモ。自然言語処理屋＝サン。形態素解析辞書チャドーです」オジギ終了後0.7秒後。ネオサイタマのドロップボックスにアップロードされた辞書のURLが示された。 「アイエエエエ！ ケイタイソカイセキ！？ ケイタイソカイセキナンデ！？」 小説『ニンジャスレイヤー』の日本語訳 [1] では独特の言葉遣いが使われており、俗に「忍殺語」 [2] と呼ばれている。この忍殺語の形態素解析を行うための辞書「チャドー」のバージョン1.0.0が2014年5月10日公開された。今のところ、Dropboxを通じて配付されている。 かつてニンジャが横行していた時代、日本の人々は文字を連ねるのみで、それを分かつことを知らなかった。古事記にもそう書いている。しかし、言葉の切れ目が分からないと実際不便である。このような状況に対して、平安時代の哲学剣士ミヤモト・マサシは、ジュージツの修行中に形態素解析という手法を発見した。
Python - Perl + Java = ？ はてなブログのデータとパソコン工房のPCを使って「word2vec」で遊んでみた - はてなニュース
統計処理用のマシンを使って、自然言語処理で遊ぼう！ BTOパソコンで有名な「パソコン工房」から「統計処理用のPCを企画しているので、何かできないか」と相談された編集部は、はてなエンジニアと相談して「word2vec」を使って遊んでみることに。はてなブログのデータとかっこいいパソコンを使って、最新の自然言語処理で楽しむ様子をお楽しみください！ 記事の終わりには2TBの外付けHDDが当たるプレゼントのお知らせも。 （※この記事は株式会社ユニットコムによるPR記事です） ―― BTOパソコンのショップ／サイトで有名な「パソコン工房」さんから、以下のような依頼が来ました。 データサイエンティスト向けに、統計処理用に使えるパソコンをいろいろと考えています。なので、何か面白い処理に使って、PR記事にしてほしいんです！ ▽ 【パソコン工房公式サイト】BTOパソコン（PC）の通販 ―― ということで、はて
形態素解析に基づくＡＶタイトルの特徴分析 - oscillographの日記
こんばんは。夜の@oscillographです。 最近DMMアダルトがAPIを公開しました。 つまり、プログラムで直接データを取得できるようになったわけです。 ということで、今回はDMMアダルト（動画）の全タイトルを取得して 形態素解析を行うことによって日本のAVタイトルの特徴を分析しよう ということになりました。 手順としては、 DMM（ビデオ）のメーカーページを「あ」～「ん」までHTMLで取得 メーカーが特定タグに囲われていたので、正規表現パターンマッチで全メーカーを取得し、メーカー羅列をテキストに保存 テキストを読み込みながら各AVメーカーごとにapiを用いてAVタイトルを展開し、全メーカーのタイトルを取得 タイトルについて形態素解析を行うことによって単語を集計 正規化（全体の数で割ることによって割合で表す） という感じでやりました。 とりあえず、集計結果です。 上位３０位を抜き出し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
258億語の日本語コーパスをウェブで公開～国立国語研究所 言語研究や自然言語処理技術開発での基礎資料
テキストマイニング 無料ツール by ユーザーローカル
Perl 人気が過去最低に ― プログラミング言語の人気ランキング TIOBE インデックス [インターネットコム]![Perl 人気が過去最低に ― プログラミング言語の人気ランキング TIOBE インデックス [インターネットコム]](https://cdn-ak-scissors.b.st-hatena.com/image/square/f2e29409b0a6830195fddc0a0ee0440130c93f65/height=288;version=1;width=512/https%3A%2F%2Fimage.internetcom.jp%2Fimg%2F20140416%2F1397612275.jpg)