36億パラメータの日本語言語モデルを公開しました
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。 今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。 この記事
「色鉛筆との自然な会話」はどのように作られているか 日本語に特化した、大規模汎用モデルを搭載したLINEの「HyperCLOVA」
2021年11月10日と11日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2021」がオンラインで開催されました。そこで佐藤敏紀氏が、日本語の大規模汎用モデルを搭載した「HyperCLOVA」について紹介しました。まずはHyperCLOVAとはどういったものなのかについて。 色鉛筆とチャットで会話 佐藤敏紀氏：「日本語に特化した、大規模汎用モデルを搭載した『HyperCLOVA』の現状」という発表をします。よろしくお願いします。 最初に自己紹介をします。私は佐藤敏紀と言います。自然言語処理と検索を専門にしているソフトウェアエンジニアです。以前はLINE CLOVAの日本語のNLUシステムの開発を担当していましたが、2021年からはNLP開発チームのマネージャーをしており、HyperCLOVAの日本語版の開発面に関する責任者もし
AIで「ゲームの面白さ」を改革したい！─スクウェア・エニックス三宅陽一郎とLINE佐藤敏紀が議論 - リクナビNEXTジャーナル
昨今ホットワードとして度々取り沙汰される「AI」。実際の企業や製品の中ではどのように導入や活用が進んでいるのでしょうか。 デジタルゲームにおけるAI技術の開発・研究に従事し、日本デジタルゲーム学会理事でもあるスクウェア・エニックスの三宅陽一郎氏と、スマートスピーカーという急成長する新しい領域でAIの可能性を見出そうとするLINEの佐藤敏紀氏が、各業界でのAI活用と、人間とAIの関係性について議論します。 ＜対談者プロフィール＞ 株式会社スクウェア・エニックス テクノロジー推進部 リードAIリサーチャー 三宅 陽一郎氏 京都大学で数学を専攻、大阪大学大学院理学研究科物理学修士課程、東京大学大学院工学系研究科博士課程を経て、人工知能研究の道へ。 ゲームAI開発者としてデジタルゲームにおける人工知能技術の発展に従事。国際ゲーム開発者協会日本ゲームAI専門部会チェア、日本デジタルゲーム学会理事、芸
サブカルのためのword2vec | BLOG - DeNA Engineering
はじめに AIシステム部AI研究開発グループ アルバイトの五十嵐です。（ @bonprosoft, ポートフォリオ：http://vbcpp.net/about/ ） 現在、東北大学大学院の修士1年で、大学院では（自然言語ではなく）高速な文字列処理アルゴリズムに関する研究を行っています。 私は2017年9月上旬から3週間ほど、アルバイト兼インターンとしてハッカドールチーム内のNLPのタスクに取り組んでいました。 その後はアルバイトとして、期間中にできなかった追加実験と実際の製品への適用に取り組んでいます。 取り組んだタスク 突然ですが、みなさま、ハッカドールはインストールされていますか？ ハッカドールは、主にサブカルチャーに関する記事に特化した、ニュースアプリケーションです。 アプリケーション内のユーザーのクリックや「ホシイ/イラナイ」などのアクションを通して、ハッカドールがユーザーの好み
AIに「Clova、今日の天気は？」を理解させることの面白さ - LINE ENGINEERING
LINEのData Labsに所属している佐藤敏紀（@overlast）です。この記事はLINE Advent Calendar 2017の23日目の記事です。 この記事では、スマートスピーカーで対処を求められる自然文クエリの言い換えがどれほど多様であるかを示し、「スマートスピーカーを実現するための自然言語処理の楽しさ」をお伝えしたいと思います。 はじめに みなさんはスマートスピーカーを家に置いていますか？ 私は自宅のリビングに弊社が販売しているClova FriendsとClova WAVEを置いていますし、それ以外に、Google HomeとAmazon Echo Dotも設置しています。 ちょっと多すぎでしょうか (;^_^A これらのスマートスピーカーは、主に人間の言葉を聞いてその内容に基づいた動作をします。たとえばClova Friendsに「Clova！小町さんに電話して（クロ
LINE、スマートスピーカー「WAVE」今秋発売 1万5000円
LINEは6月15日、クラウドAIプラットフォーム「Clova」を搭載したスマートスピーカー「WAVE」を今秋に発売すると、都内で開いたイベント「LINE CONFERENCE 2017」で発表した。価格は1万5000円（税別）。 WAVEは同社初のスマートスピーカー。「Clova、テレビ消して」などと話し掛けるとテレビを消すなど、家電製品との連携機能を搭載する。対応するメーカーは世界で約2000社。WAVEは日本の住宅環境に合わせて開発しており、本体から5メートルほど離れた位置で話しかけても認識するという。 サービスの中核となるのは「音楽」で、LINE MUSICが提供する約4000万曲の楽曲が聴ける。楽曲名やアーティスト名で曲を指定できるほか、「今日の天気に合わせた音楽をかけて」と話し掛ければ、雰囲気や好みに合った楽曲を流してくれるという。 通常、LINE MUSICを利用するには月額
LINEの音声スピーカ「WAVE」は1万5000円--秋に発売へ
LINEは6月15日、同社が1年に一度開催する大規模カンファレンス「LINE CONFERENCE 2017」にて、音声AIプラットフォーム「Clova」を搭載したスマートスピーカ「WAVE」の価格と発売時期を発表した。 発売は2017年秋ごろを予定しており、価格は1万5000円（税別）。また、いち早く提供すべく一部機能に限定した先行体験版を2017年夏ごろに発売予定。こちらは1万円（税別）と安価だが、正式版の提供と合わせてアップデートを実施。正式版と同様の機能が利用できるという。 WAVEは、同社のAIプラットフォーム「Clova」を搭載したスマートスピーカ。Amazonの「Echo」やAppleの「HomePod」、Googleの「Google Home」などのスマートスピーカと同様、「Clova」と話かけると音声でコミュニケーションでき、「LINEニュース」と連携したニュース・天気情
NEologd Casual Talks | #neologd (2016/04/26 19:00〜)
商用利用自由で無償な自然言語処理資源として定期更新を始めて1年経った NEologd(色々あるのでまとめてNEologdと呼ぶ) について、便利〜、役立つ〜、ありがたい〜、わかる〜などとお声がけ頂く機会が増えありがたいのですが、一体どこでお役に経っているのかよく分からないという現状があります。 Twitterを眺めていると、MeCabのユーザー辞書や、Elasticsearchのkuromoji-neologd・シノニム辞書で解決できる課題について悩んでいるエンジニアさんもこの世に居ることは確実ですが、でも誰がどう悩んでるのか具体的な内容がネット上にはほとんど表出しません。 とある言語資源をどう実サービスで使うのか、実サービスで使える言語資源をどう作るのか、その資源をどうやって維持していくか、すでに公開されている超有益だけどあまり使われていない言語資源はどこにあるのか、言語資源を作るとかい
【コーポレート】データ専門研究開発組織「LINE Data Labs」を新設 | ニュース | LINE株式会社
サービス上での機械学習、人工知能（AI）、大規模データ基盤領域における研究を推進 年内50人規模の組織を目指し、採用を強化 LINE株式会社（本社：東京都渋谷区、代表取締役社長：出澤 剛）は、LINEおよびLINE周辺サービス事業領域におけるデータの分析・研究を行う専門の開発組織として「LINE Data Labs（ライン データラボ）」を新設いたしましたので、お知らせいたします。 「LINE Data Labs」は、これまで各サービス事業領域ごとに存在していたデータチームを統合して新設されたデータ専門研究開発組織です。「LINE Data Labs」の設立により、各サービスの事業領域を超えて、ユーザーの利用動向等のデータを横断的に扱うことが可能になり、より精密なデータ分析や情報フィルタリングを実現し、これまで以上に効率的なデータ・情報活用を目指してまいります。 「LINE Data La
neologd-solr-elasticsearch-synonyms/README.ja.md at master · neologd/neologd-solr-elasticsearch-s...
さだまさしを kuromoji を用いて簡単に品詞分解してみる - Qiita
さだまさし 名詞-固有名詞-人名-一般 さだまさしの、主に詩の歌詞を対象に、簡単な品詞分解と、それを基にした簡単な分析を行ってみた、というのがこの記事の内容です。 個人的な最終的なゴールは、さだまさし風の歌詞を自動生成する bot (さだロボ) を作る事になりますが、その過程を週一でディアゴスティーニ的に（サダゴスティーニとかは節度のある大人なので言わない）書いていければと思います。 ついでに、その道すがら、ちょっとした解析・分析結果なども書いていきます。 道具の用意 解析するにあたっていくつか道具が必要なので、最初に、使用したツール群について簡単にお話します。 kuromoji KuromojiはJavaで書かれているオープンソースの日本語形態素解析エンジンです。 Java で形態素解析を行いたい場合、昔は「Sen」などを使うことが多かったですが、atilika 社が OSS として k
自然言語処理を自習したくなったら参考になりそうなサイトなど - 鴨川にあこがれる日々
雑にですが，知ってるサイトやチュートリアルをまとめたくなったのでまとめてみました．夏ですし． 適宜更新しています． 最終更新 2018年02月03日 チュートリアル 言語処理100本ノック 言語処理100本ノック 2015 東工大の岡崎先生が作られたチュートリアルです． 他大学の研究室でも利用されています． 簡単な内容からはじまるので，プログラミングの導入としてもいいと思います． NLPプログラミングチュートリアル Graham Neubig's Teaching Carnegie Mellon UniversityのGraham Neubig先生のチュートリアルです． Githubにサンプルコードが公開されています． 各チュートリアルにはテストがついているので，実装が正しいかを確かめることができます． 扱っているトピックが広いので，かなり勉強になると思います． ソフト 形態素解析器 日本
Word2Vecをhubotから使う
概要 overlast さんによる Word2Vec の WebAPI である word-vector-web-api を hubotから利用するスクリプトを書きました。 knjcode/hubot-word-vector-script Word2Vecとは Word2Vecというのは予め構築したモデル内で各単語を多次元のベクトルとして定義し、単語同士のベクトルの近似度や単語間のベクトルの近似度を求める手法です。詳細はgoogleの公式サイト等を御覧ください。 例えば、(SONY – PlayStation + Nintendo) という表現は、NintendoにおけるSONYのPlayStationに相当するものを表現します。 word-vector-web-apiに付属のモデルでは、(SONY – PlayStation + Nintendo) は Wii、ゲームボーイアドバンス、ニン
Lucene Kuromojiのトークナイズを、Graphvizを使ってビジュアル化する - CLOVER🍀
ちょっと前に見ていたこちらのエントリ。 Solr + kuromoji で単語の切れ方がおかしかったのでガッツリ調べてみた、理由と調べ方その方法を公開します！ http://blog.yoslab.com/entry/2014/09/12/005207 kuromoji のサイトに行くと、トークナイズの処理を分析することができる。 http://blog.yoslab.com/entry/2014/09/12/005207 Atilika Kuromojiのサイトやkuromoji-serverで、Kuromojiのトークナイズの様子がビジュアル化できるようで、へぇ〜と思っていたのですが、最近Lucene Kuromojiで同じことができそうなことに気付き、ちょっとやってみました。 kuromoji-server http://atilika.org/kuromoji/ ※このページで、「
[O] Word2Vec の Web API を作れる word-vector-web-api を公開しました
Word2Vec の Web API を作れる word-vector-web-api を公開しました Tweet [日記][NLP] Word2Vec や GloVe などで構築済みな単語ベクトルのモデルを使った Web API を作ることができる word-vector-web-api を公開しました。🎉🍣🍻🍰🍖 word-vector-web-api というのを書いてて、word2vecで構築済みの 日本語 Wikipedia モデル + Docker で試せる様になったので、暇な方は試してみて下さい。https://t.co/NMQTc5py2k— Toshinori Sato (@overlast) 2015, 7月 2 これがあると docker コマンドと1.5 GByte 程度のメモリが使える環境なら、以下の 5 つのコマンドを実行することで(厳密にはもう少し手順
[O] mecab-ipadic-NEologd v0.0.2 をリリースした
mecab-ipadic-NEologd v0.0.2 をリリースした Tweet [日記] 今日、6/23の朝 [2015-06-23] に、mecab-ipadic-NEologd の v0.0.2 をリリースしました🎉。 https://github.com/neologd/mecab-ipadic-neologd/releases/tag/v0.0.2 前回の v0.0.1 からの大きな差分は以下の5点です。 - 3ヶ月分の新語 - Unicode 6.0以前の絵文字に読みと品詞情報を付与 - IPA辞書に未再録で区切り間違う or 読みを付与できない副詞 - unk.defを変更して記号を記号,一般に - IPA辞書の一部のエントリの読み仮名誤りを修正 3ヶ月分の新語 v0.0.1以降に新しく再録したエントリは、diff以下で記録しています。 https://github.co
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LINE、スマートスピーカー「WAVE」を今秋発売、1.5万円。スマホの次のAI時代を担う
GitHub - neologd/neologd-solr-elasticsearch-synonyms
https://github.com/overlast/word-vector-web-api/blob/master/README.ja.md
GitHub - overlast/word-vector-web-api: Implementation in order to operate a web API of word vector models which are generated by Word2Vec, GloVe or e.t.c.