ニューラルかな漢字変換エンジン「Zenzai」をazooKey on macOSに搭載します
こんにちは。iOSの日本語入力アプリである「azooKey」を開発しているMiwaです。 azooKeyは最近macOS版の開発が進んでいます。このazooKey on macOSに、完全にローカルで動作するニューラルかな漢字変換エンジンである「Zenzai」を開発し、搭載します。この記事ではZenzaiの技術を解説します。 Zenzaiを搭載したazooKey on macOSは現在アルファ版としてリリースしています。macOSをご利用の方はぜひ入れて試してみてください！ Zenzaiの概要 日本語入力に欠かせないかな漢字変換ですが、その歴史は長く、50年にも及びます。この間様々なアルゴリズムが提案され利用されてきましたが、近年の技術開発はやや落ち着きつつあります。オープンソースのかな漢字変換ソフトウェアで今でも広く利用されているものは数えるほどしかありません。 クローズドソースのシステ
日本語Alpacaデータを用いてJapanese-Alpaca-LoRAを作ったので公開します【期間限定デモページあり】｜kun1emon
⚠️注意今回公開するのはLoRAを用いて作成したLLaMAの日本語化Adapterでありモデル自体ではありません。 LoRAをマージするベースのLLaMAは商用不可であり、今回公開するAdapterで日本語化したモデルも商用利用はできません。 OpneAIの利用規約で、OpenAIサービス、ChatGPTの出力結果を競合モデル開発用途に利用することはできません コンテンツ生成者はできません。 詳細は記事後半で述べていますが利用規約が適用されるのはコンテンツ生成者までです。 概要2022年の11月末にOpenAIからChatGPTが発表されてから、それに追随するようにGoogleからBard、MetaからLLaMAなど大規模言語モデル（LLM）が発表されました。さらにLLaMA 7Bを「text-davinci-003」を用いて「Self-Instruct」で作成された52Kのデータセット（
頻出単語表示、わずか9KBのAI日本語単語分割ライブラリ「TinySegmenter」をESモジュール化
自由入力された文章をデータ化する形態素解析ですが、巨大な辞書が必要になったり次々登場する単語に対応することなどなかなか大変そうなイメージでしたが、機械学習を使った、単語分割するコンパクトな実装「TinySegmenter」を発見。ブラウザやDenoでいい感じに使えるESモジュール版にしてみました。 「頻出単語表示 by TinySegmenter」 文章を入れると、頻出単語順に並び替えて表示する、サンプルアプリ。このアプリでは、3文字以上を単語としています。一日一創ブログをコピペしてみるといい感じに！ プログラムで組み込む方法は簡単、ブラウザやDenoで下記コードを入れるだけ。 import { TinySegmenter } from "https://code4fukui.github.io/TinySegmenter/TinySegmenter.js"; const segs = T
TechCrunch
Well, if you are a big TikTok fan and live in the United States, I have some bad news for you: A bill that would force a sale of TikTok or ban it in the United States passed the Senate. And the Presid Nvidia is acquiring Run:ai, a Tel Aviv-based company that makes it easier for developers and operations teams to manage and optimize their AI hardware infrastructure, for an undisclosed sum. Ctech re
CS50 for Japanese: コンピュータサイエンスの入門 – 当ウェブサイトは、Creative Commons ライセンスに基づいて管理されています。
お知らせ: 2022/9/1 CS50 を活用した非営利／協賛企業による「コロナ学生支援」プロジェクトを実施中 ▼ 学生の方へ：CS50 の学習（履修証明書の取得）を一緒に取り組むプロジェクト CS50日本語版の翻訳コントリビューターである CODEGYM が主催する、非営利／無償のプロジェクト「CODEGYM Academy (外部リンク)」は、昨年に続き2022年度（春/秋）も、キャリア選択を控えた学生に対し、以下の企業の協賛により無償で17週間のプログラミング教育カリキュラムを提供します。 CODEGYM Academy 協賛企業（2022年） https://codegym.jp/academy/ 今年度のエントリーは締め切りました — ようこそ！ このページは、ハーバード大学 CS50 の日本語版翻訳プロジェクトのページです。当サイトのドメインに掲載されているコンテンツは、Cre
rinna社、日本語に特化したGPT-2の大規模言語モデルを開発しオープンソース化
rinna株式会社（本社：東京都渋谷区/代表取締役：ジャン“クリフ”チェン、以下rinna社）は、日本語に特化したGPT-2の大規模言語モデルを構築し、オープンソースとして公開しました。 ■背景 rinna社は、MicrosoftのAI＆リサーチ部門でAIチャットボットの研究を行っていたチームがスピンアウトして2020年6月に設立したAI開発企業です。ディープラーニング技術を活用し、AIが文脈に応じた会話文を自動生成して人間と自然に会話する「共感チャットモデル」、AIが話し声や歌声で豊かな感情表現を可能にする「音声合成システム」などの技術を発表してきました。これらの最新技術は、当社が運営するAIチャットボット「りんな」や、会話内容や音声表現をカスタマイズしてキャラクター性を持たせたAIチャットボットである「AIキャラクター」の開発に応用され、企業のマーケティングなどにお使いいただいています
How to implement Japanese full-text search in Elasticsearch
全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは？ Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書（ファイル）から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検
日本語の折り返しをJavaScriptで制御する - LIVESENSE ENGINEER BLOG
インフラエンジニアの中野(etsxxx)です。今回はWebのフロントの話です。稚拙な部分はご容赦を。 はじめに 前提知識 解決案の候補 解決案1: 手でspanタグをつける 解決案2: サーバーサイドの処理 解決案3: クライアントサイドの処理 クライアントサイドで文節区切り 実装 結果と考察 さいごに はじめに 2020年12月、リブセンスにQ by Livesenseという広報ブログが誕生しました。このブログは明朝体と縦書きと長文にアイデンティティがあります。 Q by Livesenseはこういう見た目のブログです。 Q by Livesenseは縦書きということで、漢数字を使っていたり、写真やイラストを使わずに純粋な文体で記事を書いていたりと、書籍のような日本語らしさが求められるデザインとなっています。 縦書きはWebエンジニアにとっても珍しい実装ですが、読者にとっても慣れないUI
AIが三国志を読んだら、孔明が知力100、関羽が武力99、を求められるのか？をガチで考える物語（自然言語処理編） - Qiita
吉川英治の「三国志」＠青空文庫をINPUTとして、 「自然言語処理」と「機械学習」によって上記のように、 武力や知力などのパラメータを推論する。 三国志小説の機械学習結果として、 １つの武将を５０次元ベクトルに変換し、そのベクトルを、 全く同じ「式」に入れて出てきた値が、上記の表。 このような方法：「小説(自然言語)」⇒「数値化」⇒「式」 によって、武力/知力を求めることが出来るか？ という実験＆研究が今回のテーマ。 他の成果としては、 以下のような武将名の「演算」が楽しめる。 （これも実際の出力結果より抜粋） 諸葛亮に近い人は誰？ ⇒ 姜維、司馬懿、陸遜、周瑜、魏延、馬謖 劉備にとっての関羽は、曹操にとって誰？ ⇒ 袁紹、張遼 ※若いころの馴染み的な意味や対比が多いので袁紹？ 孫権にとっての魯粛は、劉備にとって誰？ ⇒ 司馬徽（水鏡先生）、徐庶 ※賢者を紹介するポジションなのか？ 精度の
Budou: 日本語のための自動折り返し制御ツール
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
Groonga - カラムストア機能付き全文検索エンジン
Groongaについて Groongaはオープンソースのカラムストア機能付き全文検索エンジンです。Groongaを使うと全文検索機能付き高性能アプリケーションを開発することができます。 特徴 最新リリース 2024-07-29にリリースされた14.0.6が最新リリースです。 インストール ソース 最新記事 Groonga 14.0.6リリース (2024-07-29) PostgreSQL用高速日本語全文検索モジュールPGroonga（ぴーじーるんが） 3.2.1リリース (2024-07-04) Groonga 14.0.5リリース (2024-07-04) Groonga 14.0.4リリース (2024-05-29) Groonga 14.0.3リリース (2024-05-09) Groonga 14.0.2リリース (2024-03-29) Groonga 14.0.1リリース (
Go言語でag(The Silver Searcher)ライクな高速検索ツールをつくった。EUC-JP/Shift-JISも検索できマス。
いまや高速パターン検索といえばag(The Silver Searcher)ですが、検索対象がUTF-8のテキストを前提としているため、EUC-JPやShift-JISといったファイルを検索するのに課題があります。 これまで、それらの日本語文字セットを検索できるようにするため、色々とagの改造、公開を行っていました。 ag(The Silver Searcher)でEUC-JP/Shift-JISのファイルも検索できるようにしてみた 日本語圏特化型ag -白金- の配備が完了しました しかし、特定の国の文字コードだけに特化した修正というのをmasterに取り込んでもらうわけにもいかず、派生ブランチとして追随するのも、やはり面倒… そこで年始にGo言語を触ったのをきっかけに、Go言語でパターン検索ツールをつくってみました。 せっかくなのでポストagを目指して、プラチナサーチャー(The Pl
FuelPHPで保守性の高いマルチデバイス対応を考える | SHIROYAMA.US
FuelPHP Advent Calendar 2012 FuelPHP Advent Calendar 2012 に参加してみました。 こんばんは、 @fushiroyama です。僕の担当は9日目です。 昨日は @web2citizen さんの FuelPHPのスパムフィルタパッケージ でした。 9日目も張り切っていきましょう！ ウェブエンジニアにとって「マルチデバイス対応」は避けて通れない課題だと思います。急速にスマートフォンの波が押し寄せている昨今ですが、まだまだ案件によってはフィーチャーフォン（いわゆるガラケー）は無視できないシェアを持っているからです。 私事ですが、先日入籍いたしました。挙式するにあたって妻に、 「招待状の送り先住所や宿泊の有無・交通手段などをメモするのが大変だから、メールに貼り付けて送れるウェブシステム作ってよ。出来るでしょ、エンジニア！」 と言われました
PHPでJIS以外の文字を文字化けせずに日本語メールを送る方法
こんにちわ。花粉の季節が近づいてきてビクビクしている高橋です。 ちょっとタイトルが長くなってしまいましたが今回はメールの文字化けについて書きたいと思います。 最近では日本語のメールをUTF8で送るサービスも多くなってきたと思いますが、 まだまだJISで送る方が主流だと思います。 JISで送っているのでJISで扱っていない文字は当然文字化けします。 しかし、世の現場にはこんな会話が繰り広げられていることでしょう。 「このメールの”①”ってところが文字化けってんだけど」 「日本語のメールはJISって文字コードで送ってましてー それJISで扱ってない文字なんで文字化けちゃうのしょうがないですねー」 「GmailとかAmazonのメールではそういう文字送れてるけど？」 「（ほんとだ、ゔぅ）なんででしょうね、ハハハ…」 日本語のメールはJISで送るというのがスタンダードで、本来はJISで扱っていない
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://github.com/google/budoux/blob/main/javascript/README.md
GitHub - rinnakk/japanese-pretrained-models: Code for producing Japanese pretrained models provided by rinna Co., Ltd.
nodebestpractices/README.japanese.md at master · goldbergyoni/nodebestpractices
GitHub - megagonlabs/ginza: A Japanese NLP Library using spaCy as framework based on Universal Dependencies
GitHub - kijtra/textdiff: Simple text diff script
GitHub - mattn/jvgrep: grep for japanese vimmer
