否定文を理解できないAIたち - ｼﾞｮｲｼﾞｮｲｼﾞｮｲ
BERT や GPT の登場により、テキストを扱うモデルは大きく発展しましたが、否定というごくありふれた操作を扱うのが依然難しいです。 本稿では、その理由と、部分的な解決策を紹介します。 目次 目次 否定文を理解できないAIたち 否定文を理解できずに困ること なぜ否定文をうまく扱えないのか なぜたまに成功するのか 対処法 ファインチューニング プロンプトの工夫 否定文を意識した訓練 文書数を増やす クエリとキーを拡張する おわりに 否定文を理解できないAIたち BERT (tohoku-nlp/bert-base-japanese-v3) で A =「私はお寿司が好きです。」 B =「私の好きな食べ物はお寿司です。」 のテキスト埋め込みのコサイン類似度を求めてみましょう。A と B は同じようなことを言っており、予想されるようにコサイン類似度は 0.9695 と高いです。 では、 A =「
ニューラルかな漢字変換エンジン「Zenzai」をazooKey on macOSに搭載します
こんにちは。iOSの日本語入力アプリである「azooKey」を開発しているMiwaです。 azooKeyは最近macOS版の開発が進んでいます。このazooKey on macOSに、完全にローカルで動作するニューラルかな漢字変換エンジンである「Zenzai」を開発し、搭載します。この記事ではZenzaiの技術を解説します。 Zenzaiを搭載したazooKey on macOSは現在アルファ版としてリリースしています。macOSをご利用の方はぜひ入れて試してみてください！ Zenzaiの概要 日本語入力に欠かせないかな漢字変換ですが、その歴史は長く、50年にも及びます。この間様々なアルゴリズムが提案され利用されてきましたが、近年の技術開発はやや落ち着きつつあります。オープンソースのかな漢字変換ソフトウェアで今でも広く利用されているものは数えるほどしかありません。 クローズドソースのシステ
この無駄にゲームして過ごした時間を勉強に充てたら中国語もペラペラになるんじゃね～の！と思ったので1年間やった - どぶろくソロリティ血風録
いつも心に谢谢您……（葱抓餅の袋より） なんとなく中国語をやってみるか、と思い立ったのが確か2021冬ぐらいなんだけど、独学で勉強を始めて概ね１年でHSK3級（体感だと中学英語ぐらいのレベル）に合格したのでその話を書きま～す。 最初に書いちゃうと、合格までにメインで使った教材は主にNHK中国語講座「まいにち中国語（2022年の”言いたいことから中国語”）」で基礎の基礎～文法を覚えて、HSK対策にSPRIX社のHSK単語トレーニングアプリで単語を補強した感じです。 NHKのテキスト6か月分 3,180円とアプリの1級～3級あわせた課金 1,610円。合計5,000円ぐらいなのでかなりお得に勉強できたと思う。 ちなみにどんぐらいできるようになったかというと、ワイの残念なお脳では1年ではペラペラにはならなかったものの、台湾旅行で簡単な注文のやりとりをしたり「オデ、コレ、ハンブンダケ、ホシイダケド
Prompt Engineering Guide – Nextra
Prompt Engineering Guide プロンプトエンジニアリングは、言語モデル（LMs）を効率的に使用するためのプロンプトを開発および最適化する比較的新しい学問分野です。プロンプトエンジニアリングのスキルを身につけることで、大規模言語モデル（LLMs）の能力と限界をより理解することができます。 研究者は、プロンプトエンジニアリングを使用して、質問応答や算術推論などの一般的なおよび複雑なタスクのLLMsの能力を向上させます。開発者は、LLMsやその他のツールとのインタフェースとなる強固で効果的なプロンプテクニックを設計するためにプロンプトエンジニアリングを使用します。 プロンプトエンジニアリングは、プロンプトの設計と開発に限らず、LLMsとのインタラクションおよび開発に役立つ幅広いスキルと技術を含みます。これは、LLMsとインタフェースすること、ビルドすること、能力を理解すること
Kubernetesドキュメントの日本語翻訳に関わり始めた - kmuto’s blog
1行で カジュアルな気持ちでk8sの翻訳に関わり始めたよ。 背景 YAPC KYOTO 2023はYouTubeで視聴していて、Linux Conferenceの主催側立場だったりした頃を思い出したり、Debian ConferenceやRuby会議も楽しかったなーなどと感慨にふけっていた(今年のRuby会議はちょっと行きたいなと思ったんだけど、業務とつなげるのが現状では難しそうなのもあって見送り)。 yapcjapan.org 発表はどれも印象深かったのだけれども、最後のLTで@nasa9084さんの「Kubernetesの翻訳協力者募集！」を聞いて「Kubernetes使える人は英語で特段問題なさそうだなぁ」と感想を呟いたところ、@nasa9084さんに拾っていただいて反応をもらった。 speakerdeck.com そもそも翻訳をできる人は日本語のドキュメントを必要としてないので、コ
エキサイト翻訳終了のお知らせ | エキサイト翻訳・オフィシャルブログ
このたび、エキサイト翻訳につきまして、2022年10月31日（月）をもちましてサービスを終了させていただくこととなりました。
AIお絵かきサイト「craiyon」が人気 単語を組み合わせて画像を作成、好きな画風を指定できて「最高」と話題
打ち込んだ文章に応じた画像をAIが生成してくれるサイトcraiyonで、浮世絵風やダ・ヴィンチ風など多様な画風で楽しめると話題になっています。 「猫の田植え」など夢のような組み合わせの画像を作成可能 craiyonは文章から画像を生成するAIシステム「DALL・E（ダリー）」から派生した「DALL-E mini」が名前を変えたサイト。DALL・Eと名前を混同しやすいことからcraiyonとなったといいます。 テキストを入力し、書き出しボタンを押すと画像の生成がスタート。「cat rice planting」で出力すると田植えする猫の姿が、「Hiroshige Utagawa planting rice」で出力すると田植えの様子を浮世絵タッチで描いた画像を眺められます。組み合わせる単語によって、田植えするバットマンやスパイダーマン、スシを食べるウルトラマンなども描けます。 歌川広重のような田
ロボ太 on Twitter: "普段からコンパイラをいじめてると、「どうやったらコンピュータが困るか」が、なんとなくわかるようになるんですよね…… https://t.co/vQzX2aN8p8"
普段からコンパイラをいじめてると、「どうやったらコンピュータが困るか」が、なんとなくわかるようになるんですよね…… https://t.co/vQzX2aN8p8
ウクライナ語固有名詞の日本語表記について
2年前に「ロシア語の表記揺れはなぜ起きるのか」っていう増田を書いた増田だけど、みんな覚えてるかな？ 今回は最近話題のウクライナの固有名詞の日本語表記についての話をするよ！ иは「イ」か「ウィ」かロシア語やその他の多くの言語で、иは「イ」の音を表す文字だよ！ でもウクライナ語では違うんだ！ 手元の教科書を見てみると、「ゥイー 母音字。［イ］より奥に舌を引き，唇を横にして出す」（『ニューエクスプレス ウクライナ語』10頁）って書いてあるよ！ そうだね、日本語で表記する上ではロシア語のыみたいになるんだね！ ローマ字ではyで表記することになってるよ！ 問題は、「ウィ」って表記するとややこしいことだね！ 人名のМикола (Mykola)を「ムィコラ」と書くか「ミコラ」と書くかってことだね！ きちんと数えたわけじゃないけど、ロシア語のыよりもウクライナ語のиの方が使用頻度高そうな気がするよ！ 原
端末の文字幅問題の傾向と対策 | IIJ Engineers Blog
電子メール、ネットワーク機器集中管理、異常検知、分散処理、クラウド基盤などのシステム開発に従事。古代Rubyist。 CLI や TUI なアプリケーションを使っていると、端末の画面が崩れてしまうことがよくあります。 たとえば、こんな TUI が、 環境によってはこんな感じで崩れます。 スクロールなどをしながらしばらく使っているとさらにどんどん崩れていきます。 こうなってしまった場合、とりあえず Ctrl-l で画面を再描画することで、大抵はなんとか読める程度にリセットできますので、ことあるごとに Ctrl-l を連打することになります。 ですが、どうしようもないケースもままあります。 例えば、私の場合は以下のようなシチュエーションで困ります。 w3m でテーブルなどを表示するとレンダリングが崩れる less でログの閲覧の際に表示されるべき文字が表示されず見落としが発生する Wander
Your code displays Japanese wrong
A static site to link people to when their code is displaying Japanese wrong. View the Project on GitHub heistak/your-code-displays-japanese-wrong Why am I here? If someone gave you a link to this page, that person probably thinks your code displays Japanese wrong. In short, from a native Japanese eye, yѳur ҭєxҭ lѳѳκs κιnd ѳf lικє ҭЋιs. This page will give you a brief description of the glyph appe
機械翻訳アプリ「DeepL翻訳 for iOS」がiOS 15の新機能「Text from Camera」に対応し、カメラでテキストをスキャンし瞬時に翻訳を行うことが可能に。
機械翻訳アプリ「DeepL for iOS」がiOS 15の新機能「Text from Camera」に対応し、カメラでテキストをスキャンし瞬時に翻訳を行うことが可能になっています。詳細は以下から。 ディープラーニングを活用した機械翻訳サービス「DeepL翻訳」を開発するドイツDeepL GmbH(Liguee)は現地時間2021年10月14日、iPhone/iPad向けのテキスト機械翻訳アプリ「DeepL翻訳 (DeepL Translate)」をv1.5へアップデートし、新たにAppleがiOS 15/iPadOS 15で導入したカメラで撮影している映像からテキストを入力する「Text from Camera」に対応したと発表しています。 DeepL v1.5 画像やファイルを翻訳できるようになりました。 カメラでテキストをスキャンして翻訳できます（iOS 15が必要です）。 短い語句
JavaScript で文字数を length で数えるのはやめようの実例
はじめに JavaScript において文字数を String の length で取得すると、期待した値が得られないことがある。この記事では、実際に String の length を使うことによって発生した Prettier のバグを紹介する。 前提 JavaScript の String には length というプロパティが存在する。このlengthプロパティは文字列の文字数を表すものではない。 実際には、文字列中に含まれるUTF-16のコードユニットの数を返す。つまり、ASCIIをはじめとしたBMPに含まれるものであれば我々の期待する文字数が返ってくるが、一部の漢字やemojiなどについてはそうはならない。 たとえば、漢字の𠮟(U+20B9F)はサロゲートペアであり、２つのコードユニットで表される。そのため、length は 2 になる。
続『戸籍統一文字』の見たことない漢字、最終章
法務省のウェブサイト『戸籍統一文字情報』で検索して出てきた見たことのない漢字。これらはいったいなんなのか。 趣味で漢字字典を編纂しているという方に、いろいろと聞いてみた。前回記事「『戸籍統一文字』の見たことない漢字はいったいなに？」の、続きです。 話が長くなってしまったので、続きです 前回、趣味で漢字字典を編纂している竹澤さんに、見たことのない漢字の素性をいろいろと聞いた。 しかし、あまりのボリュームに、いったん区切りとしたが、残りの部分もぜひ読みたいというご意見をいくつか頂いたので、続編を公開することにしたい。 趣味で、漢字字典を製作中という竹澤さん（左上）、筆者・西村（右上）、デイリーポータルZ編集部・古賀さん（左下）、デイリーポータルZ編集部・林さん（右下）以降敬称略 本字、正字、略字、俗字、異体字、常用漢字、人名用漢字……とはいったいなに？ 西村：ところで、戸籍統一文字を検索してい
「バイクに乗るピカチュウ」「アボカドの椅子」など言葉から自動でイラストや写真を生成するAI「DALL・E」
人工知能(AI)を研究する非営利団体のOpenAIが、自然言語処理と画像生成を組み合わせたAI「DALL・E」を発表しました。DALL・Eは人間と見分けが付かないほど高精度な文章を生成するAI「GPT-3」のパラメータを使用し、文章からイラストや写真を作り出すことができます。 DALL·E: Creating Images from Text https://openai.com/blog/dall-e/ OpenAI debuts DALL-E for generating images from text | VentureBeat https://venturebeat.com/2021/01/05/openai-debuts-dall-e-for-generating-images-from-text/ OpenAIの公式ブログでは、実際に「DALL・Eに入力したテキスト」と「DA
「ほん訳コンニャク」 を食べて 論文を読もう - Qiita
TL;DR; 以下の「ほん訳こんにゃく」を作った。 （※ 上記のbadgeを 2020/12/18 に追記しました。 ） 作りたかったもの 研究室配属で、かねてから取り組みたかった 「シナプス可塑性におけるmiRNA機能とそれらが記憶や学習などの高次認知機能に与える影響の解明」 を自分の研究テーマ（※暫定）にすることができ、生物系の論文を読む機会が圧倒的に増えたのですが、元々深層学習系統の論文しか読んでいなかったため、常識や背景知識不足に悩まされ、DeepLやGoogle Translateなしには論文が読めないという日々が続いていました。 論文を読みながら適宜翻訳するのは非効率ですし、iPadにPDFを保存して電車内で読むなんてこともできず、かといって全部一度翻訳するのは非常に面倒で、「これ、自動化したいな〜」と思ったので、「論文のURLを投げれば、全文翻訳付きのPDFを生成するプログラ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kagi Translate
Ippei Oshida on Twitter: "息子が小さかった頃、「は」に点々をつけると「ば」になるということが、何度教えても理解できなかった。「か→が」や「た→だ」の対応関係はきちんと理解しているのに、なぜか「は→ば」だけが理解できない。「『は』に点々をつけると何になるかな？」「う〜ん、わかんない」の繰り返しだった。"
半可通の技術屋にWi-Fi関係でマウントを取られたら「ワイファイのファイは何の略？」と聞くといい→実は名前の由来が想定外過ぎたんです
海外ではアニメ版『日常』の「サメポスター」が異様な人気で、インターネットミームとして定着しているらしい→背景には言語的な誤解が？
