表記揺れ検出ツール「テキストゆれないくん」 - inzkyk.xyz
その他のサンプル: Wikipedia:良質な記事, Wikipedia:長いページ 紹介 「テキストゆれないくん」は文章に含まれる表記揺れを検出するツールです。「コンピュータ」と「コンピューター」、あるいは「全て」と「すべて」といった同じ単語の別表記が使われていないかどうかをチェックできます。 「テキストゆれないくん」は元々このサイト (https://inzkyk.xyz/) の文章校正用に開発されました。機能が成熟してきたので UI を付けて公開します。 このページから手動で使う限り、「テキストゆれないくん」は商用/非商用を問わず自由に使って構いません。「テキストゆれないくん」は無保証で提供されます。 特徴 ウェブブラウザから使える このページをウェブブラウザで開いているなら、「テキストゆれないくん」は既に動いています。このページの最初にあるのは「テキストゆれないくん」を使うための完
個人を特定できる情報 (PII) のための Amazon S3 Object Lambda アクセスポイントの使用 - Amazon Comprehend
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 個人を特定できる情報 (PII) のための Amazon S3 Object Lambda アクセスポイントの使用 個人を特定できる情報 (PII) 用の Amazon S3 Object Lambda アクセスポイントを使用して、Amazon S3 バケットからドキュメントを取得する方法を構成します。PII を含むドキュメントへのアクセスを制御し、ドキュメントから PII を編集できます。Amazon Comprehend がドキュメント内の PII を検出する方法の詳細については、「PII エンティティの検出」を参照してください。Amazon S3 Object Lambda アクセスポイントは、AWS Lambda 関数を使用して、標準 Amazon S3 G
エンジニア・データ分析職の方々にお薦めしたい、LLM時代に不可欠な教養が身に付くテキスト3選 - 渋谷駅前で働くデータサイエンティストのブログ
（『IT Text 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊
ChatGPTで自然言語処理は終わるのか？で始まった知性・感性の再定義｜ysk_moto
言語処理学会第29回年次大会(NLP2023) に参加しています。 そこで、予定のプログラムの昼休みをつぶして緊急パネルディスカッションが開催されました。 「緊急パネル：ChatGPTで自然言語処理は終わるのか？」 https://www.anlp.jp/nlp2023/#special_panel 本投稿では、その内容を少しだけ振り返ると共に、私の所感も添えて述べたいと思います。 １．パネルの概要東北大学の乾先生がファシリテーションされながら、以下の方々が5分ずつくらいライトニングトークして、その後残り時間でslackの質問を拾いながらフリー議論という形式でした。 ライトニングトークといってもしっかりプレゼンテーションされていて、それぞれ短時間でご自身のスタンスや考えをまとめられていて、さすがでした。 なお、プレゼンテーションスライドは参加登録者のみの取り扱いで、学会参加者に告知されてあ
GPT-3を使って自分だけのAIアシスタントを作る第一歩 - Taste of Tech Topics
皆さんこんにちは。健康診断の結果がちょっと気になる年齢になってきたSsk1029Takashiです。 GPT-3を扱ってチャットボット作ってみる記事の第2弾になります。 第1弾のこちらもぜひご覧ください。 acro-engineer.hatenablog.com 前回は質問応答システムとしてGPT-3を活用しましたが、今回はAIアシスタントとしてGPT-3を活用してみます。 AIアシスタントとは何かというと、Google Homeのように命令を入力すると、それに沿った処理を実行してくれるシステムを指します。 ChatGPTとの違いは命令の結果は必ずしも文章生成だけではないということです。 ChatGPTでは文字列を入れて、要求に沿った文字列を返します。 対して、AIアシスタントでは、カレンダーに予定を入力したり、アラームを設定したりなど、具体的なタスクを実行します。 この記事では、前回に続
正確に文章が読めない人の話。
”ユーニス・パーチマンがカヴァデイル一家を殺したのは、読み書きができなかったためである” という一文から始まる「ロウフィールド館の惨劇」というミステリ小説がある。 「読み書きができない家政婦」がその劣等感をこじらせ、一家惨殺に及ぶまでを追いかける話で、映画化もされている。 3年ほど前に知人のすすめで読んだのだが、倒叙ものや、変わった話が好きな方は読んでみても良いと思う。 ＊ ただ、ストーリーの強烈さより私が覚えているのは、文盲までいかずとも「文章が正確に読めない人」は、今でもかなりいるな、と思ったことである。 例えば、リーダーが部下に、こんなメールを送ったとする。250文字だから、ツイート2つ分弱だ。 明日の朝10時までに、私をCCに入れて、Yさんにメールを送っておいてください。内容は次回の定例までの宿題事項と、現在までに積み残している課題の一覧の二つです。積み残しの課題については、期限を
UTH-BERT: a BERT pre-trained with Japanese clinical text – 医療AI・デジタルツイン開発学講座
Abstract This page publishes a Bidirectional Encoder Representations from Transformers (BERT) model that was pre-trained with a huge Japanese clinical text (approximately 120 million lines). This model is released under the Creative Commons 4.0 International License (CC BY-NC-SA 4.0). To develop the model, we leverage the Tensorflow implementation of BERT published by Google on this page. This stu
)
BERT (言語モデル) - Wikipedia
BERT 以前の多くの言語モデルは事前学習に単方向性（英: unidirectional）のタスクを採用しており[4]、学習された表現も単方向の文脈しか考慮しないものであった。この制約は文脈レベルの表現が必要なタスクの性能へ大きなペナルティを与えうる。 後述するMLM により双方向に依存するモデルを採用可能になったことから、BERT ではネットワークとして双方向性の Transformerアーキテクチャ (Bidirectional Encoder[5] of Transformer) を採用した[6]。すなわち self-attention による前後文脈取り込みと位置限局全結合による変換を繰り返すネットワークを用いている。 BERTは、トークン化にWordPieceを使用して、各英単語を整数コードに変換する。その語彙数は30,000である。語彙に含まれないトークンは、「不明」（unkn
言語モデル - Wikipedia
言語モデル（げんごモデル、英: language model）は、単語列に対する確率分布を表わすものである[1]。 解説[編集] 言語モデルは、長さがm個の単語列が与えられたとき、その単語列全体に対しての確率 を与える。この確率分布は、1つまたは複数の言語のテキストコーパスを使用して、言語モデルを訓練することによって得られる。しかし、言語は無限に有効な文を表現することができるため[注釈 1]、言語モデリングは、訓練データでは遭遇しないような言語的に有効な単語列にゼロでない確率を割り当てることが課題となる。この問題を克服するために、マルコフ仮定や、回帰型ニューラルネットワークあるいはトランスフォーマー（transformer）などのニューラルアーキテクチャなど、さまざまなモデリング方法が考案されている。 言語モデルは、計算言語学におけるさまざまな問題に役立っている。当初は、低確率で無意味な単
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.amazon.co.jp/dp/4274229009
https://www.amazon.co.jp/dp/4595319584
Foundation model - Wikipedia
ChatGPT と自然言語処理 / 言語の意味の計算と最適輸送
事前学習（Pre-training）と下流タスク（Downstream Tasks）とは？
Clinical Natural Language Processing
A Beginner's Guide to GPT-3
カルテ情報から病気を推論、自然言語処理の医療応用
フリーで使える日本語の主な大規模言語モデル（LLM）まとめ
GitHub - google/budoux
ELYZA DIGEST
