openai-community/gpt2 · Hugging Face
GPT-2 Test the whole generation capabilities here: https://transformer.huggingface.co/doc/gpt2-large Pretrained model on English language using a causal language modeling (CLM) objective. It was introduced in this paper and first released at this page. Disclaimer: The team releasing GPT-2 also wrote a model card for their model. Content from this model card has been written by the Hugging Face tea
gpt2-japaneseの使い方 (2) - GPT-2のファインチューニング｜npaka
「gpt2-japanese」の「smallモデル」と「ファインチューニングのコード」が公開されたので、日本語によるGPT-2のファインチューニングを試してみました。 前回 (1) Google Colabのノートブックを開く。 (2) メニュー「編集→ノートブック→ハードウェアアクセラレータ」で「GPU」を選択。 (3) 以下のコマンドで、「gpt2-japanese」をインストール。 # gpt2-japaneseのインストール !git clone https://github.com/tanreinama/gpt2-japanese %cd gpt2-japanese !pip uninstall tensorflow -y !pip install -r requirements.txt2. モデルのダウンロード「smallモデル」を「gpt2-japanese」フォルダにダウン
DeepL APIをPythonから利用して日本語の文章を翻訳する - deepblue
はじめに この記事ではDeepL API(DeepL Pro)を使って日本語を翻訳を試してみたいと思います。 最近DeepLの翻訳の精度が良いと話題になっていましたが、これまでAPIの利用は日本語には対応してきませんでした。 ところがDeepL社の2020月6月16日のプレスリリースで日本語対応したとの発表がありました。そこで早速DeepL APIから日本語の翻訳を試してみます。 DeepL APIについて DeepL APIは有料で公式サイトの右上のメニューからDeepL Proを選んで登録することが出来ます。 DeepL Proには「個人向け」「チーム向け」「開発者向け」と3つのタイプがありますが、DeepL APIが利用できるのは一番右の「開発者向け」です。 DeepL APIの料金体系は、現在の基本料金は月々¥630です。翻訳済みの文字数は、1,000,000文字につき ¥2,50
Linguistic Features · spaCy Usage Documentation
GuidesGet startedInstallationModels & LanguagesFacts & FiguresspaCy 101New in v3.7New in v3.6New in v3.5GuidesLinguistic FeaturesPOS TaggingMorphologyLemmatizationDependency ParseNamed EntitiesEntity LinkingTokenizationMerging & SplittingSentence SegmentationMappings & ExceptionsVectors & SimilarityLanguage DataRule-based MatchingProcessing PipelinesEmbeddings & TransformersLarge Language Modelsne
Microsoft Flow で Cognitive Service の活用方法を考えてみる - Oh! 365 blog
一つ前の記事を公開したところ、Microsoft Flow を業務で利用している使っている友人からコメントをもらうことができ、アイデアが膨らんできたので色々試してみました。 前回の記事はこちら Microsoft Flow と SharePoint Online で自動採番機能を実装してみた 目的を持って実装するほうが学びも多いと思うので、今後は以下のようなシナリオを仮定し、Flow を使って対応できないかを考えてみます。（何かアイデアがあればやってみるので教えてほしいです！） 利用シナリオ : カスタマーサポート お客様から問い合わせメールを受信する 問い合わせメールの記載内容をもとに、Q&A サイトや自社データベースから関連する情報を取得する 取得した情報を、自動返信メールの本文に記載する 作成した自動返信メールをお客様へ返信する 上記のように、第一次受付を完了しましたというような自動
なぜ自然言語処理にとって単語の分散表現は重要なのか？ - Qiita
なぜ自然言語処理にとって単語の分散表現は重要なのでしょうか？ この記事をご覧になっている方は Word2vec(Mikolov et al., 2013) についてご存知かもしれません。Word2vec ではまるで単語の意味を捉えられているかのような演算を行うことができます。例えば King から Man を引き Woman を足すと Queen が得られる(King - Man + Woman = Queen)というのは有名な例です。 from https://www.tensorflow.org/get_started/embedding_viz 実はその内部では、単語を分散表現(あるいは埋め込み表現)と呼ばれる200次元ほどのベクトルで表現してベクトルの足し引きを行っています。この200次元ほどのベクトル内部に各単語の特徴が格納されていると考えられています。そのため、ベクトルの足し引
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - tanreinama/Japanese-BPEEncoder: Japanese-BPEEncoder
Setting up text preprocessing pipeline using scikit-learn and spaCy
Classify Text Using spaCy – Dataquest