2021年9月24日のブックマーク (5件)

  • 【Python】形態素解析ライブラリjanomeの使い方 | 3PySci

    Python】ワードクラウド:形態素解析ライブラリjanomeとワードクラウド作成ライブラリWordCloud ワードクラウド 今回はワードクラウドなるものを試してみようと思います。 ワードクラウドとは、文章の中の単語の頻出割合でその単語の文字の大きさや色を変え、画像に… ただ前回はワードクラウドを表示することに重きを置いて、それぞれのライブラリの解説はしていませんでした。 ということで今回は形態素解析ライブラリjanomeを色々弄って、どう使うのか勉強していきましょう。 ちなみに形態素解析とは、文章を単語レベルまで分割して、それぞれがどのような意味だったり、品詞だったり、読み方だったりしているかを解析することをいいます。 なので今回、janomeでどのように文章が分割され、認識されているのか見てみるというのは重要なことだと思います。 それでは始めていきましょう。 解析結果全てを取得 ま

    【Python】形態素解析ライブラリjanomeの使い方 | 3PySci
  • Sakamoto's AI lab

    デモサイト運用終了。 後継プロジェクトのGPTSANがHugging Faceで利用できるようになったので、当デモサイトの運用は終了します。 GPTSANのデモは、Hugging FaceのGPTSANページにある「Hosted inference API」の入力ボックスから試すことが出来ます。 さすがに役目を終えたと思います。今までありがとうございました。 >>坂俊之のホームページへ

    gengohouse
    gengohouse 2021/09/24
    text2importanceとは、文章内のセンテンスにスコアをつけるAIです。長い文章から、その全体の意味に対する重要度を、センテンス毎に求めます。
  • 自然言語処理の感情分析は「○ね」をポジティブと分類する - Qiita

    独自に集めた誹謗中傷の単語一覧をGoogleが提供する感情分析APIでネガポジ分類してみました。 その結果、Googleが提供するAPIでは「○ね」がポジティブと分類される結果となりました。Googleが提供するAPIでこの結果になるということは、これが現時点での自然言語処理の限界ということでしょうか。 今回の実験結果をそのまま記載します。なぜこのような結果になるのか、ご意見があればページ下部のコメント欄に書いてもらえるとありがたいです。 独自に集めた誹謗中傷の単語一覧 SNS上で使われる誹謗中傷の単語のうち、ネガティブな意味になるものだけを集めました。ネガティブかどうかは私の主観です。正規化はされておらず、SNS上で使われている表現をそのまま抽出しています。 死ね 殺す 黙れ 馬鹿 役立たず 無能 やくたたず きいてんのか いいかげんに うるせーよ うるせえ うっせえ 気持ち悪い キモい

    自然言語処理の感情分析は「○ね」をポジティブと分類する - Qiita
    gengohouse
    gengohouse 2021/09/24
    「実験前に想定していたよりも間違った分類の割合が非常に多くて驚きました」
  • 自然言語処理によるリアルワールド診療データからのオンコロジー(腫瘍学)に関する洞察の抽出 - Qiita

    Extracting Oncology Insights from Real-World Clinical Data with NLP - The Databricks Blogの翻訳です。 半構造化、非構造化データ:オンコロジー(腫瘍学)のエビデンスの生成における課題 このブログで参照しているソリューションアクセラレータのノートブックをオンラインで確認するか、ノートブックをダウンロードしてお使いのDatabricksアカウントにインポートして試してみてください。 アメリカにおいて癌は主要な死因、病因となっており、驚くべきことに今年においても200万もの新たな癌のケースが診断されています。また、癌はアメリカにおける診療費の大部分を占めており、2020年で2000億ドル以上と推定されています。このため、バイオ医薬品業界は、抗癌剤の開発に特にフォーカスしています。2019年、2020年のみでも

    自然言語処理によるリアルワールド診療データからのオンコロジー(腫瘍学)に関する洞察の抽出 - Qiita
  • 東京大学、強化学習と統計的自然言語処理の講義資料が無料公開 サイバーエージェントの講師ら担当 | Ledge.ai

    サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。

    東京大学、強化学習と統計的自然言語処理の講義資料が無料公開 サイバーエージェントの講師ら担当 | Ledge.ai