タグ

textとminingに関するlarkerのブックマーク (5)

  • 文章の「自動要約ツール」、ユーザーローカルが無償提供

    ユーザーローカルは7月24日、入力した文章から重要部分を取り出して要約する「ユーザーローカル自動要約ツール」を公開した。Webサイト上で無償利用できる。 入力フォームにテキストを貼り付けるか、テキストファイルをアップロードすると、文章構造を分析して特徴語(特徴的な言葉を機械的に抽出した単語)や重要文を自動抽出するツール。重要な文章をマーキングやヒートマップ、モノクロ強調で視覚的に捉えられる強調表示にも対応する。 要約文は「3行ダイジェスト」「5行ダイジェスト」「10行ダイジェスト」といった分量調整もできる。 重要文の抽出には、重要単語を多く含み、他の文に類似度が高い文を抽出するアルゴリズム「LexRank」を活用した。 ツールが公開されているWebページには、ニュース配信各社から引用したニュース文の要約をダイジェストとしてランキング表示している。 同社は「インターネット上には、日々ニュー

    文章の「自動要約ツール」、ユーザーローカルが無償提供
  • 固有表現認識を使って文書を黒塗りする - Qiita

    固有表現認識で認識した固有表現を黒塗りすることで、匿名化っぽいことができると考えられます。というのも、機密文書で黒塗りされている部分は機密に関係している人名や組織名などが多いと考えられるからです。上文の固有表現部分を黒塗りすると以下のようになります。 今回は固有表現を認識するためにディープラーニングを用いたモデルを構築します。具体的にはLampleらが提案したモデルを構築します。このモデルでは、単語とその単語を構成する文字を入力することで、固有表現の認識を行います。言語固有の特徴を定義する必要性もなく、ディープな固有表現認識のベースラインとしてよく使われているモデルです。 Lampleらのモデルは主に文字用BiLSTM、単語用BiLSTM、およびCRFを用いて構築されています。まず単語を構成する文字をBiLSTMに入力して、文字から単語表現を獲得します。それを単語分散表現と連結して、単語用

    固有表現認識を使って文書を黒塗りする - Qiita
    larker
    larker 2018/04/20
    ネタと実用の境界にいるようだ
  • Python による日本語自然言語処理

    はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日語を対象とする場合、いくつか気をつけなければいけない点があります。日語を扱う場合にも

  • http://wordminer.comquest.co.jp/

    お問い合わせフォーム 資料請求フォーム 研修のご案内 WordMiner の紹介・活用セミナー マクロ配布 シェアウェア【update】 集計マクロ・プログラム/構成要素カラリング表示マクロ・プログラム フリーウェア回答比率散布図&信頼限界作成マクロ・プログラム配布 フリーウェアKH CorderとWordMinerの併用による品詞情報の利用方法 【サイトに掲載の記事の取り扱い】 ここに掲載の記事の中には、われわれが独自に執筆・作成した情報も含まれてます。これらの記事を引用するとき、あるいは情報源として二次的に利用する際には、サイトからの引用であることを明記してくださるようお願いします。引用明記の上でのご利用は大いに歓迎します。引用の際には“テキスト・マイニング研究会(代表:大隅昇)ホームページからの引用”としてください。 このサイトは、テキスト・マイニング研究会が、テキスト・マイニン

    larker
    larker 2010/01/25
    有料アプリ
  • KH Coder: 計量テキスト分析・テキストマイニングのためのソフトウェア

    医療用語の辞書をご用意しました(無料) 9月20日公式対面セミナー【リサーチ実践編】満員御礼 産学連携プロダクト「KH Coderオフィシャルパッケージ」発売中 KH Coderとは KH Coderとは、計量テキスト分析またはテキストマイニングのための自由ソフトウェアです。 アンケートの自由記述・インタビュー記録・新聞記事など、さまざまなテキストの分析にお使いいただけます。 プログラミング不要、マウス操作で格的な分析 安心の分析プロセス完全公開、研究利用も多数 New! 機能紹介(スクリーンショット) スクリーンショット集 [旧ページ:言葉・文書・可視化・他] KH Coder 3 正式版の新機能 New! 機能追加プラグイン「文錦®」シリーズ New! ダウンロードと使い方 KH Coder 3 正式版ダウンロード (Version 3.02) 使い方を知るためのチュートリアル ヘル

    larker
    larker 2010/01/25
    日本語テキスト型データを計量的に分析するフリーソフトウェア
  • 1