Pythonのライブラリで小説全文をテキストマイニングしよう
テキストマイニングとは？ テキストマイニングとは、テキストをプログラムに分析してもらい、文章の特徴を図や色などで表現することを指します。 SNSで注目されている単語やGoogle検索トレンドなども瞬時で分析でき、データサイエンティストやマーケターなども活用できます。 今回行うテキストマイニングで特に重要な処理が「形態素解析」と呼ばれるもので、繋がっている文章の中から単語を抜き出して意味を割り出す分析方法です。 例えば、私たち人間が「このサイトは非プログラマーが日常業務で使えるシンプルなPythonを紹介するメディアです。」 をという文章を読む時には 「この/サイト/は/非/プログラマー/が/日常/業務/で/使える/シンプル/な/Python/を/紹介/す/る/メディア/です。/」 と区切ることができます。しかし（英語は単語ごとにスペースを開けるのでプログラムで処理をしなくても問題はありませ
Pythonでテキストアナリティクス 〜『テキストアナリティクス入門』に沿い共起ネットワークなど描いてみた〜 - Qiita
2022/08/12追記 GoogleColabにおいてGINZAインストール後に必要となる再起動を不要にするおまじないを追加。 はじめに テキストアナリティクス入門 この書籍は、テキストアナリティクス初学者向けの入門書です。 テキストアナリティクスとは何だということのみならず、頻出語やこれを表現したWordCloud、共起ネットワークをどのように活用すべきかが、実例に沿ってわかりやすく解説されていて、とても参考になりました。 この書籍にインタラクティブな動的共起ネットワークが紹介されていました。 インタラクティブで、見た目もよく、可読性も高そうなので、とにかく実行してみたくなり、WordCloudなど他に紹介されていたことを含め、早速やってみました。 書籍のデータやコードを転用・転載することはできませんが、Google Colab で実行するためのフォローと、Chrome拡張機能のついす
社員用に作った文書校正ツールを一般公開した - gecko655のブログ
スクリーンショット これはなに 会社で「PR用の文章を人力でチェックする工数が重くて、めっちゃ残業が発生している。なんとか自動化できないか」との依頼を受け、Word等のファイルをGUIでそのままtextlintできるツールをちゃちゃっと作って社内公開しました。その結果、いい感じに社内で有効利用してもらうことができたので、外部公開に踏み切ることにしました。 github.com インストール＆設定 1. インストーラーでツールをインストールする GitHub上で配布しています。 https://github.com/gecko655/proofreading-tool/releases Mac版で「開発元が未確認のため開けません」が出た方へ https://support.apple.com/ja-jp/guide/mac-help/mh40616/mac を参考に、アプリケーションをセキュ
ドキュメントの文章校正には、textlintが便利 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは！ 開発部 テクニカルコミュニケーションチーム（以下、TCチーム）の原嶋です。 さてさて。 みなさん、ドキュメントの文章校正（以下、校正）ってどんな風にやっていますか？ 目視チェックでバッチリだぜ！という方も もちろんいると思うのですが、チェックポイントが多いと指摘が漏れてしまいがちですよね。そして、会社の公式文書となれば、チェックポイントはあれもこれもと山のようになります。 TCチームでも長年 校正に頭をかかえていましたが、textlint と＋αのツール を使って、校正の悩みを解決しました。 今回はその経緯をお話させてください。 校正って確認する項目がたくさん TCチームでは、サイボウズ製品のユーザーサポートコンテンツ（ヘルプやリリースノートなど）を作成しているのですが、 それらのコンテンツは会社の公式文書なので、毎回の校正でチェックする項目が多々あるんです。 校正おわったー
「ヤフコメ」と「はてブコメント」の違い。テキストマイニングより見えてきたもの - プリキュアの数字ブログ
（プリキュアにあんまり関係ない記事です。興味ない方はスルーして下さい。） 先日（4/13）、当ブログを紹介していただいた朝日新聞withnews様の記事が、（数時間ですが）ヤフーのトップに掲載されました。 娘がプリキュアに追いついた日… 父のブログに涙する人が続出 当たり前の日常の中にある愛情、著者に聞く （withnews） - Yahoo!ニュース さすがにヤフーのトップ、記事中に直接リンクが貼ってあったわけではありませんが、多大な反響があり、その1日だけで「イワオ～キン骨マンの超人強度」くらいにはＰＶを頂きました。 はてなブックマーク、ツイッター含め、沢山のコメントを頂きまして、本当にありがとうございました。 すべてのコメントを読まさせていただきました。 その全てが、ありがたく、身に染みるものでした。 で、今回「ヤフーのトップニュースに載る」ことにより、 「自分のブログ記事の内容が”
ルールプリセットを使ってお手軽にtextlint入門
textlintはルールで拡張出来る自然言語向けのLintツールです。 textlint 5.1.0でルールのプリセットをサポートしました。 ルール、プリセット、プラグインは以下のような関係です。 rule いわゆるルール rule-preset ルールをまとめたもの plugin ルールとプロセッサ(拡張機能)を持ってる textlintはデフォルトでは一つもルールを持っていません。 そのため、どのルールを入れたらいいか迷った場合に、誰かがまとめてくれたプリセットをとりあえず入れれば、とりあえず文章のチェックが出来るようになります。 textlintの使い方は以下で解説しているのと基本的に同じですが、今回はプリセットの使い方を紹介します。 textlintで日本語の文章をチェックする | Web Scratch インストール textlint本体と2つのプリセットをインストールしてみます
WEB制作時に役立つ！ダミーテキストに使える定型文まとめ | 株式会社LIG(リグ)｜DX支援・システム開発・Web制作
先日、弊社プログラマーの段田さんのブログで、ボーナスアップの道具として利用された野田です。 あれは、久しぶりに傷ついた。 そして、プライベートでもいろんな人にいじられた。 ネットって怖いですね。 さて、今回は、WEB制作に役立つ定型文のご紹介を致します。 僕自身、デザインする際に構成からガッツリ考えるのが大好きっていうか仕事なので、 それにあわせてダミーテキストを考えることが多いです。 デザインを提出する際には、「テキストテキストテキスト」や「ダミーダミーダミー」で提出することは絶対にしません。 お客様の意図を読み取ってこちらからご提案させていただくということも、Webデザイナーには必要なスキルの一つだと思うからです。 あたりまえなことですが、こういう部分に気づかない方も案外いらっしゃいます。 正直、僕もデザインを始めてすぐの頃にはそんな感じでした。 「仮」という言葉に甘えてしまう事は良く
富士フイルムのレイアウト再構築技術「GT-Layout」搭載アプリがすごい
富士フイルムは、スマートフォンなどのモバイル端末の画面サイズに合わせて自動的に改行させ文書ファイルを読みやすく表示するレイアウト再構築技術「GT-Layout」を開発、同技術を搭載したAndroidアプリ「GT-Document Lite for Dropbox Ver.1.2」を、Google Playでリリースした。価格は無料。 同社は文書ファイルをサーバ上で画像化、それをスマートフォンなどのモバイル端末上で表示するシンクライアント方式のドキュメントビューワソリューション「GT-Document」を提供している。GT-Layoutは画像化した文書ファイル上の段落構造や文字の並びを解析し、端末の画面サイズに合わせて自動的に改行位置を調整、リフロー表示を行う技術。これにより、上下のスクロールだけで文書を確認できる。一文字ずつ画像処理して最適なレイアウトへ再構築しており、オリジナル文書のフォ
difff《ﾃﾞｭﾌﾌ》
下記の文章を比較してください。 Betty Botter bought some butter, But, she said, this butter's bitter; If I put it in my batter, It will make my batter bitter, But a bit of better butter Will make my batter better. So she bought a bit of butter Better than her bitter butter, And she put it in her batter, And it made her batter better, So 'twas better Betty Botter Bought a bit of better butter. 下記の文章を，ﾋﾋ較してくだちい． Be
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
