形態素解析に基づくＡＶタイトルの特徴分析 - oscillographの日記
こんばんは。夜の@oscillographです。 最近DMMアダルトがAPIを公開しました。 つまり、プログラムで直接データを取得できるようになったわけです。 ということで、今回はDMMアダルト（動画）の全タイトルを取得して 形態素解析を行うことによって日本のAVタイトルの特徴を分析しよう ということになりました。 手順としては、 DMM（ビデオ）のメーカーページを「あ」～「ん」までHTMLで取得 メーカーが特定タグに囲われていたので、正規表現パターンマッチで全メーカーを取得し、メーカー羅列をテキストに保存 テキストを読み込みながら各AVメーカーごとにapiを用いてAVタイトルを展開し、全メーカーのタイトルを取得 タイトルについて形態素解析を行うことによって単語を集計 正規化（全体の数で割ることによって割合で表す） という感じでやりました。 とりあえず、集計結果です。 上位３０位を抜き出し
オープンソースで必要な英語力を調べてみた
最近、mrubyのIssuesを英語で書くのが厳しく、やっぱり英語は勉強しなきゃなと日々痛感しています。 勉強するにしても普通の英語とは違うので、Issueを英語で書くためにどれぐらいの単語力が必要なのか調べてみました。 GitHub上のmrubyとnodejsのIssuesをダウンロードして形態素解析をして、単語の頻度をグラフにしてみました。 ものすごく偏っていることがわかります。 ここから1000だけ切り出してみます。 これを見ると3-500でほとんど部分をカバーできそうです。固有名詞もあるからもっと少ないはず。 これをベースにして「300語で書くオープンソースの英語」とか出来ないかな？ あとは、Phrasal verbs(get into, put onみたいなヤツ) なんだけど、代表的な物を公開しているリストないかな？それもランキングできると面白そう。 なお、この単語数は形態素解析
MeCab: 単語の追加方法
概要 辞書への単語追加には, 二つの方法があります. システム辞書への追加 ユーザ辞書への追加 システム辞書への追加 辞書更新が頻繁でないときや, 解析速度を落としたくない時は, 直接 システム辞書を変更するのがよいでしょう. mecab-ipadic があるディレクトリに移動 foo.csv というファイルを作成 (拡張子が .csv なら何でも可) foo.csv に単語を追加 辞書の再コンパイル + インストール % /usr/local/libexec/mecab/mecab-dict-index -f euc-jp -t euc-jp % su # make install -f charset: CSVの文字コード -t charset: バイナリ辞書の文字コード 例: utf-8の辞書を作成する例 % /usr/local/libexec/mecab/mecab-dict-
驚異的な解析速度を誇る日本語係り受け解析器J.DepP - 自然言語処理 on Mac
日本語の係り受け解析器といえば、KNPやCaboChaが有名ですが、J.DepPは線形分類器を用いて大規模な対象を非常に高速に、また高精度に解析できることが特長です。2009年末に公開されてから着実にバージョンアップされていますが、ビルドの方法が簡単になって、モデルの学習機能が追加されたことで大変使いやすくなっています。また、J.DepPは線形分類器のpeccoやopalを利用していますが、ベースの分類器が高速化されたことが、そのまま解析器の性能向上につながっているようです： ソフトウェアの更新も一人旅になってきた - ny23の日記 このJ.DepPをMacPortsとして登録しました。デフォルトの状態でjdeppをインストールすると、jumandicを参照するMeCabを組み込んだ解析器と、解析済みのブログコーパスであるKNBコーパスを対象とした学習モデルが利用できるようになります：
NSStringをローマ字表記に変換してみる - PPixyが駄文でレポート
CFStringTokenizerはトークン分割に非常に役立つAPIです。 分割される様子を見る限り、結構きちんと形態素解析できていると思います。 （もしかしたら、mecab使っているのかな？まぁ、その辺はよくわからないですが、とりあえずおいておきましょう。） 今回そんなCoreFoundationのCFStringTokenizerで、遊んでみます。 目標 文字列をトークン分割する（わかちがきする） トークン分割された文字列をローマ字表記に変更する すもももももももものうち すもも も もも も もも の うち sumomo mo momo mo momo no uchiって感じの２項目です。 取得できるローマ字表記は、読み用のものではないので、その点はご留意を。 （助詞の『は』や『へ』は、きちんとトークン分割されますが、『ha』『he』と出力されます） この点に関しては、もうちょっと調
テキストを単語に分けて、いちばん長い単語を抽出 - まゆたまガジェット開発逆引き辞典
形態素解析といえばいろいろありますが、Objective-Cのみでもできると知ってびっくり。 ここを参考にしました。ありがとうございます! で、whileで出て来る結果を配列に格納していちばん長い単語を取り出してみました。変更個所だけ書くとヤヤコシイので、変更していない箇所もそのまま載せます。 ・ViewController.h #import <UIKit/UIKit.h> @interface ViewController : UIViewController { //何回ループが回ったか=どれだけ配列の個数が必要か調べる数 int count; } ... ・ViewController.m ... - (void)viewDidLoad { [super viewDidLoad]; // Do any additional setup after loading the view,
テキスト解析:日本語形態素解析API - Yahoo!デベロッパーネットワーク
指定されたURLは存在しません。 URLが正しく入力されていないか、このページが削除された可能性があります。
Muliaslot88 | 8 Cara Menang Besar dengan Situs Judi Slot Terbaik dan Terpercaya no 1 di Indonesia
Kami tahu bahwa slot online menarik, menyenangkan, dan dapat meningkatkan peluang Anda untuk memenangkan banyak uang. Tetapi dengan begitu banyak pilihan di luar sana, bagaimana Anda tahu mana yang harus dipilih? Jika Anda ingin mencapai kesuksesan di industri judi slot, Situs Judi Slot Terbaik dan Terpercaya Nomor 1 di Indonesia adalah pilihan terbaik Anda. Situs ini telah memperoleh reputasi yan
Solrの日本語対応 -新しく追加されたトークナイザ・トークンフィルタ- 株式会社ロンウイット
先日、Lucene/Solrのbranch_3x(3.6)とtrunk(4.0)にコミットされた日本語向けのトークナイザ・トークンフィルタをご紹介します。 LuceneのJIRAのチケット LUCENE-3305 にて、日本語形態素解析器Kuromojiが導入されました。 これにより、日本語ドキュメントに対して形態素解析に基づく単語分割が可能になります。 従来、Lucene/Solrで日本語対応をする場合は、lucene-gosenやSenを使用する方法などをとってきましたが、今回の対応であらかじめLucene/Solrに組み込まれたものを使用するということが可能になります。 また一方で、LUCENE-2906にて、CJK文字に関するトークンフィルタも追加されました。 本記事では、これらのトークナイザ・トークンフィルタに関して、2012/2/23時点のソースに基づいて調査したものを解説いた
Rubyによる形態素解析エンジンokura 0.0.1をリリースしました - <s>gnarl,</s>技術メモ”’<marquee><textarea>￥
12月にさくさくテキストマイニングで発表したpure Rubyによる形態素解析エンジンをgem化しました｡ まだ発展途上で機能が少なかったりパフォーマンスが悪かったりしますが､いちおう動くレベル*1になったので公開します｡ 注意事項 バージョン0.0.xのうちは､インタフェースや辞書フォーマットは頻繁に変更される予定です｡ ある程度安定したら0.1.0出します｡ 今のところ､Ruby1.9系専用です｡ 取得 gem install okuraでインストールできます｡ ソースは https://github.com/todesking/okura 使い方 MeCabフォーマットの辞書データを使用します｡ 動作確認はMeCab用NAIST辞書で行いました｡ 最初にokura compileコマンドで辞書をコンパイルします $ okura compile mecab-naist-jdic-0.6
JVN#16901583: 茶筌 (ChaSen) におけるバッファオーバーフローの脆弱性
奈良先端科学技術大学院大学の提供する茶筌 (ChaSen) には、バッファオーバーフローの脆弱性が存在します。 茶筌 (ChaSen) version 2.4.4 およびそれ以前茶筌 (ChaSen) version 2.3.3 およびそれ以前上記バージョンの茶筌 (ChaSen) を組み込んでいるソフトウェアが本脆弱性の影響を受けます。 奈良先端科学技術大学院大学の提供する茶筌 (ChaSen) は、日本語の形態素解析をするためのソフトウェアです。茶筌 (ChaSen) には、文字列の読み込みに問題があり、バッファオーバーフローの脆弱性が存在します。 なお、茶筌 (ChaSen) は一時的に開発が停止していましたが、2011年12月8日より、ChaSen legacy プロジェクトによって開発が再開されました。
livedoor Techブログ : wikipediaのデータや顔文字辞書からmecabのユーザ辞書を作成するフレームワーク
突然ですが，mecabの辞書 (mecab-ipadic) をデフォルトのまま使って，mecab意外と使えねぇとか文句言ってる悪い子はおらんかね？ mecab-ipadic は比較的お行儀のよい日本語をベースに作られているので，そのままでは web上の口語文体のテキストはうまく扱えないことがあります。本来は教師データを用意し，学習させるといった手法を使うのが正攻法だと思いますが，とりあえず名詞を充実させるだけでも実用度はだいぶ上がるでしょう。 人間の話す言語には，動詞の語幹や名詞には日々新しく語彙が増えるけど，助詞や活用のルールは簡単には変化しない，という特性があります。特に「いま最もつぶやかれている単語ランキング」といった集計をするような場合は，名詞の範囲の切り出しさえ間違えなければそれなりの結果を出せることも多いのです。 ただ，辞書への単語追加はここにある通り簡単にできるのですが，単語
社内セミナーで形態素解析について話しました
持ち回りの社内セミナーが自分の番になったので、形態素解析についてまとめてみて、発表しました。係り受け解析入門に引き続き、自然言語処理チュートリアルシリーズ第２弾になります。結構ボリュームがあって、力作になってます。 今回の狙いは３つくらいありました。 ひとつは自分自身昔の文献などを読んだことがなかったので読んでみたこと。見ると、昔は多くの論文を企業の人が書いていて驚きます。初期の文献で引用したものはほとんどが企業系研究者の方の論文です。日本語入力の文脈で研究されていたからなのかな、という気がします。 もうひとつは現在の問題点と問題意識をまとめる。書いたとおり、アプリケーションに対して最適なことをすべき、という思いがあります。それは単にアプリケーションごとに形態素解析器を作るべき、ということではないです。そもそも形態素解析というソリューションは適切ですか？という問いかけです。実際に弊社では、
TF-IDFを用いた特徴語の抽出(2009/1/1）｜社内NEET宣言
社内NEET宣言文学部出身なのにIT企業で研究開発をすることになった社員のブログです。エンジニア/ニートTF-IDFを用いた特徴語の抽出(2009/1/1）ブログ TF-IDFという概念を用いて、 ブログ記事の中でどのような事が語られているか、を抽出しようとしています。 TF-IDFとは？ tf-idfは、文章中の特徴的な単語（重要とみなされる単語）を抽出するためのアルゴリズムであり、主に情報検索や文章要約などの分野で利用される。 http://ja.wikipedia.org/wiki/Tf-idf TF（Term Frequency）は単語の出現頻度･･･ひとつの文書に、ある語がどれくらい出現するか・・・の割合。 IDF（Inverse Document Frequency）はドキュメントの出現頻度・・・ある語を含むドキュメントが、全体のドキュメントの中にどれくらい出現するか・
形態素解析ツールの品詞体系
ChaSen 品詞体系 (IPA品詞体系) ChaSen の品詞体系は任意の階層化を許している。 いわゆる形容動詞は名詞の形容動詞語幹として含まれ、 形容詞には含まれない。Juman の指示詞という カテゴリは「連体詞」に含まれている。 判定詞「だ」は助動詞とされている。 Type1 Type2 Type3 Type4 Examples Description
形態素解析辞書 UniDic
人気デベロッパー Play’N Go は、2017年にユニークなスロットを発売しました ムーンプリンセス. オンライン スロットゲーム ムーンプリンセス このゲームは、そのユニークなオプション、シンプルな操作性、アニメをモチーフにしたカラフルなグラフィックにより、瞬く間にプレイヤーから人気を集めました。 スロットマシンの ムーンプリンセス は、漫画『美少女戦士セーラームーン』のテーマを明らかにする。第1巻は1992年に発売され、現在も人気があります。を可能にします moonprincess は、長年にわたり最高のスロットのリストをリードし、プレイヤーに寛大な配当だけを提供し、ゲームプレイへの関心を保証します。 すべてのシンボルが雰囲気を強調する オンライン スロットゲーム ムーンプリンセス, 心地よいサウンドトラックがゲームプレイを引き立て、音楽をパーソナライズできるため、ユーザーはスロッ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - todesking/okura: Ruby用形態素解析ライブラリ｡MeCabと互換の辞書形式を使用
顔文字形態素解析
E-027 情報量基準に基づく形態素解析用辞書の自動獲得方式(自然言語・音声・音楽,一般論文) | CiNii Research
形態素解析の過去・現在・未来