なぜかRustで言語処理100本ノック ～第4章 後編～ - Qiita
前編はこちら 第4章: 形態要素解析 前編に加え、グラフ表示用にgnuplotを用いております。 36. 単語の出現頻度 文章中に出現する単語とその出現頻度を求め，出現頻度の高い順に並べよ． まず、単語の出現頻度を求めるための関数です。 pub fn appearence(data: &Vec<Vec<HashMap<String, String>>>) -> HashMap<String, usize> { let mut appearence = HashMap::new(); data.iter() .for_each(|sentence| { sentence.into_iter().for_each(|elements| { *appearence.entry(elements["surface"].clone()).or_insert(0) += 1; }) }); appea
なぜかRustで言語処理100本ノック ～第3章 後編～ - Qiita
前編はこちら 第3章: 正規表現 前編に加え、URLエンコード用にpercent_encodingを、(rustのライブラリの)curlを用いております。 25. テンプレートの抽出 記事中に含まれる「基礎情報」テンプレートのフィールド名と値を抽出し，辞書オブジェクトとして格納せよ． かなり難しかったです。というのもテンプレートの形が、{{テンプレート名|key1=value1|key2=value2}}という形なのですが、このvalueのところに|(縦棒)や}}が入る場合があるようで、汎用的にしようと思うとどうしても構文解析的なことをする必要があり、正規表現では書けなかったのです。ですが、今回の場合に限ると|(縦棒)は必ず行の先頭で、最後の}}はこれだけで単独の行に存在していたので、その仮定のもとに書くとなんとか抽出できました。前編を書くのに時間がかかったのは(最初はここまで前編に入れよ
なぜかRustで言語処理100本ノック ～第4章 前編～ - Qiita
Rustで言語処理100本ノックしています。 第4章: 形態素解析 開発環境上にインストールしたmecabを用いています。辞書も開発環境のパッケージマネージャに用意されているものをそのまま用いています。 後編はこちら 30. 形態素解析結果の読み込み 形態素解析結果（neko.txt.mecab）を読み込むプログラムを実装せよ．ただし，各形態素は表層形（surface），基本形（base），品詞（pos），品詞細分類1（pos1）をキーとするマッピング型に格納し，1文を形態素（マッピング型）のリストとして表現せよ．第4章の残りの問題では，ここで作ったプログラムを活用せよ． mecabの出力結果は表層形\t品詞,品詞細分類1,品詞細分類2,品詞細分類3,活用型,活用形,原形,読み,発音と並んでいます。なのでここから各要素を取り出してHashMapに格納し、文ごとにそれをVecに格納すればよい
なぜかRustで言語処理100本ノック ～第3章 前編～ - Qiita
Rustで言語処理100本ノックしています。 第3章: 正規表現 この章ではgzipの読み込みとしてflate2を、jsonの読み込みとしてserde_jsonを、正規表現のライブラリとしてregexを使用しています。 後編はこちら 20. JSONデータの読み込み Wikipedia記事のJSONファイルを読み込み，「イギリス」に関する記事本文を表示せよ．問題21-29では，ここで抽出した記事本文に対して実行せよ． 取得したファイルを見てみると{"text": "本文","title": "タイトル"}が列挙されているという形だったので、この形に限定して考えました。 #[derive(Deserialize)] pub struct Article { pub text: String, pub title: String, } pub fn json_read_about(path:
なぜかRustで言語処理100本ノック ～第2章 後編～ - Qiita
前編はこちら 第2章: UNIXコマンドの基礎 16. ファイルをN分割する 自然数Nをコマンドライン引数などの手段で受け取り，入力のファイルを行単位でN分割せよ．同様の処理をsplitコマンドで実現せよ． split -l $N hightemp.txt相当なのですが、このコマンドだとファイルが自動生成されるのに対して、今回はVec<String>で返すようにしました(実質等価なので許してください)。スライスを用いればjoinが使えるんですね。 pub fn split_file(path: &Path, n: usize) -> Result<Vec<String>> { let file = File::open(path)?; let br = BufReader::new(file); let lines = br.lines().collect::<Result<Vec<_>>
なぜかRustで言語処理100本ノック ～第2章 前編～ - Qiita
Rustで言語処理100本ノックしています。 第2章: UNIXコマンドの基礎 本章はUNIXコマンドの中でもファイル処理がメインですね。 後編はこちらです。 10. 行数のカウント 行数をカウントせよ．確認にはwcコマンドを用いよ． wc -l $FILEに相当するものですね。最初はlines().size_hint()でいけるかと思ったのですが、どうやらそうではないらしいので素直に実装しました。 pub fn count_lines(path: &Path) -> Result<usize> { let file = File::open(path)?; let br = BufReader::new(file); let mut counter = 0; br.lines().for_each(|_| counter += 1); Ok(counter) } 解答に直接は関係ないです
なぜかRustで言語処理100本ノック ～第1章 後編～ - Qiita
前編はこちら 第1章: 準備運動 05. n-gram 与えられたシーケンス（文字列やリストなど）からn-gramを作る関数を作成せよ．この関数を用い，"I am an NLPer"という文から単語bi-gram，文字bi-gramを得よ． 単語n-gramと文字n-gramでそれぞれ作る必要がありますが、型が違うだけでほとんど中身は同じなので、文字n-gramの方だけ載せるとこんな感じです。 pub fn character_n_gram(text: &str, n: usize) -> Vec<String> { let max = text.len() - n + 1; let mut result = Vec::new(); for i in 0..max { result.push(text.get(i..(i+n)).unwrap().to_string()); } resul
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
なぜかRustで言語処理100本ノック ～目次～ - Qiita
なぜかRustで言語処理100本ノック ～第1章 前編～ - Qiita