NaturalLanguageの検索結果1 - 1 件 / 1件

• あとで読む

  NaturalLanguageフレームワークを使用して日本語のための自然言語処理 - Qiita

  • 3 users
  • qiita.com/MaShunzhe
  • テクノロジー
  • 2020/07/30

  func tokenize(text: String) { let tokenizer = NLTokenizer(unit: .word) tokenizer.string = text let tokens = tokenizer.tokens(for: text.startIndex ..< text.endIndex) var textTokens: [String] = [] for token in tokens { let tokenStartI = token.lowerBound let tokenEndI = token.upperBound let text = text[tokenStartI ..< tokenEndI] textTokens.append(String(text)) } print(textTokens) }