英語論文執筆のために arXiv からの例文検索サービスを作った話

arXiv の論文から例文を検索する Hyper Collocation というサービスを公開しました． 以下はあまり整理されていない製作の記録です． 英語論文執筆用の例文検索サービス 英語での論文執筆の際に，専門用語を含む例文や言い回しのパターンを知りたいことが多々あります．有用なサービスとしては ライフサイエンス辞書のコーパス検索 Springer Exemplar (2018/2/1頃に終了) がありますが， データがライフサイエンス系の論文に限られている（ライフサイエンス辞書） ソートの基準が頻度順ではないため典型的な例文が上位にこない ストップワードに近い頻出語を検索した際の 検索が重い（Springer Exemplar） 表示可能な検索結果が偏る（ライフサイエンス辞書） という不満点があったので，並行して個人的な資料から検索を行うプログラムを作って使っていました． しかし，個

[braitom]

英語論文の例文検索サービスを作った話。arXivのBulk Data Accessを利用、FM-indexに基づく検索エンジンの作成、Crow + Vue.jsでの実装、メモリ使うのでEC2のr4.largeインスタンス使用。

[Dolphin7473]

すごく使えそう

[odmishien]

すごい

[yoppe9509]

すごそう（小並感）

[hiroponz]

カッコイイ

[sky-y]

“構文解析後のAST（抽象構文木）にフィルターを掛けられる Pandoc で変換を行うことにしました” Pandoc事例だ！

[idlepoor]

“圧縮接尾辞配列を使えば元のデータよりも小さいインデックスで検索が可能という話を小耳に挟んでいたので，これについて勉強することにしました．”

[efcl]

arXivからフレーズ検索

[overlast]

"Succinct Data Structure Library (中略) 24GBのコーパスを5GB程度のインデックスに圧縮でき，スニペット200個を1秒程度で返せる速さになった"

[hiromichinomata]

"arXiv の論文から例文を検索する Hyper Collocation というサービスを公開しました" 高速だしとてもいけてる

[Nyoho]

素晴らしい

[yumu19]

へー。便利そう。

[barringtonia]

便利。

[mztnex]

神ツールなのでは