エンジニア・データ分析職の方々にお薦めしたい、LLM時代に不可欠な教養が身に付くテキスト3選 - 渋谷駅前で働くデータサイエンティストのブログ
（『IT Text 自然語処理の基礎』より） 3ヶ月ほど前に空前のLLMブームについて概観する記事を書きましたが、それ以降も世間のLLMに対する狂騒ぶりは収まるどころかますます拍車がかかるという有様で、あまつさえ僕自身の仕事における日常業務にもじわじわと影響が及びつつあり、今後も良きにつけ悪しきにつけLLMと共生し続ける必要がありそうだと感じている今日この頃です。 そんな猫も杓子もLLMに群がるが如き空前のブームを受けて、エンジニアやデータ分析職の方々の中には「LLMに興味はあるんだけど世の中にあまりにも多くのLLM関連コンテンツが溢れ返っていて何から手をつけたら良いのか分からない」という向きもあるように見受けられます。そこで、僕も断じてLLM以下生成AIの専門家などではないのですが、個人的に「このテキストを読めばLLM時代を生き抜くことが出来そうだ」と感じた書籍を、全くの独断と偏見で3冊
The English (Porter2) stemming algorithm
knack knackeri knack knag knave knave knavish knead knead knee kneel kneel kneel kneel knee knell knelt knew knick knif knife knight knight knight knit knit knit knit knive knob knob knock knock knocker knocker knock knock knopp knot knot Developing the English stemmer (Revised slightly, December 2001) (Further revised, September 2002) I have made more than one attempt to improve the structure of
日本語話し言葉コーパス（CSJ）
2020.06.01 有償版コーパスの契約及び問合せ対応を再開しました。... 2020.04.07 【重要】有償版コーパスの契約及び問合せ対応を一時停止します。再開は6月を予定しています。... 2018.01.17 『日本語話し言葉コーパス』第6刷の受付を開始しました。... 2017.02.15 検索アプリケーション『中納言』での一般公開を開始しました。... 2016.09.01 検索アプリケーション『中納言』での試験公開を開始しました。... 2016.06.22 『日本語話し言葉コーパス』第5刷の受付を開始しました。... 2015.05.27 『日本語話し言葉コーパス』第4刷の受付を開始しました。... 2015.01.16 【重要】CSJの利用申請受付を一時中断いたします。年度内に入手を希望される方は、1月30日（金）【必着】までにお申し込みください。... 2014.02
圧縮プログラムによる著者推定技術のニンジャスレイヤーへの応用
In this talk, we will give a technical deep dive into the new YARN shared cache feature (i.e. YARN-1492) and explore the benefits we are currently seeing on our production clusters at Twitter. The YARN shared cache aims to optimize the considerable amount of network bandwidth and storage spent on resource localization in YARN. Some of this is mitigated by the NodeManager localization service, but
Private Presentation
Private content!This content has been marked as private by the uploader.
自然言語処理に新風を巻き起こしたWord2Vecとは何か - 日経BigData
言語データの分析と応用のために自然言語処理と呼ばれる分野で長年研究が行われて来た。同分野が昨年から大きく沸き立っている。米グーグルの研究者であるトマス・ミコロフ氏らが提案した手法「Word2Vec」が、いくつかの問題について従来のアルゴリズムよりも飛躍的な精度向上を可能にしたのだ。 この手法によって得られるベクトル空間には、今まで定量的に捉えることの難しかった言葉の「意味」を極めて直接的に表現しているかのような性質が認められている。今年9月、当社がスポンサー参加した自然言語処理系の研究発表会「NLP若手の会 第9回シンポジウム」でも、多くの研究がWord2Vecに関連したテーマについて取り上げていた。今後、意味解析、文書分類、機械翻訳など様々な分野でWord2Vecの応用が期待されている。 「意味ベクトル」の驚異的な性質 Word2Vecは、その名前の表す通り、単語をベクトル化して表現する
How Much is Said in a Tweet? A Multilingual, Information-theoretic Perspective
How Much is Said in a Tweet? A Multilingual, Information-theoretic Perspective Graham Neubig and Kevin Duh Nara Institute of Science and Technology 8916-5 Takayama-cho, Ikoma-shi, Nara, Japan Abstract This paper describes a multilingual study on how much information is contained in a single post of microblog text from Twitter in 26 different languages. In order to answer this question in a quantit
言葉と概念を紐付ける〜GoogleによるセマンティックWeb再構築 - 随所作主録
セマンティックWebという言葉の意味に踏み込んだ文書データ処理が話題になって10年くらい経つと思いますが、華々しくサービスとして使われているとは耳にしませんし、ユーザーとしてもその恩恵に預かってる感覚はありません。やはり表記ゆれや同義語、意味階層に関する膨大なルール体系（オントロジー）を完璧に作り上げたり、コンテンツに対するメタデータ付けたりという人手のボトルネックが解消されなかったことが原因なのでしょうか。そんな停滞したエリアに、Googleがいつも通り少々暴力的（？）な方法で一石を投じる成果を公開したようです。 From Words to Concepts and Back: Dictionaries for Linking Text, Entities and Ideas [Google Research Blog] 中身はいたってシンプルで、英語版Wikipedia記事1ページをそ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
X-JToBI公開用マニュアル.PDF
https://www.anlp.jp/proceedings/annual_meeting/2007/pdf_dir/PD2-6.pdf
Free Grammar Checker - LanguageTool
GitHub - diasks2/ruby-nlp: A collection of links to Ruby Natural Language Processing (NLP) libraries, tools and software
gunyarakun/kantan-ej-dictionary: English-Japanese dictionary