The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits Shuming Ma Hongyu Wang11footnotemark: 1 Lingxiao Ma Lei Wang Wenhui Wang Shaohan Huang Li Dong Ruiping Wang Jilong Xue Furu Wei⋄ https://aka.ms/GeneralAI Equal contribution. ⋄\diamond⋄ Corresponding author. S. Ma, L. Ma, L. Wang, W. Wang, S. Huang, L. Dong, J. Xue, F. Wei are with Microsoft Research. H. Wang
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
Recent research, such as BitNet, is paving the way for a new era of 1-bit Large Language Models (LLMs). In this work, we introduce a 1-bit LLM variant, namely BitNet b1.58, in which every single parameter (or weight) of the LLM is ternary {-1, 0, 1}. It matches the full-precision (i.e., FP16 or BF16) Transformer LLM with the same model size and training tokens in terms of both perplexity and end-t
AIの技術革新と進化の方向性
2000年 野村総合研究所入社。企業向けデジタルコンサルティングおよび、言語処理・人工知能・暗号の研究とソリューション開発に従事。2018年・19年連続で、人工知能学会SWO研究会主催のナレッジグラフ推論チャレンジコンテストで最優秀賞受賞。2021年から23年 CRYPTREC（Cryptography Research and Evaluation Committees）高機能暗号委員。 AI研究におけるブレークスルー 外園： 先生は1990年くらいから言語処理の研究をされています。今、日本のトップを走っていらっしゃる。この30年で相当の進化があったと思うのですが、どのように感じておられますか。 乾： 本当に隔世の感があります。当時は、インターネットもなく、テキストを含むいろいろなものが電子化された世界にはなっていませんでした。その状況で、推論等に基づいて人間が話す意図を理解し、対話がで
［CEDEC 2023］ゲームにおける自然言語処理が解説されたセッションをレポート。世界が変われば言葉も変わる
［CEDEC 2023］ゲームにおける自然言語処理が解説されたセッションをレポート。世界が変われば言葉も変わる 編集部：荒井陽介 CEDEC開催初日の2023年8月23日，スクウェア・エニックスの森 友亮氏による講演「デジタルゲームのための自然言語処理（NLP） - ゲームの『ことば』のあそびかた」が行われた。 ChatGPTに代表される大規模言語モデルは，私たちが日常で使っているような言葉（自然言語）でコンピュータとやりとりすることを可能にしたが，それをゲームで活用すると，どんな機能が実現できるのか，注意するべき点は何なのか，といったことが語られた講演の模様をレポートしよう。 スクウェア・エニックス AI部 AIリサーチャー 森 友亮氏 森氏はまず，ゲームで自然言語が使えるようになったときに実現できそうな機能を提示した。 NPCとの会話では，「ここは●●の村です」といったような決まり切っ
言語処理でよく使う前処理まとめ -tokenize, subword- - 文系と理系の交差点
言語処理を行うときの基本として，現在は文章を単語などの何らかの単位に区切り（トークナイズ (tokenize) して），それらをベクトルに落とし込んでモデルで処理することが多いです． 今回はトークナイズ（単語を区切ること）にフォーカスして，それをでどの様に書くかを簡単にご紹介します．言語は主に python を使用します． 目次 トークナイズ 日本語の場合 英語の場合 サブワード (Subword) BPE (Bite Pair Encoding) SentencePiece 参考 トークナイズ そもそもトークナイズとは，単語をトークンという単位に区切ることを指しますが，この区切り方は様々あります．よく使われるのは単語や形態素です． さらに後ほど説明するサブワード (subword) といって，単語をさらに細かく区切った表現をトークンとして扱うことや，１文字を１トークンとして分割すること（
日本語文書からQ&Aを自動生成してみました #NLP - クリエーションライン株式会社
クリエションラインの朱です。主に機械学習を担当しています。今回は自然言語処理について書きます。 ユースケースは記事のタイトル通りですが、簡単な例を２つあげます。残りは皆さんの想像に任せるとして、手法の紹介をメインにしたいと思います。 社内の大量文書からQ&Aを自動生成したい 社内の一部文章に既にQ&Aが作られているが、新しい文章にもQ&Aを自動生成したい 今回は機械学習のつもりでしたが、機械学習を使いませんでした。「自動生成」に惹かれて機械学習を見に来た方に申し訳ありませんが、最後までお付き合いいただければと思います。 機械学習の自動生成といえば、VAE、GAN等流行りの手法がありますが、今回は機械学習の推論ベース手法を使わず、深層格解析という従来手法を試しました。理由は後ほど話します。 因みに機械学習を使う手法は[3]の論文で紹介されています。 なぜ機械学習の推論ベース手法を使わないのか
ヤフーにおける自然言語処理モデルBERTの利用
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。Yahoo! JAPAN研究所で自然言語処理の研究開発をしている柴田です。 私は自然言語処理の研究と、最新の自然言語処理技術を社内のサービスに適用できるようにする開発の両方を行っています。今日は後者の話をします。 この記事ではBERTというモデルに焦点をあて、BERTの概要と、社内でのBERTの利用、最後に具体例として検索クエリのカテゴリ分類について紹介します。 ※この記事で取り扱っているデータは、プライバシーポリシーの範囲内で取得したデータを個人が特定できない状態に加工しています。 1. BERTとは 2018年にGoogleからBERT (Bidirectional Encoder Representations
【サマーインターン体験記】機械学習エンジニア＠自然言語処理｜エクサウィザーズ HR note
ENGINEER SUMMER 2021 INTERNSHIPの参加者、 佐藤さんがインターン体験記を書いてくださいました！ ＊＊＊ ◆自己紹介こんにちは。明治大学大学院修士1年の佐藤です。 普段は対話システムを中心に、自然言語処理や深層強化学習といった分野の研究をしています。プライベートでは二次元系コンテンツや新日本プロレスを見て生きています。 ◆インターンに参加しようと思ったきっかけ・決め手エクサウィザーズについては魔法のスプレッドシート（※編集注：夏のITエンジニアインターンの情報が集まっているシート）で名前は知っていましたが、具体的に何をしているのか知りませんでした（気象系をやっているイメージがありました（笑）。実際は本当に幅広くやられています）。そんな中、Wantedlyでスカウトをいただき、エクサウィザーズのインターン内容を知り、もともと自然言語処理分野のことに取り組めて技術的
【サマーインターン体験記】機械学習エンジニア＠自然言語処理｜エクサウィザーズ HR note
ENGINEER SUMMER 2021 INTERNSHIPの参加者、 田中さんがインターン体験記を書いてくださいました！ ＊＊＊ ◆自己紹介京都大学の大学院で自然言語処理 (NLP) の研究をしている田中と申します。 大学院では、語学学習支援を目的とした記述式問題の自動採点に取り組んでいます。 ◆インターンに参加しようと思ったきっかけ・決め手AIを用いた多くの企業の中でも、多岐にわたる業界・領域におけるプロダクトを運営するエクサウィザーズで、NLPがどのように活用されているかに関心があったからです。私は普段NLPの研究をしているので、ビジネスの第一線でそれがどう活用されているのか、特にAIを強みとする企業の現場の様子に興味があったので応募しました。 ◆5週間で取り組んだこと画像形式ドキュメントの情報抽出モデルの開発に取り組みました。多くの企業では画像や PDFなどの形式のドキュメントを
ヒトを人間たらしめている「言葉」で、社会課題に挑みたい。幼少期から対話システムに魅了されたMLエンジニアの目指す、“良い行動で溢れる世界”｜エクサウィザーズ HR note
ヒトを人間たらしめている「言葉」で、社会課題に挑みたい。幼少期から対話システムに魅了されたMLエンジニアの目指す、“良い行動で溢れる世界” 「人は、頭の中で『考えて』言葉を話します。そのため、画像や音などの分野に比べ、言葉というのは人間の認知機能が最も現れやすい部分だと思っています。僕はそんな言葉を分析し、対話システムに落とし込みたい」 「エクサウィザーズ」で活躍する“ウィザーズたち”を紹介するストーリー。 今回は、自然言語処理を専門とし、社会課題に挑むメンバーが登場します。 ■プロフィール 大西真輝(おおにし まさき) 東北大学、奈良先端科学技術大学院大学で、自然言語処理を研究。代名詞照応解析や意見分類を専門とし、炎上防止サービスの開発も行う。修士課程修了ののち、ジャストシステムへ入社。AIによるリスティング広告運用支援サービスの立ち上げに携わる。2019年よりエクサウィザーズに参画。人
自動文書要約 - エクサウィザーズ Engineer Blog
こんにちは。エクサウィザーズAIエンジニアの玉城です。 本やインターネットで調べ物をする際、情報量が多すぎてどこを見たら良いのか分からなくなってしまった、という経験はないでしょうか。このように情報量の豊かさが返って人の判断を鈍らせてしまう問題を情報オーバーロードと言います。 インターネットの普及に伴う情報オーバーロードに対して、自動文書要約の技術が注目されています。今回、exaBaseではディープラーニング技術を活用した自動文書要約モデルを公開致しました。こちらにてソースコードと学習済みモデルをダウンロードし、以下のように英文ニュース記事から簡潔な要約文が生成可能なのでぜひ試してみてください。 原文（学習時に使用していないデータ） ： モデルが出力した要約文： spotify believes it has identified the average age of midlife cri
自然言語系AIサービスと著作権侵害｜知的財産・IT・人工知能・ベンチャービジネスの法律相談なら【STORIA法律事務所】
第1 はじめに 自然言語処理技術の発展に伴い、自然言語AIを利用したサービスが大変盛り上がっています。 たとえば、検索、要約、翻訳、チャットボット、文章の自動生成、入力補完などのサービスで、近いところで有名なのは、2020年にOpenAIが発表した「GPT-3」ですかね。これは約45TBにおよぶ大規模なテキストデータを学習し、あたかも人間が書いたような文章を自動で生成することが可能な自然言語モデルです。 【参考リンク】 自然言語処理モデル「GPT-3」の紹介 進化が止まらない自然言語処理技術ですが、事業者が自然言語AIを利用したサービス（＊ここでは、データの処理がクラウド上で自動的に行われるサービスを前提とします）を提供する際に検討しなければならないことは、大きく分けると、学習済みモデルの構築フェーズの問題と、モデルを利用したサービス提供フェーズに関する問題に分かれます。 このうち、モデル
動作するコードがあって素晴らしい - 武蔵野日記
本日は在宅勤務。 午前中から午後にかけてオンラインミーティングで6時間半。金曜日はほとんどこれで終わり。若干喉が痛い気がするのだが、気のせいだろうか……（気のせいではなかったことが、この翌週に分かるのだが）。 「BERTによる自然言語処理入門: Transformers を使った実践プログラミング」を読んだ（正確には、だいぶ前に献本してもらって手元にあったのだが、下に書くように感想にネガティブな部分もあるので、落ち着くまでコメントを書くのを少し控えていた）。 BERTによる自然言語処理入門: Transformersを使った実践プログラミング 作者:近江 崇宏,金田 健太郎,森長 誠,江間見 亜利オーム社Amazon 内容としては旬の内容で、深層学習時代の自然言語処理はこのあたりがベースラインになるのかなぁ、というような感じだし、少なくとも2021年現在ちゃんと日本語テキストを対象として動
TF-IDFを実装してみた - Qiita
最近TF-IDFについてのコードをPythonで書いたので、それについて自分なりにまとめておきます。解釈違いなところなどありましたら指摘してください。 ソースコードはこちら:Github TF-IDFとは wikipediaから引用 https://ja.wikipedia.org/wiki/Tf-idf tf-idfは、文書中に含まれる単語の重要度を評価する手法の1つであり、主に情報検索やトピック分析などの分野で用いられている。 tf-idfは、tf（英: Term Frequency、単語の出現頻度）とidf（英: Inverse Document Frequency、逆文書頻度）の二つの指標に基づいて計算される。 文書の中での単語の重要度を表すものであり、その文書の特徴などを知りたいときに使います。TF値とIDF値を掛け合わせたものがTF-IDF値になります。 TF(Term Fre
はじめての自然言語処理 類似文書検索の手法と精度比較 | オブジェクトの広場
自然言語処理とは、人間が自然に使っている英語や日本語などの言語をコンピュータで処理する技術です。自然言語処理でできることには機械翻訳、要約生成、感情分析などがありますが、今回は比較的シンプルな例として類似文書検索に焦点を当ててみたいと思います。類似文書検索はテーマとしては真新しいものではありませんが、本記事では単語の分散表現を用いる手法や Watson Discovery も含めた各種の類似文書検索手法について、日本語データに対して精度比較試験をした結果を紹介します。複数の手法を同一の日本語データで比較した記事はあまり見ないので面白いのではないでしょうか。 1. 始めに 本記事では類似文書検索の各手法について、単語の分散表現を用いる手法や Watson Discovery も含めて精度比較試験をした結果を紹介します。まず各手法の概要を紹介しますが、ここでは数学的な細かい説明などは省くので概
言語メディア研究室 - LANGUAGE MEDIA PROCESSING LAB
Interspeech 2025 (2025/8) で以下の論文発表を行います。 † Zaid Sheikh, Shuichiro Shimizu, Siddhant Arora, Jiatong Shi, Samuele Cornell, Xinjian Li, Shinji Watanabe: Scalable Spontaneous Speech Dataset (SSSD): Crowdsourcing Data Collection to Promote Dialogue Research. Brian Yan, Injy Hamed, Shuichiro Shimizu, Vasista Lodagala, William Chen, Olga Iakovenko, Bashar Talafha, Amir Hussein, Alexander Polok, Kalvin Ch
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - deepset-ai/haystack: :mag: AI orchestration framework to build customizable, production-ready LLM applications. Connect components (models, vector DBs, file converters) to pipelines or agents that can interact with your data. With advanced retrie
GitHub - ku-nlp/kwja: An integrated Japanese analyzer based on foundation models
https://www.jstage.jst.go.jp/article/jnlp1994/12/2/12_2_109/_pdf
Release 0.6.0-rc1 · WorksApplications/sudachi.rs