さぴか@カザフ @giant_newzombie ロシア製ってアピールされてるボールペンを怖いもの見たさで買ってみたんだけど、漢字とか日本語書く時はカスみたいな書き心地なのにロシア語の筆記体書くとめちゃくちゃ滑らかになって笑った 日本語筆記用のインクとかペン先と、キリル文字とかアルファベット用のそれは違うんだなあ pic.x.com/by3vtjpd75
ロシア製のペンを買ったら、日本語はめちゃくちゃ書きにくかったけど筆記体はスラスラ書けた→メーカーによって書きやすい言語が違う？
さぴか@カザフ @giant_newzombie ロシア製ってアピールされてるボールペンを怖いもの見たさで買ってみたんだけど、漢字とか日本語書く時はカスみたいな書き心地なのにロシア語の筆記体書くとめちゃくちゃ滑らかになって笑った 日本語筆記用のインクとかペン先と、キリル文字とかアルファベット用のそれは違うんだなあ pic.x.com/by3vtjpd75
CodeZine編集部では、現場で活躍するデベロッパーをスターにするためのカンファレンス「Developers Summit」や、エンジニアの生きざまをブーストするためのイベント「Developers Boost」など、さまざまなカンファレンスを企画・運営しています。
大規模言語モデルを自作しよう！(Transformers+DeepSpeed+torch.compile+flash_attn2）
本記事は、LLM Advent Calendar 2023 13日目の記事です。 はじめに 🤗 Transformersは、自然言語処理、マルチモーダル、音声処理、コンピュータビジョン分野の事前学習済モデルを簡単にダウンロードしトレーニングすることが可能なpythonライブラリです。このライブラリを使用し、大規模言語モデル（LLM）の事前学習済モデルをローカルPC上にダウンロードし、それを使用した言語生成や、要約・翻訳・質問応答などの個別のタスクへのファインチューニング、チャットAIへの組み込みなどが盛んに行われています。 LLMの事前学習方法に関する情報としては、GPT-NeoXやMegatron-LM、TinyLlama、lit-llamaなど、他のpythonライブラリを使用したものが増えてきています。一方で、Transformersライブラリを使用したLLMの事前学習に関する情報
こちらで宣伝していませんでした。 ゲームを対象にした言語研究に関する研究会を企画しました。 これまでこのブログでときどきネタにしてきた感じではなく、本格的に言語学の研究として考えるとどうなるかというチャレンジです。 ただ、一応研究会という形にはしてみましたが実際には私が今考えていることの整理です。第2回があるかも未定です。 そんなものでもよろしければ気軽にご参加ください。 ゲームと言語研究会（第1回） 日時：2024年3月27日（水）15:00- 形態：オンライン（Zoomミーティング） 申込みフォーム（当日まで参加受け付けます）：https://forms.gle/irLF2uEuqj4W4HzQ6 発表：田川拓海（筑波大学）「ゲームと言語の研究を考える」 要旨：ゲーム、特にデジタルゲームを対象にした言語研究の可能性について、既存の研究との関わり、研究手法、研究トピックなどの観点から検討
NLP2024ワークショップ「生成AI時代の自然言語処理における産学官の役割と課題」での招待講演資料です。
NTTは3月25日、独自の大規模言語モデル（LLM）「tsuzumi」の商用提供を始めた。さまざまな業種・業界の企業に提供し、2027年度までに1000億円の売り上げ創出を目指す。同日に開催した記者発表会には、その名の由来である楽器“鼓”の奏者も駆け付け、祝言の演奏を披露した。 tsuzumiはNTTが独自開発したLLMで、まずは70億パラメータのモデルの商用提供を始める。日本語LLMの性能を図るベンチマーク「Rakuda」において、tsuzumiは「GPT-3.5」を上回る性能を持つという。他にも、企業・業界特化へのカスタマイズを低コストで行える点や、図表読解などが可能なマルチモーダル性を持つことも特徴だ。
IBMが自社製AI「Granite」のコード生成モデルをオープンソース化、116のプログラミング言語でトレーニングされパラメータは30～340億
ソフトウェアは現代社会のありとあらゆる側面に取り込まれており、飛躍的な生産性の向上や科学技術の発展に貢献してきました。しかし、信頼性の高いソフトウェアの作成・デバッグ・展開といった作業は骨が折れるものであり、熟練した開発者でも最新の技術や言語に追いつくのは大変です。そこでアメリカの大手IT企業であるIBMは、プログラミングコードの生成・修正・別言語への翻訳などのタスクを実行するGraniteコード生成モデルのファミリーをオープンソースで公開しました。 IBM’s Granite code model family is going open source - IBM Research https://research.ibm.com/blog/granite-code-models-open-source GitHub - ibm-granite/granite-code-models:
青崎有吾 @AosakiYugo コロナの喉の痛みの話題が流れてきたので、私が罹患中、お医者さんに「痛さ」を説明するために書き溜めていたメモを貼ります。 pic.twitter.com/9upLoRp9Ta
「Llama 2-7B」の1万分の1以下の学習コストなのにLlama 2-7Bを上回る大規模言語モデル「JetMoE-8B」が登場
数千億円をかけた訓練リソースを用いるMetaの「Llama 2-7B」を上回る性能を持ちながら、学習コストは1000万円以下に抑えられるという大規模言語モデル「JetMoE-8B」が登場しました。 JetMoE https://research.myshell.ai/jetmoe GitHub - myshell-ai/JetMoE: Reaching LLaMA2 Performance with 0.1M Dollars https://github.com/myshell-ai/JetMoE jetmoe/jetmoe-8b · Hugging Face https://huggingface.co/jetmoe/jetmoe-8b AI開発企業・MyShellがリリースしたJetMoE-8Bは、学習コストが既存のモデルに比べて格段に低いため、民生グレードのGPUなどでもモデルの微調
言語差別を議論しよう わたしは日本の識字問題について研究している。識字問題を個々人への教育で解決するのではなく、社会環境をバリアフリーにしていくことで解決したいと考えている。そのような理念をわたしは「ことばのバリアフリー」や「言語権」という用語をつかって議論している。 社会言語学という研究分野では言語権の議論が活発である。そしてその理念はある程度社会的にも共有されているように感じられる。日本語が（あまり）わからないひとに多言語情報を提供すること、言語継承を支援することが重要だと認識されつつある。しかし一方で、言語権の侵害をうみだす「言語差別」を問題化する議論は主流になっていない。つまり、言語権の理念は多くの場合、多言語支援や母語教育支援のように「マイノリティ支援」という位置づけで理解されている。言語の不平等、規範主義、書きことばのハードルなど、支配的な価値観をゆさぶること、多数派の特権を問
富山大名誉教授で、北海道立北方民族博物館（網走市）館長の呉人（くれびと）恵さんが９日、富山市立図書館で開かれた放送大学冬のオープンセミナーで講演し、世界中の言語データを基に「日本語は決して特殊な言語ではない」と訴えた。 日本語は主語を明示しなくても通じることが多く、述語が文末にくることなどもあって、英語など他の主要な言語と比べて「特殊」と指摘されることがある。呉人さんは世界中の研究者でつくるデータベース「世界言語構造地図（ＷＡＬＳ）」を引用し、文章に主語がない言語はモンゴル語など他にもあり、述語が文末にくる「主語（Ｓ）＋目的語（Ｏ）＋動詞（Ｖ）」を語順とする言語の方が世界的に見れば多数である点などを説明して、日本語の特殊性を否定した。
東京大学先端科学技術研究センター准教授で、世界初となる“動物言語学者”の鈴木俊貴氏（40）が、ナレッジキャピタル主催の「第10回 World OMOSIROI Award」を受賞したことが1月19日に発表された。 「World OMOSIROI Award」とは、2015年から始まった「OMOSIROI」をテーマとした国際的な賞で、国内外の有識者が推薦した100名以上の候補者から最終的に5名の受賞者が毎年選ばれる。これまでに日本人では筑波大学准教授でメディアアーティストの落合陽一氏（36）やイェール大学助教授の成田悠輔氏（39）、慶應義塾大学特任准教授の若新雄純氏などが、外国人では台湾のオードリー・タン氏（42）などが受賞している。 鈴木氏といえば“鳥の言葉がわかる”ことで有名だ。野鳥の一種、シジュウカラが鳴き声を単語として使ったり、それを組み合わせて文章まで作って会話していることを発見。
乳児の言語習得は音素ではなく音の高低やテンポである「リズム」を通して行われるため、乳児が言語を学ぶのには歌を歌うことが大切という研究結果をケンブリッジ大学の研究チームが発表しました。 Emergence of the cortical encoding of phonetic features in the first year of life | Nature Communications https://www.nature.com/articles/s41467-023-43490-x Singing to babies is vital to help them learn language, say scientists | Language | The Guardian https://www.theguardian.com/science/2023/dec/01/singin
NTTは、独自の大規模言語モデル「tsuzumi」を開発したと発表した。2024年3月に商用サービスとして提供を始める。 NTTは11月1日、独自の大規模言語モデル（LLM）「tsuzumi」を開発したと発表した。tsuzumiの特徴は「軽量でありながら世界トップレベルの日本語処理性能を持つこと」と同社は説明。2024年3月に商用サービスとして提供を始める。 tsuzumiでは、パラメータ数6億（超軽量版）と70億（軽量版）の2種類を用意。同社は「軽量版は1GPUで、超軽量版はCPUで高速に推論動作可能であり、チューニングや推論に必要なコストを抑えられる」と解説する。 NTTが試算したところ、GPUクラウドの利用料金への換算値では、学習コストは超軽量版で約300分の1、軽量版では25分の1に。推論コストは、超軽量版で約70分の1、軽量版で20分の1に軽減できたという。
旺盛なDX（デジタルトランスフォーメーション）需要を受け、国内で深刻なITエンジニア不足が続いている。大手SIerは様々な対策を打ち始めた。 有力な手の1つが中途採用だ。大手SIerはいずれも中途採用を拡大して不足を補おうとしており、転職市場は活況を呈している。パーソルキャリアの転職サービス「doda」では、1人の転職者に対して平均で10件の求人があるという。「他の業界と比べてもITエンジニアの転職求人倍率は突出している」と加々美祐介doda編集長は言う。 転職市場の過熱ぶりに隠れているが、パーソルキャリアによれば、副業やフリーランスの仲介市場も相談件数が増えている。企業は「基幹システム刷新」「オンプレミスからのクラウド移行」「ECサイト構築」「プロダクト開発のディレクション」といった課題を解決できる人材を求めているという。 フリーランスを求める企業はSIerに限らず、コンサルティング企業
国産の大規模言語モデル開発のオルツ、デジタルクローンが自律的に仕事や作業をこなしていく「Polloq」(ポロック)を発表 - ロボスタ ロボスタ - ロボット情報WEBマガジン
4つの新サービス 発表したのは、同社が開発した大規模言語モデル(LLM)「LHTM-2」(ラートム・ツー)を活用した自動オペレーションシステム「alt Polloq」（オルツ ポロック）、人材マッチングシステム「CloneHR」、企業マッチングシステム(M&A)「Clone M&A」、使われていないGPU計算リソースを提供する「EMETH GPU POOL」(エメス)の4つ。 今回は自律的にどんどんと仕事を進めていく「alt Polloq」について解説しよう。
日本語LLMチューニングデータ最前線 - W&B ミートアップ #12 in 東京 での発表資料になります。 https://wandb.connpass.com/event/313036/ 動画 https://t.co/rHnLkJeE4N
オープンソースのLLM（大規模言語モデル）がこれまでにないほど大きな注目を集めている。OpenAIのGPTモデルなどクローズドな大規模言語モデルが圧倒的なシェアを有する状況だが、それらに匹敵するオープンソースのLLMの開発が進んでいる。メタの「Llama 2（ラマツー）」を筆頭に、日本でもそれをベースにした日本語LLM「ELYZA-japanese-Llama-2-13b」が公開された。直近ではメタに対抗して、Databricksも「DBRX」をリリース。オープンソースLLMとは何か、クローズドモデルに比べてどのような利点があるのか。オープンソースLLMが注目される理由を探ってみたい。 オープンソースのLLMが注目される理由 2023年はChatGPTを筆頭にコンシューマー向けの生成アプリケーションが広く普及した年となった。 一方、企業における生成AI利用は大きく2つのアプローチにより進展
メタのAI部門トップ、大規模言語モデルが「人間レベルの知恵」を持つことはないと発言 | Forbes JAPAN 公式サイト（フォーブス ジャパン）
メタのAI部門のトップを務めるヤン・ルカンは、5月22日に公開されたフィナンシャル・タイムズ（FT）によるインタビューの中で、OpenAIのChatGPTやグーグルのGemini（ジェミニ）などのAIは、将来的に「人間レベルの知能には到達できない」と語った。 彼のこの発言は、4月末の決算発表でAI投資の拡大を宣言して投資家の不安を煽り、2000億ドル（約31兆円）もの時価総額を消失させたメタの今後の計画についての洞察を与えるものだ。 ChatGPTやジェミニ、メタのLlama（ラマ）のような人気の生成AIツールの基盤となる大規模言語モデル（LLM）は、「人間のレベルのプランニングや推論に到達することはできない」とルカンはFTに語った。 このようなAIモデルは、膨大な量のデータを使って訓練されるが、正確な答えを導く能力は、「訓練されたデータの性質によって制限される」とルカンは言う。これは、こ
NVIDIAとMistral AIがAIモデル「Mistral NeMo」を発表、新型トークナイザ「Tekken」を採用し日本語を含む多言語性能が強み
AI開発企業のMistral AIがNVIDIAと協力してAIモデル「Mistral NeMo」を開発したことを発表しました。Mistral NeMoは各種ベンチマークでGemma 2 9BやLlama 3 8Bを上回る性能を示しており、NVIDIAのAIプラットフォームで利用できるほか、モデルデータがオープンソースで公開されています。 Mistral NeMo | Mistral AI | Frontier AI in your hands https://mistral.ai/news/mistral-nemo/ Mistral AI and NVIDIA Unveil Mistral NeMo 12B, a Cutting-Edge Enterprise AI Model | NVIDIA Blog https://blogs.nvidia.com/blog/mistral-nvid
コードのペースト先をAIが自動判別、別プログラミング言語への変換や、変数名、関数名を自動変換してくれる「Smart Paste」機能、Codeiumが提供開始
コードのペースト先をAIが自動判別、別プログラミング言語への変換や、変数名、関数名を自動変換してくれる「Smart Paste」機能、Codeiumが提供開始 生成AIによるプログラミング支援ツール「Codeium」を提供しているCodeiumは、コードをコピー＆ペーストする際にAIが自動的にエディタ上のプログラミング言語を判別し、コードをペースト先のプログラミング言語に変換する機能などを備えた新機能「Codeium Smart Paste」（以下、Smart Paste）の提供開始を発表しました。 Found the perfect answer on the internet? But the sample code is in Python, and your project is not? Time for some manual work to translate the ans
(JSConf JP 2023) LLM (大規模言語モデル) 全盛時代の開発プラクティス
このPDFは「LLM全盛時代の開発プラクティス」というタイトルの資料で、baseballyama氏によって作成されました。内容は主に大規模言語モデル（LLM）を活用した開発プラクティスに関するものです。 主な内容は以下の通りです： 1. **GitHub Copilotについて**: - Copilotの利用が増え、コード提案を受け入れてから精査する流れが一般的になった。 - インターネット接続がないと利用できないことが難点。 - Copilotは開いているファイルを参考にしてコードを提案し、統一されていないコードは提案の精度を低下させる。 2. **AIツールによる効率化**: - AIレビューツールとFigma to Codeツールについて議論。 - AIレビューツールは一般的なアドバイスに留まり、具体的な自社ルールに基づいたレビューが求められる。 - Figma to Codeでは、
プログラミング言語AWK 第2版
「AWK」という名前は開発者の頭文字Aho、Weinberger、Kernighanから来たもので、長い歴史を持つ、テキスト処理用のスクリプト言語です。Unix・Linuxにはデフォルトでインストールされており、多くの人に利用され、愛され続けています。改訂に伴い、計算/集計、データ分析といった話題の追加、CSV入力、Unicode対応など、時代に即したアップデートが行われています。 『プログラミング言語AWK』第2版 日本語版まえがき まえがき 1章 Awkチュートリアル 1.1 さあ始めよう 1.2 簡単な表示 1.3 書式付き表示 1.4 選択 1.5 計算 1.6 制御フロー文 1.7 配列 1.8 便利な一行プログラム 1.9 さて次は？ 2章 Awkの実践例 2.1 個人用ツール 2.2 選択 2.3 変換 2.4 データ要約 2.5 個人用データベース 2.6 個人用ライブラリ
グーグル・ディープマインドは、大規模言語モデル（LLM）で純粋数学の有名な未解決問題を解くことに成功したと発表した。LLMが、訓練データに含まれない未知の解を導き出すことに成功した例になる。 by Will Douglas Heaven2023.12.19 16 17 グーグル・ディープマインド（Google DeepMind）が大規模言語モデルを使用し、純粋数学の有名な未解決問題を解いた。研究チームは、2023年12月14日付でネイチャー誌に掲載された論文の中で、「長年の科学的パズルの解を発見するために大規模言語モデルが使用されたのは初めてのことであり、以前は存在しなかった検証可能な価値ある新情報を生み出すことができました」と述べている。「得られた解は訓練データには含まれておらず、これまで知られてもいませんでした」と、論文の共著者であるグーグル・ディープマインドの研究担当副社長、プッシュ
ITmedia NEWSにおける1週間の記事アクセス数を集計し、上位10記事を紹介する「ITmedia NEWS Weekly Top10」。今回は5月11～17日までの7日間について集計し、まとめた。 先週のアクセス1位は、複数のLINEスタンプを組み合わせて送れる「スタンプアレンジ機能」というLINEの新機能の紹介記事だった。 記事を書いたのは筆者なのだが、使い道が分からなすぎた。記事がアクセス1位になるとは心からびっくりだ。筆者がもっと若ければ、ワクワクしながらいろいろな組み合わせを試したのだろうか。自分自身から遊び心が失われている……とショックを受けたランキング結果だった。 AppleのCM動画騒動は「日本から英語で」始まった 9位は、先々週に公表された、iPad ProのCM動画が炎上した件についての解説コラムだった。iPad Proの広い用途をアピールするため、楽器やカメラなど
130億パラメータの大規模言語モデル「LLM-jp-13B」を構築～NII主宰LLM勉強会（LLM-jp）の初期の成果をアカデミアや産業界の研究開発に資するために公開～ - 国立情報学研究所 / National Institute of Informatics
2023/10/20 130億パラメータの大規模言語モデル「LLM-jp-13B」を構築 ～NII主宰LLM勉強会（LLM-jp）の初期の成果をアカデミアや産業界の研究開発に資するために公開～ 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所（NIIエヌアイアイ、所長：黒橋 禎夫、東京都千代田区）は、本年5月から、自然言語処理及び計算機システムの研究者を中心として、大学・企業等から500名以上が参加するLLM勉強会（LLM-jp）を主宰しています。7月から、計算資源としてデータ活用社会創成プラットフォームmdx*1を活用し、パラメータ数*2130億の大規模言語モデル（LLM）の構築を開始しました。このたび、同LLMの事前学習及びチューニングが終了し、モデルを公開しましたので、お知らせします。 同モデルはLLM研究開発としては初期段階のものであり、モデルの性能を示す評価値はこれ
Mistral AIが初のコーディング用生成AIモデル「Codestral」をリリース、80以上のプログラミング言語でトレーニング済み
MetaとGoogle DeepMindの元従業員が立ち上げたAI開発企業のMistral AIが、同社初のコーディング用AIモデル「Codestral」を発表しました。Codestralはコーディングタスク専用に設計された生成AIモデルで、ソフトウェア開発者が高度なAIアプリケーションを設計するのに役立ちます。 Codestral: Hello, World! | Mistral AI | Frontier AI in your hands https://mistral.ai/news/codestral/ Mistral releases Codestral, its first generative AI model for code | TechCrunch https://techcrunch.com/2024/05/29/mistral-releases-its-first-
[CV勉強会＠関東 CVPR2024] Visual Layout Composer: Image-Vector Dual Diffusion Model for Design Layout Generation / kantocv 61th CVPR 2024
![SSII2024 [OS2] 大規模言語モデルとVision & Languageのこれから](https://cdn-ak-scissors.b.st-hatena.com/image/square/b99dfd999543ee41fded2e0182b98a0132d56871/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F25fe2db5f9b2440c84a13090c42bacb6%2Fslide_0.jpg%3F30574730)
「世界トップレベルの大規模言語モデルの開発に着手」──産総研らが表明 目指すのは“GPT-3級の日本語LLM”
産業技術総合研究所は10月17日、世界トップレベルの大規模言語モデル（LLM）の開発を始めると発表した。産総研の他にも東京工業大学や、国立情報学研究所が主宰するLLM研究開発チーム「LLM-jp」（東北大学や東京大学、早稲田大学などが参加）も加わる。 LLM-jpが従来の国産LLMの10倍の規模を持つとされるパラメータ数1750億のLLMの構築に着手。産総研は、LLM構築に必要な計算資源として「AI橋渡しクラウド」（ABCI）を提供する。また、3機関で協力して開発に必要な言語データの作成も行う。 産総研は「この取り組みによって、日本で初めてのオープンに利用できるGPT-3級の日本語LLMの構築を目指す」と説明。「これによって、構築の過程が明らかで透明性の高いLLMを用いた、マルチモーダル（画像や言語など複数の入力ソースを扱えること）なデータを処理するAI技術の開発や、生成AIのロボット応用
サイバーエージェントは6月13日、75億パラメータの日本語大規模視覚言語モデル（Vision Language Model、VLM）を一般公開した。Hugging Faceで商用利用可能なAIモデルや、研究用途でのみ使えるデモを公開中だ。 VLMとは、画像とテキストを複合して扱えるマルチモーダルなAIモデル。画像とテキストを理解できることで「この写真に写っているものは何ですか？」のような質問にも対応できる。米OpenAIの「GPT-4o」などが代表的なモデルで、近年では画像を扱えるAIモデルの進化が急速に進んでいる。 一方で「VLMのほとんどは英語のデータを中心に学習しており、日本文化の理解や日本語での会話に強いVLMは少ない状況」とサイバーエージェントは説明する。このような背景から同社は日本語に強いVLMを公開。日本語大規模言語モデルで合成して作ったデータセットをメインに学習させたという
『清潔感ってなんなのかは『スナックバス江』が言語化している話…「スナックバス江は人生の教科書」の反応続々』へのコメント
ブックマークしました ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください Twitterで共有
Metaのスマートグラス「Ray-Ban Meta」が質問に答えたり言語を翻訳したりできるAIアシスタント「Meta AI」への早期アクセスを開始
Metaが2023年10月に発売したスマートグラス「Ray-Ban Meta」で、服を識別してファッションの質問に答えたり、文章を翻訳したりしてくれる会話アシスタント「Meta AI」への早期アクセスプログラムが開始されました。Metaのマーク・ザッカーバーグCEOのInstagramアカウントでは、実際にRay-Ban Metaに搭載されたMeta AIに質問した動画も公開されています。 Look and ask with Meta AI on Ray-Ban Meta smart glasses | Meta Store https://www.meta.com/ja-jp/help/smart-glasses/articles/voice-controls/look-and-ask-ray-ban-meta-smart-glasses/ Meta’s AI for Ray-Ban s
2023年11月のイベント「Microsoft Ignite 2023」で発表された言語モデルの「Phi-2」がリリースされました。パラメーター数は27億で小規模なモデルとなっているものの、最大で25倍のモデルと同等の性能を発揮できます。 Phi-2: The surprising power of small language models - Microsoft Research https://www.microsoft.com/en-us/research/blog/phi-2-the-surprising-power-of-small-language-models/ Today, we share our teams’ latest contributions, Phi-2 and promptbase. Phi-2 outperforms other existing sma
機械学習やAIに関するコミュニティを展開しているHugging Faceで、突然謎の大規模言語モデル(LLM)のファイルが公開されました。プロンプトの特徴から、AI企業・MistralのLLMではないかとうわさされていましたが、実際にMistralのCEOであるアーサー・メンシュ氏が、当該ファイルはMistralのものであると認めました。 An over-enthusiastic employee of one of our early access customers leaked a quantised (and watermarked) version of an old model we trained and distributed quite openly. To quickly start working with a few selected customers, we r
Llama3，Phi-3などの対話型人工知能（大規模言語モデル）をパソコンで動かす - Qiita
かつては大規模言語モデルは，メモリを大量に消費し，大量のGPUが必要なため個人レベルで動かすものではありませんでした．しかし，2024年にLlama3 7BやMixtral 8x7b, Phi-3 smallなどChatGPT-3.5レベルの能力を持ち軽量で無料の大規模言語モデルが登場してきました．それだけではなく，これらの大規模言語モデルをコマンド一つでインストールするが出来るようにもなりました．2024年から，大規模言語モデル（対話型人工知能）を自宅で気軽に動かせる時代になったと言えます． この記事に対話型人工知能をパソコンにインストールする方法とその結果を書きます． 環境 前提としている環境 私は人工知能の研究をしているため，すでにLinux(Debian 12)上でPython3とCUDAが動く環境を整えています．以下の記事はLinuxの使用を前提にしています． パソコンのスペック
ヒンディー語などローカル言語でGPT‐4を上回る大規模言語モデル開発へ、活発化するインドでの生成AI開発の取り組み | AMP[アンプ] - ビジネスインスピレーションメディア
活発化する各国における生成AI開発 ChatGPTのベースとなっているGPT‐3.5やGPT-4などの大規模言語モデルのほとんどは、英語中心のデータによってトレーニングされており、英語以外の言語を苦手とする場合が多い。 GPT‐3.5やGPT-4は比較的英語以外の言語に強い方だが、他のモデルに至っては、日本語などの非英語によるプロンプト（指示）を理解しないケースも多く、英語とそれ以外の言語におけるギャップを取り除くのが今後の大きな課題となっている。 たとえば、オープンソースの中で最も強力なモデルといわれるメタのLlama2のトレーニングデータの言語別内訳を見ると、英語が89.7％で最多、これに「その他」が8.38％と続き、他の言語データはすべて1％に満たない状況だ。他言語のうち最も比率が高いドイツ語でも0.17％にとどまり、日本語は0.1％のみ。日本語に対応させるには、Llama2に追加の
![ヒンディー語などローカル言語でGPT‐4を上回る大規模言語モデル開発へ、活発化するインドでの生成AI開発の取り組み | AMP[アンプ] - ビジネスインスピレーションメディア](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9eb36e36f30a53fef68cb208e921a96993cd13a/height=288;version=1;width=512/https%3A%2F%2Fampmedia.jp%2Fwp-content%2Fuploads%2F2024%2F02%2Fshutterstock_2291316119-1.jpg)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Modern C++のモダンな言語仕様はもっとある！ C++ 14から最新版までまとめて紹介
「ゲームと言語研究会」というのをやってみます - 誰がログ
言語間転移学習で大規模言語モデルを賢くする
NTT、大規模言語モデル「tsuzumi」を提供開始 “鼓”奏者も演奏で祝福 LLM開発競争をどう戦う？
NTT、少ないデータから特定個人の声や口調を再現する技術を開発。大規模言語モデル「tsuzumi」に搭載
作家さんが新型コロナに罹患して書いた『独特な喉の痛みの言語化』さすがの表現力で怖いけど面白い「ザリガニの内側と外側…？」
言語差別について | ヒューライツ大阪(一般財団法人アジア・太平洋人権情報センター)
「日本語は特殊な言語ではない」 富山市立図書館 富大名誉教授・呉人さん講演：北陸中日新聞Web
鳥の言葉を証明した世界初の“動物言語学者”が国際的賞を受賞 プロフィール写真に集まっていた“まさかの注目” | 女性自身
乳児に歌を歌うことは言語を学ぶのに不可欠、乳児は最初に個々の音ではなくリズムを通じて言語を理解する
NTT、大規模言語モデル「tsuzumi」開発 24年3月に商用サービス提供へ
転職者とフリーランスで大違い、稼げるプログラミング言語のトップ10
オンラインソフト作家が子どものために作ったプログラミング言語「PG0」がWebアプリに／モダンブラウザーさえあればどこでも気軽に楽しめる
大規模言語モデル開発のための日本語 Instruction データセット作成の取り組み
オープンソース大規模言語モデルまとめ、メタのLlama 2が「超重要になる」ワケ
プログラミング言語の人気指標、一時の混戦状態からPythonが2位に大差をつけ独走態勢へ【やじうまWatch】
ディープマインド、大規模言語モデルで数学の未解決問題を解く
言語の壁をぶっ壊すAI AppleのCM動画批判は「日本から英語で」始まった
SSII2024 [OS2] 大規模言語モデルとVision & Languageのこれから
サイバーエージェント、日本語に強い“視覚言語モデル”公開 パラメータ75億、商用利用もOK
Microsoftが小規模言語モデル「Phi-2」をリリース、小規模なのに最大25倍サイズのモデルと同等以上の性能
ネット上に流出した大規模言語モデルは自社製のものだとAI企業・MistralのCEOが確認
対話型AI開発用Pythonライブラリ「LangChain」の入門書が発売 プロンプトエンジニアリングにも最適／『LangChain完全入門 生成AIアプリケーション開発がはかどる大規模言語モデルの操り方』【Book Watch/ニュース】
