講義資料は特設ページからダウンロード可能で、全7講義分のパワーポイントを無料で取得できる。内容はLLMの概要から、日本でのLLMの開発状況、Transformerと事前学習の仕組み、ファインチューニングなど。 関連記事 東大松尾研、大規模言語モデルの研究者＆開発エンジニアを募集 「LLM研究をさらに加速させる」 東京大学松尾研究室は、大規模言語モデル（LLM）の研究者や開発エンジニアを募集するとX（旧Twitter）で発表した。2024年、LLMの研究をさらに加速させるためチームを拡大するという。 ChatGPTでの業務効率化を“断念”──正答率94％でも「ごみ出し案内」をAIに託せなかったワケ 三豊市と松尾研の半年間 「ごみ出し案内」業務にはChatGPTを“活用しない”と決断──生成AIを使った業務効率化を検証してきた、香川県三豊市がそんな発表をした。実証実験には松尾研も協力したが、思
ソシャゲ、掛け持ちするとだいたいこうなる→「マジでやるゲーム絞ったほうがいい」「ご利用は計画的に」体験談も語られる - Togetter ソシャゲを掛け持ちする辛さを「時間も体力も足りなくてキツい」としか表現できないとは…… そしてそんな画像に「分かるわ～～」の声が集まるのが今のオタク。 実にショッキングな光景だな。 俺が若い頃の２ｃｈではこんな書き込みじゃ全く相手にされなかったぞ。 ソシャゲを掛け持ちする辛さの本質は「自分の意思でゲームを楽しむために時間を使っていたはずなのに、言われるままにイベントを消費するだけの作業になることの辛さ」だろうが。 ・忙しさのせいでゲームが段々とノルマになっていく ・大量のコンテンツが降ってきた時に嬉しい悲鳴ではなく本物の悲鳴が出てくる ・ゲーム同士の時間の取り合いに巻き込まれて各ゲームへの没頭度が下がる ・イベントをプレイ中に「はよ終われはよ終われ」と唱
漫画家さんがコミカライズのネーム制作の辛さを言語化→同業者からの共感が続々と集まる「一番しんどいけど一番やりがいがある」
もとむらえり🌗 @EriMotomura これはあくまで私自身のことですが。 コミカライズネームのツラさを言語化してみます。笑 ※画力は考えないものとします 原作の本文に忠実なコミカライズ⇒平均70点。 地の分が漫画化しにくい場合はそのままだと50～60点です。それだったら原作読んだ方が面白かったりします。ならばどうするか。 ⇒ 2023-11-28 10:39:22 もとむらえり🌗 @EriMotomura ここから削って…いや、ぶち壊して再構築してやっと70点。殻を破らねばそれ以上に行けません。戦いです 物語世界に没入して、でも客観的に「ひとりよがり、分からん」となったらボツ。己の中の編集がボツを出しまくる。ツライ… ちなみにオリジナルだと、この最後の段階のみになります。結局ツラい 2023-11-28 10:39:23 もとむらえり🌗 @EriMotomura そうやって日々頭
ファンタジー・SF映画向けに「架空言語」創作 米国人夫婦
北アイルランド・バンブリッジで行われた「ゲーム・オブ・スローンズ」のスタジオツアー（2022年2月2日撮影）。(c)Paul Faith / AFP 【8月12日 AFP】テレビシリーズ「ゲーム・オブ・スローンズ（Game of Thrones）」のドスラク語やヴァリリア語、映画『デューン（Dune）』のチャコブサ（Chakobsa）砂漠の民が話す言葉。こうした架空の言語は、米国人のデービッド・ピーターソン（David Peterson）氏とジェシー・ピーターソン（Jessie Peterson）氏夫妻が考案したものだ。映画やテレビドラマのキャラクターのために語彙（ごい）や文法をつくり出すことを職業にしているのは、世界中でこの2人しかいないとみられている。 「あなたは私の最後の希望、わが血族の血」 「ゲーム・オブ・スローンズ」でドスラク語のせりふが語られると、視聴者はファンタジーの世界に一
はじめに はじめまして。リツといいます。どうぞよろしくお願いします。今回が初めてのnote投稿になるので、読みづらい部分があると思いますが、最後まで読んでいただけると幸いです。 ◇はじめに②(追記2024/3/24) この記事が私が想像していた以上に拡散されています。自分の考えを多くの人に伝えることが出来て嬉しい限りです。しかし、拡散されていくと同時に、私の語彙力のなさも相まって想定外の解釈が生まれているのも現在発見しています。記事のまとめになりますが、私がこの記事で伝えたいのは、 1、人間の感情・直感を大切にしよう 2、道具の便利な部分だけではなく影の部分にも目を向けよう 3、互いの考えを反映させるために、パブコメ以上にしっかりとした話し合いの場を作ろう この３つを念頭に置いて読んでいただければあまり解釈違いは起こさないと思います。 また、多くの誤字脱字、伝わりにくい表現等の指摘をいただ
TOPコラム海外最新IT事情AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】 AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】 2024年1月23日 米Metaと米ニューヨーク大学に所属する研究者らが発表した論文「Self-Rewarding Language Models」は、大規模言語モデル（LLM）が自分自身に報酬を与えることで繰り返し学習する「自己報酬型言語モデル」を提案した研究報告である。このモデルは、自身が生成した問題に対する応答に報酬を割り当て、その結果をトレーニングデータとして使用。自己を反復して訓練することで、精度を向上させられる。 keyboard_arrow_down 研究背景 keyboard_arrow_down 研究内容
awkは、UNIX登場初期からgrepやsedなどと並んで代表的なコマンドラインツールとして使われてきました。その名称が、作者であるAho氏、Weinberger氏、Kernighan氏の三者の名前からとったものであるというエピソードも非常に有名です。 そしてこの三人の作者が執筆した書籍「The AWK Programming Language」（邦題：プログラミング言語AWK）は、awkのバイブルと言ってよい書籍でしょう。 日本で1989年に第1版が発行されたこの「プログラミング言語AWK」が、35年ぶりに第2版に改訂され、今年（2024年）5月16日にオライリー・ジャパンから発売されることが分かりました（Amazon、楽天ブックス）。 著者は第1版と変わらず、Alfred V. Aho氏、Brian W. Kernighan氏、Peter J. Weinberger氏です。 下記はAm
2023年11月8日 プロを目指す人のためのTypeScript入門 - Forkwell Library #35
プログラミング言語で書かれた謎の広告→「分かる人」が見ると……？ 粋なアイデアが「おしゃれ」と話題 東急に制作背景を聞いた
東急グループのデジタル技術による街づくりプロジェクト、「URBAN HACKS」の電車内広告が「面白い！」「おしゃれな広告」と話題です。CSSの記述に見える文字列をよく見てみると……？ 「分かる人には分かる」広告が話題 話題になっているのは、Webページの装飾を設定するためのプログラミング言語「CSS」風の文字列が黒い背景に並んでいる電車内広告。「エンジニア デザイナー募集」の記載もあるため求人広告とは分かりますが、コード部分の意味は一見しただけでは分かりません。 CSS部分をよく見ると…… しかしよくよくコードを読んでみると、「skill: 100%;」「org-style: flat;」「work-space: unset;」など、実は職場環境を紹介する文になっているのです！ 「フラットな社風で働く場所は自由、スキルを100%生かせる仕事です」といった感じかな……？ 別バージョンでは「
日本語特化の言語モデル「Japanese Stable LM 2 1.6B」をリリースしました — Stability AI Japan
ポイント Japanese Stable LM 2 1.6B（JSLM2 1.6B）は16億パラメータで学習した日本語の小型言語モデルです。 JSLM2 1.6Bのモデルサイズを16億パラメータという少量にすることによって、利用するために必要なハードウェアを小規模に抑えることが可能であり、より多くの開発者が生成AIのエコシステムに参加できるようにします。 ベースモデルとしてJapanese Stable LM 2 Base 1.6Bと、指示応答学習（Instruction tuning）済みのJapanese Stable LM 2 Instruct 1.6Bを提供します。両モデルともStability AI メンバーシップで商用利用が可能です。また、どちらのモデルもHugging Faceからダウンロードすることができます。 Japanese Stable LM 2 Base 1.6B
アップルの研究チームは3月14日、画像とテキストを理解し処理する能力を持つマルチモーダル大規模言語モデル「MM1」を発表した。今のところ論文のみの公開で、一般公開の時期は明かされていない。 一部ベンチマークではGPT-4Vをも凌ぐ性能を発揮 複数（30億、70億、300億）のパラメータサイズを備えるMM1は、10億以上の画像および30兆語以上のテキスト、GitHubのコード例などの多様なデータセットを用い、教師なし学習と教師あり学習を組み合わせる独自の方法で学習され、多様なタスクに対して高い精度を示すという。 各種ベンチマークの結果によると、30億および70億パラメーターのモデルはそれぞれのモデルサイズにおいて過去最高を記録。特にVQAv2（画像理解）、TextVQA（画像内のテキスト情報）、ScienceQA（科学知識）、MMBench（マルチモーダル）、MathVista（数学）などの
東京外大で超マイナー言語を専攻していた子、国内で年間2~3人しかその言語の話者が生れないため、就職先としてスパイ的な仕事があるらしい
soy @nattou_muri 東京外大で超マイナー言語を専攻していた子、国内で年間2~3人しかその言語の話者が生れないため、就職先としてスパイ的な仕事があると言っていたな。命の危険が伴うため年収は高いらしい。 2024-01-25 15:38:09
オブジェクト指向言語の話をするときに便利なように、Javaを中心にプログラミング言語をまとめてみました。 Javaに影響与えるか、Javaから影響を受けるか、という感じですね。 Simula オブジェクト指向はここから始まったと言われています。 クラス、オブジェクト、継承、仮想関数(多態)といった、オブジェクト指向の基本要素が備わっていました。 ただし、「オブジェクト指向」という言葉は生まれていません。 Smalltalk Simulaから発想を得て「オブジェクト指向」という言葉を生んだのはアラン・ケイでした。 しかし、モデルとしてはSimulaとは異なりメッセージングを主体としたものでした。また、アラン・ケイの「オブジェクト指向」はプログラミングのパラダイムだけではなく、人がコンピュータをどのように扱うかというメタファであり、ダイナブックというハードウェアやそのユーザーインタフェースを含
近年、ChatGPTを始めとする大規模言語モデル*1に大きな注目が集まっておりますが、これらは膨大な知識をモデル内に有することで高い言語処理性能を示す一方、学習に要するエネルギーは、原発１基１時間分の電力量が必要*2とも言われており、また、運用には大規模なGPUクラスタを必要とし様々な業界に特化するためのチューニングや推論にかかるコストが膨大であることから、サステナビリティおよび企業が学習環境を準備するための経済的負担面で課題があります。 NTTでは、これらの課題を解決する研究開発を進め、今回、軽量でありながら世界トップレベルの日本語処理性能を持つ大規模言語モデル「tsuzumi*2」を開発しました。「tsuzumi」のパラメタサイズは6～70億と軽量であるため、市中のクラウド提供型LLMの課題である学習やチューニングに必要となるコストを低減します。「tsuzumi」は英語と日本語に対応し
Steven J. Vaughan-Nichols （Special to ZDNET.com） 翻訳校正： 川村インターナショナル 2024-05-15 07:30 「Python」や「JavaScript」が学ばれるようになるずっと前、米国時間1964年5月1日の夜明け前の暗闇の中で、コンピューター史におけるささやかながら非常に重要な出来事がダートマス大学で幕を開けた。数学者のJohn G. Kemeny氏とThomas E. Kurtz氏がGeneral Electricの「GE-225」メインフレームを操作して、独自に考案した言語の最初のプログラムを実行した。その言語こそ、初心者向け汎用記号命令コード、すなわち「BASIC」だ。 BASICは最初に普及した言語ではない。その栄誉を得たのは、ビジネス分野では「COBOL」、エンジニアリング分野では「FORTRAN」だった。しかし、19
2024.05.21 スキル 「つまりどういうこと？」「要するにできるの、できないの？」「それって何の話だっけ」 技術的にどうするべきか正解は見えているのに、頑張って説明しても返ってくるのはそんな言葉ばかり……。「うまく伝えられない」という悩みを抱えるエンジニアは、少なくないのでは？ 2023年のITエンジニア本大賞・技術書部門で大賞を受賞した『良いコード／悪いコードで学ぶ設計入門』（技術評論社）の著者であり、SNSでの情報発信やイベント登壇でも活躍する「言語化のプロ」であるミノ駆動さんも、昔は「君が何を言ってるのか分からん」と上司に言われていたそう。 ミノ駆動さんはどのように言語化能力を伸ばしたのか。聞くと、出てきたのは「合意駆動」というキーワード。その正体とは？ ミノ駆動さん（@MinoDriven） 新卒でNEC の関連会社に入社。その後キヤノンでの10年のエンジニア経験を経て、We
はじめに どうも、y-tetsuです。 かれこれC言語には、10年以上携わっているのですが、最近ふと学びなおしをしています。 「Cクイックリファレンス第2版」これを完走めざして読み始めました。全816ページの超大作！ 先は長いので、日頃からかたわらに置いておき、表紙の牛さん(雌牛)と目が合ったら黙って少し読むようにしています。 言語の"歴"だけは長い筆者ですが、この本をちらっと読んだだけでもいまだに知らなかったことが結構潜んでいました。意外と己の"目"ってザルでした。 そんなこんなで学びなおしのため、今回は筆者が感じたままの知られザルそして許されザルなC言語の仕様について、備忘録を残します。 知られザル仕様 恥ずかしながら、今まで存じ上げザルだったシリーズ。 ダイグラフ 名前からして？？？だったんですが、キーボードによっては存在しない記号を別の2文字で表わすためのものだそうです。 ！？…っ
子どもが自閉症児で、今年で5歳になる。 まだ発語がないのだが、1年ほど前から絵カードや写真で意思疎通できるようになってきて、ここ半年くらいで喃語を話すようになり、こちらの言うこともある程度理解してくれるようになってきた。 電車が好きで、喃語ではあるが山手線の駅はすべて言うことができ、またこちらが駅名を言うと該当の駅名の文字を指差すことができる。 また50音表がお気に入りのようで、文字としてはある程度ひらがなを理解しているようだ。 一昨年に区の児童発達支援センターで言語聴覚士さんにみてもらったのだが、「早めにリハビリしたほうが良さそうだが、区の言語聴覚士は人数が限られており、定期的なリハビリが難しい」ということで受けることができなかった。 そんな中、自閉症児の親の会の参加者の方から「児童の言語聴覚士の訪問リハビリをしている民間会社がある」と紹介を受けた。 お試しできるということで来ていただい
ワシントン（ＣＮＮ） パレスチナ自治区ガザ地区での戦闘などを受けて国際刑事裁判所（ＩＣＣ）がイスラエル首相やイスラム組織ハマス幹部らに対して戦争犯罪や人道に対する犯罪の容疑で逮捕状を請求したことをめぐり、バイデン米政権は２０日、テロ組織と米国の同盟国を同列に置くものだとしてＩＣＣを強く非難した。 ＩＣＣのカーン検察官はＣＮＮとの単独インタビューで、ハマスのガザでの最高指導者シンワル氏といったハマス指導者と、イスラエルのネタニヤフ首相およびガラント国防相に対し、戦争犯罪と人道に対する犯罪の容疑で逮捕状を請求していると語った。 バイデン大統領は２０日、声明で、ＩＣＣの措置は「言語道断だ」と述べた。 バイデン氏はその後、ホワイトハウスで行われたユダヤ系米国人文化遺産継承月間の集いでも、「イスラエルが民間人の保護にできる限りのことをしたいのは明らかだ」「今起きていることはジェノサイド（集団殺害）で
外国人「色んな冠詞を使う言語では新しい単語が出てきたらどうするのか」海外の反応 : 暇は無味無臭の劇薬
Comment by Efun4672 （フィンランド） 母国語に冠詞がいくつもある人って、新しい単語に出会ったら自動的にどの冠詞が相応しいか分かるの？ ドイツ語の「der」「das」「die」やフランス語の「la」「l'」のような。調べないといけないのか、「なんとなくこれが合ってる」って感じなのか。 reddit.com/r/AskEurope/comments/nd0viv/if_your_native_language_has_multiple_articles_do/ Comment by Mirrael15 523 ポイント （ドイツ） 自然と使い分けてる。問題は外国語の単語。 例えばヌテラは中性名詞なのか女性名詞なのかを巡ってかなり激しい議論がされてる。 Comment by Blecao 159 ポイント （スペイン） ↑うちらスペインは「La nutella」と女性形で使っ
わずか4GBの実行ファイル1つで大規模言語モデルによるAIを超お手軽に配布・実行できる仕組み「llamafile」をWindowsとLinuxで簡単に実行してみる方法
「llamafile」は大規模言語モデルのモデルやウェイトの情報が1つの実行ファイルにまとまった形式のファイルです。Linux・macOS・Windows・FreeBSD・NetBSD・OpenBSDという6つのOS上でインストール不要で大規模言語モデルを動作させることが可能とのことなので、実際にWindowsおよびLinuxディストリビューションの1つであるDebian上で動かしてみました。 Mozilla-Ocho/llamafile: Distribute and run LLMs with a single file. https://github.com/Mozilla-Ocho/llamafile#readme Introducing llamafile - Mozilla Hacks - the Web developer blog https://hacks.mozilla
『Rustで作るプログラミング言語』を読んで、かねてから構想していた自作言語を形にした - Islands in the byte stream
Rustで作るプログラミング言語という書籍が先日発売されました。簡単なプログラミング言語を作ってバイトコードに変換して実行したりネイティブコードに変換して実行してみよう、という本で、大変面白く読みました。最終的にまあまあ本格的な言語になるので、これを元にするとわりとちゃんとした言語を作れそうです。 この書籍で最終的に作られる言語はこちら: GitHub - msakuta/ruscal: Programming language implementation learning project ちょうど私も、以前から構想していた言語があったので、ちょっと作ってみました。というのも、TypeScriptを設定記述言語としてさまざまなプログラミング言語から使えると便利ではないかとずっと思っていたのです。 この設定言語で複雑なことができる必要はなく、最終的にはJSONに準ずるデータ構造になればよい
NVIDIA CEO、AIにより人間の言葉がプログラミング言語となったことで、プログラミングを学ぶことは重要でなくなった、と発言
NVIDIA CEOのJensen Huang氏はAIの進化で人間の言葉がプログラミング言語となり、プログラミング教育は重要ではなくなったとし、プログラミングやコンピュータサイエンス教育を重視する一般的な意見とは反対の立場を表明した。 アラブ首長国連邦（UAE）のドバイで2月12日から14日の3日間、世界各国の政府や国際機関、企業のリーダーが参加する国際会議「World Governments Summit 2024」が開催されました。 会議のテーマとして「Shaping Future Governments（未来の政府を形作る）」が掲げられ、AIやデジタルテクノロジーに関する議論も多く行われた中で、NVIDIAの創業者兼CEO Jensen Huang氏と、UAE（アラブ首長国連邦）の人工知能・デジタル経済・リモートワーク担当国務大臣 H.E. Omar AlOlama氏の対談が行われて
Rust言語のための統合開発環境「RustRover」正式リリース、JetBrains。個人の非商用利用は無料
Rust言語のための統合開発環境「RustRover」正式リリース、JetBrains。個人の非商用利用は無料 Kotlin言語や統合開発ツールIntelliJ IDEAなどの開発を行っているJetBrainsは、Rust言語用の統合開発環境「RustRover」の正式リリースを発表しました。 All systems are GO! We’re over the moon to see RustRover finally land! Read all about the release and the new free non-commercial license in our blog post https://t.co/s3MnqfiTrs, and see how we can help you stay focused on what matters pic.twitter.com
Epic Gamesが開発中のプログラミング言語「Verse」って知ってる？編集部員が感じる2つの特徴「ロールバック」「非同期処理」などを解説｜ゲームメーカーズ
ゲームメーカーズ編集部の神谷です。本記事では、Epic Gamesが開発するプログラミング言語「Verse」について紹介します。 Verseは個人開発で使っており、モダンだし自分の好みと合うしと魅力を感じています。使用環境が限定されているため人口は少ないのですが、将来性も感じる言語です。もっとたくさんの方に触ってもらえるよう、筆を執りました。 Verseが持つ2つの大きな特徴のほか、私が感じているUnreal Engine 5（以下、UE5）におけるブループリントとの相違点を説明します。 TEXT / 神谷 優斗 EDIT / 藤縄 優佑
「Duolingo」は、ゲーム化され、細かく分かれた無料のレッスンを通じて、楽しく直感的なプロセスで言葉を学べる言語学習アプリとして知られている。そして今回、同サービスが音楽の学習にも拡大することになった。 Duolingoは米国時間9月6日、同サービスの看板であるゲーム化された学習体験を通して、楽譜の読み方や楽器の演奏方法を学べる新コース「Music」を発表した。 発表によれば、Duolingoの新しいMusicコースには、言語学習プラットフォームで採用しているのと同じ手法が取り入れられており、細かく分かれた多くのレッスンや双方向の練習問題、さらには200以上の「楽しくて聞き覚えのある旋律」が用意されるという。 現時点で得られている詳細情報は限られているものの、Duolingoから提供された画像を見ると、穴埋めや音に対応した適切な音符を選ぶペアマッチなど、双方向の練習問題の例が示されてい
おはようございます． 遅ればせながら，11/14/2023 の .NET 8 のリリースの内容を確認し，コードジェネレータの新しい最適化機構(PGO)のデフォルト有効化や AI/LLM のアプリケーションへの統合，各フレームワークのアップデートや，C# の方ではコレクション記法の統合など様々なトピックがある中で，付随してリリースされた F# 8 についても新機能をチェックしてみました． ヤバすぎました． 私は涙しました．これまであらゆる F#er が望んでも得られなかったものがそこにはありました．F# という言語がこれまでの不満点を一気に払拭し，至高の領域に到達しようというヤバみを感じるリリースだったので，今回は以下のブログポストに記載されている新機能から個人的に凄いと思ったものを抜粋して解説します． 11/24/2023 一部サンプルコードのミスを修正しました． F# および F# 8
Open Interpreter - 自然言語でコーディングを実現するオープンソースツール｜masia02 (CipherWeb,LLC.)
Open Interpreterは、自然言語でプログラミングができるようになる、興味深いオープンソースツールです。機能呼び出し型の大規模言語モデルを利用して、Python、JavaScript、Bashなどのコードをローカルで実行できるのが大きな特徴です。インストールと利用は簡単で、コーディング作業の効率化を図れそうなツールです。 Open InterpreterとはOpen Interpreterは、GPT-3.5やGPT-4またはCode Llamaなどの大規模言語モデルを利用して、自然言語でのコード実行を可能にするオープンソースのツールです。 コマンドラインインターフェース上で言語モデルと対話することで、PythonやJavaScriptなどのコードをローカルマシン上で実行できます。複雑なロジックのコーディングもステップごとに指示できるので、開発効率の大幅な向上が期待できます。 公式
Z80+C言語で16ビット機級の本格的なゲームが創れるゲーム機（VGS-Zero）を作ってみた - Qiita
はじめに 2024年1月1日に VGS-Zero (Video Game System - Zero) という RaspberryPi Zero 2W のベアメタル環境で動作するオリジナルのゲーム機エミュレータと SDK を公開しました。 VGS-Zero は、RaspberryPi Zero 2W をテレビに HDMI ケーブルで接続し、USB ゲームパッドで遊ぶタイプ（据え置き型）の新しいゲーム機です。 無料でゲームを開発＆販売ができる SDK も公開していて、開発したゲームを完全ロイヤリティフリーで自由に販売して頂くことができます。 なお、OS は Linux ではなく独自カーネルです。 特徴 VGS-Zero の特徴について、カーネル視点とゲーム機視点の両面から解説します。 独自カーネルの特徴 ラズパイ全般（※Picoを除く）は Linux で動かすのが一般的ですが、VGS-Zer
Go言語を習得するために、Goちゃんねるを作った
先週、A Tour of Go やってみた TIL というブログを書いてみた通り、Go言語を始めた。 で、ちまちま勉強をしていたのだが、つい最近たまたま ISUCON の過去問をやる機会があって Go のスコアを見たら初期値ですら、チューニング済みの他の言語のスコアを超えていて、絶対に習得するぞの気持ちにさせられた。 ちなみに私はどう言うわけかフロントエンドのソースコードをビルドしたら vite が走ってファイルハッシュが全部変わって、ベンチマークからアクセスできなくなって０点でした。対戦ありがとうございました。 なにはともあれ、本番は絶対にGoでやるぞの気持ちを新たに Go の習得に励んでいた。前のブログでは、文法が分かったから HTTPサーバー DB Connection / Migration 境界値チェックや型推論 テスト スキーマ駆動開発 コンテナデプロイ あたりをやってみたいと
時系列データのための大規模言語モデル
近年の大規模言語モデル（LLM）の出現は、自然言語処理（NLP）においてパラダイムシフトをもたらし、ChatGPTをはじめとする様々な革新的サービスを生み出している。LLMの急速な進化は、NLPの領域を超えて、より広範なデータモダリティへのLLMの適用可能性を探る研究への発展を促している。その中で今回注目したのが、時系列データへのLLMの適用である。例えば、[Gruver+, 2023] では、GPT-3やLLaMA-2などの既存のLLMが、ダウンストリームタスクで教師あり学習した時系列モデルの性能に匹敵するか上回るレベルで、zero-shotで時系列予測ができることを報告しており、大変興味深い。本ブログでは、2024年に公開されたサーベイ論文「Large Language Models for Time Series: A Survey」を参考にLLM for Time Seriesの全
今回は、高専5年次から趣味で学習していたRISC-Vを実装した、簡単なCPU作成をしていこうと思います。 完全に知識ゼロの状態から学び始めたので、間違った解釈をしている部分があるかもしれませんが、その時は優しく指摘していただけると嬉しいです 🙏 また、本ブログはディジタル回路設計とコンピュータアーキテクチャ[RISC-V版]を基に書かれています。初心者でも理解しやすいように丁寧に解説されているので、興味があれば是非買ってみてください！ RISC-Vってなんぞ RISC-V公式サイトには以下のように書かれています。 RISC-V is an open standard Instruction Set Architecture (ISA) enabling a new era of processor innovation through open collaboration. （RISC-
はじめに C言語から派生したオブジェクト指向プログラミング言語であるC++は、21世紀に入ってまったく別物とも言えるプログラミング言語に成長していきました。それは、Modern C++と称されています。1990年代にC++を触っていたプログラマが現在の仕様を知れば、隔世感に苛まれるのではないでしょうか。本連載では、かつてはC++をたしなんでいたという方、今からC++言語を始めるという方に向けて、Modern C++らしい言語仕様をピックアップし紹介していくことで、今のC++言語の姿を理解していただきます。 対象読者 かつてはC++をたしなんでいたという方 今からC++言語を始めるという方 モダンなプログラミング言語のパラダイムに興味のある方 必要な環境 本記事のサンプルコードは、以下の環境で動作を確認しています。 macOS Sonoma／Windows 11 Xcode Command
弾圧された言語の復権へ『ドラゴンボール』が果たした重要な役割 | カタルーニャ語やバスク語に吹き替え「スペインの公用語をより豊かに」
『ドラゴンボール』や『Dr.スランプ』などの作品で知られるマンガ家・鳥山明の死去を海外メディアは相次いで速報し、世界中で悲しみの声が広がった。 なかでも、スペイン・カタルーニャ州の現地メディアは「鳥山の死にカタルーニャは泣いている」（現地メディア「カタルーニャ・プレス」）などの見出しで、格別な思い入れを持ってこのニュースに反応した。いったい鳥山は、同州にどんな足跡を残したのだろう？ 弾圧された言語の人気コンテンツに スペインではフランコ独裁政権時代（1939〜75年）、カタルーニャ語などの地方の固有言語は公的な場での使用が禁止されていた。1975年のフランコの死後に民主制に移行し、1978年に制定された憲法で各自治州がそれぞれの地域の言語をスペイン語とともに公用語にすることができるようになった。こうしてカタルーニャ語は復権したものの、現在でも読み書きが苦手な人が存在するなど、弾圧の影響は残
すげえ本だった。言語哲学をここまで分かりやすく、楽しく、でも妥協せず伝えられるものなのか→「書かれている内容は難しいしややこしい…」「ここまで分かりやすく…」という相反する感想を述べてしまう「ゆる言語学ラジオ」のみずのさん
みずの@ゆる言語学ラジオ @yuru_mizuno すげえ本だった。言語哲学をここまで分かりやすく、楽しく、でも妥協せず伝えられるものなのか。 書かれている内容は難しいしややこしいんだけども、野矢先生が楽しそうに、ごきげんで書いているのがありありと伝わってくるので、なんか読めちゃう。 野矢先生、参りました。言語哲学、楽しいです。 pic.twitter.com/ciCpd9Juev 2024-03-18 19:25:51
公開日 2024/02/27更新日 2024/02/28年間 1000万人以上が使うあのサービスの言語・技術スタック まとめ 企業の規模や業種によって採用される技術スタックは様々異なります。それは事業やプロダクトの特徴、過去に採用してきた技術などの要因に大きく影響されています。 以前、「言語・技術スタックまとめ 15選」ではスタートアップからメガベンチャーまで幅広い企業の技術スタックとその設計思想を取り上げさせていただきましたが、この記事はその続編です。 大手企業の技術スタックはその規模や、事業・プロダクトの変遷によって、独自の特徴が見られます。各社どのような経緯で現在の技術構成に至ったかという背景を知ることで、技術選定における考え方のヒントを見つけられると思いますので、ぜひ参考にしてください。 ※掲載している技術スタックは各社からご提供頂いたものを掲載しております
南山大学で2023年12月5日に実施した「ソフトウェア工学特別講義 」の講義資料です。 アジェンダ: ・ 大規模言語モデル (LLM) とは？ ・NTT版大規模言語モデル tsuzumi のご紹介 ・プログラミングへの活用 ・プログラミングを超える範囲のソフトウェア開発タスクへの応用
言語解読アクション『Toki Pona Island』発表。実在の人工言語トキポナ語を読み解きながら、不思議な南国の島を探検 - AUTOMATON
『Toki Pona Island』は2Dアドベンチャーゲームだ。テレポーテーションに失敗した主人公は、トキポナ語しか話されていない不思議な南国の島で目を覚ます。プレイヤーは主人公を通じてトキポナ語を学び島民と交流しつつ、帰る方法を探すことになる。 本作で扱われているトキポナ語は、実在する人工言語だ。2001年にカナダ在住の言語学者・翻訳家のSonja Lang氏が作成し、ネットに公開したことで知られるようになった。シンプルさを追求して作られたとされるトキポナ語は、トキポナ公式サイトによると誕生時点では120の単語のみ存在。現在でも必須単語は137個のみと少なく、比較的習得が容易な言語とされる。世界に数千人の話者がいるといい、しっかり愛好家が存在している。 本作ではそんなトキポナ語のみが話されている島を舞台に、冒険を繰り広げる。島民とコミュニケーションをとるためには、プレイヤー自身がトキポ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
年末年始にLLMの勉強はいかが？ 東大松尾研、大規模言語モデルの講座資料を無料公開
最近のオタクは言語能力が低下しまくっていて見てられない
なぜ人は生成AIに学習されることに嫌悪感を抱くのか言語化してみる｜リツ
AIが自分自身に報酬を与えて進化する「自己報酬型言語モデル」 米Metaなどが開発、実験でGPT-4を上回る【研究紹介】
35年ぶりの第2版「プログラミング言語AWK 第2版」、オライリーから5月発売
TypeScriptってどんな言語？ 言語そのものを知る面白さ
アップル、高度な言語理解を持つ新型AIモデル「MM1」を発表
Javaを中心に偏見ベースでプログラミング言語の関係をまとめた - きしだのHatena
NTT版大規模言語モデル「tsuzumi」 | NTT R&D Website
「BASIC」誕生60周年--コンピューター利用を容易にしたシンプルな言語の歴史
【ミノ駆動流】「思うように伝わらない」を解消する！エンジニアのための言語化力の鍛え方 - エンジニアtype | 転職type
C言語の知られザル・許されザル仕様 - Qiita
医師に書類作成を拒否され子どもが言語リハビリを受けられない
バイデン米大統領、ＩＣＣの逮捕状請求は「言語道断」 イスラエルとハマスを同列に
【特集】 突如来たWindows 11の大型アップデート。自然言語AIのCopilotなど、気になる新機能を解説
PHPの時代は終わった？ プログラミング言語のランキングで、2001年以来の最低シェアを記録【やじうまWatch】
言語学習アプリ「Duolingo」、音楽と算数のコースを追加へ--ゲーム化で楽しく習得
F# 8 のリリースで F# が最強の言語になってしまった件 - Qiita
え、高級言語しか触ったことないのにCPUを自作するんですか!?
今どきのプログラミング言語では当たり前！ Modern C++で使えるモダンな言語仕様
年間 1000万人以上が使うあのサービスの言語・技術スタック まとめ - Findy Tools
大規模言語モデルとそのソフトウェア開発に向けた応用