2024年10月18日 日本SPIコンソーシアム（JASPIC） ソフトウェアプロセス改善カンファレンス2024

科学の世界では、それまでの常識が覆ることを俗に「パラダイムシフト」と呼ぶ。 しかし、もしもAIの世界にパラダイムシフトという言葉があるとしたら、今週の人類は一体何度のパラダイムシフトを経験しただろうか。 そのトドメの一撃とも言えるのが、BitNetのLlama8B版だ。 Lllama-8B構造で学習された最初のBitNetであり、全てを変えてしまうゲームチェンジャーでもある。CPUのみで秒間5-20トークンを出力する。超強力なLLM推論エンジンの出現だ。 BitNetとは、そもそも1.58ビットに相当する情報量で、本来は4ビット以上必要な大規模言語モデルの計算を劇的に高速化する技術である。 LLMの推論には通常は巨大な浮動小数点数(8ビットから16ビット)の、大量の乗算(掛け算)が必要なため、GPUなどの特殊な半導体を必要としていた。特にNVIDIAのGPUがこの目的にマッチしていたので今

全国の中高生を対象にした発明コンクール「自由すぎる研究EXPO」で岡山市の女子高校生が最多となる5つの金賞を受賞しました。考案したのは「納豆を片手で食べられる道具」です。一体なぜそのような道具を？そこに…

どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である

世界初となる食べることを目的としたロボット「こんにちは。今日、私はあなたと会話できることを楽しみにしてました」。音声とともに両手を振り、左右に揺れる全長約７センチの薄黄色の物体。つぶらな瞳もある。リンゴ味のグミだが、実はロボット。電気通信大の仲田佳弘准教授（ロボット工学）らのチームが、世界初となる食べることを目的としたロボットの開発に成功した。 ロボットはゼラチンでできた可食部と金属部分からなる。ゼラチンには空気穴が通り、ぷるぷると揺れる仕組みだ。音声はロボットに接続したスピーカーから出る。 このロボットで一体何を行うのか。仲田さんが目指すのは「新たな食体験の創出」。そのヒントとして挙げたのが、国民的キャラクターのアンパンマンだ。「アンパンマンが顔をちぎり誰かに与えると、通常以上のおいしさを感じて元気が出る様子が描写されますよね」。食べ物との交流で、人の味覚に変化が起こるかもしれないと考え

テクノロジーカンファレンス「Google Cloud Day ’23 Tour in TOKYO」の登壇資料です。詳細は当社ニュースをご参照ください。 https://kazaneya.com/5a50c1c1bb7b42f1bd9eb7b35d813ba1 --- スモールチームで 300 …

コモレ☆ビヨリ🧨🩷1周年ワンマン4/30 @komorebiyori_09 Re:RIPLIE(@RIPLIE_KRY)くれないピンク(38歳)／／／ファンマ作っちゃった→🧨🩷TikTokでよく変身してる tiktok.com/@komorebiyori_… instagram.com/komorebiyori09…

Pythonでデータ分析するとき、Jupyter Notebookを使う人は多いことでしょう。 試行錯誤の結果、ほぼ分析の流れが定型化した場合、必要の都度、Jupyter Notebook に記載されたPythonコードを頭から単に実行するケースも、まぁまぁあります。 定型化された分析業務を、データサイエンティストなどが実施する必要はありません。 そのため、Jupyter Notebookのファイルを共有し、必要な人（データサイエンティストでない人）が必要なときに、定型化された分析業務を実施する、ということも実務の世界では起こっています。 必要な人（データサイエンティストでない人）にとっての興味は分析結果であって、Pythonコードではありません。 PythonのライブラリーMercuryを使うことで、Jupyter NotebookをWebアプリ化し、グラフなどの出力のみを表示することが

約30,000点の部品からできているクルマ。 そこには働く人の想いとくふうが詰まっています。 トヨタのクルマづくりの中心にあるのは、 「人」なのです。 約30,000点の部品からできているクルマ。 そこには働く人の想いとくふうが詰まっています。 トヨタのクルマづくりの中心にあるのは、「人」なのです。

2023-04-29 前回の記事の続き1で、Twitter の検索システムシリーズ第 2 弾です。 Earlybird とは?Twitter の検索システムであり、 Apache Lucene をベースにした、リアルタイム検索システム。 論文はここで、 Blog 記事は The Engineering Behind Twitter’s New Search Experienceは 2011 年に公開されている。 TODO: 論文に書かれず、Blog 記事にのみ書かれている内容もあったので読んで追記しておく Web 検索はある程度成熟してきた分野だが、SNS のリアルタイム検索はまだ 2011 年当時いまだ未成熟で未開拓な分野Twitter で新たに開発したのが、 Earlybird と呼ばれるリアルタイム検索に特化した検索エンジンLucene の NRT 機能が導入され始めたのが、2011

当サイト【スタビジ】の本記事では、昨今のAIの進化のきっかけになっているGPTシリーズについてまとめていきたいと思います。GPT-1から始まりGPT-2、GPT-3、そしてChatGPTであるGPT-3.5、GPT-4と進化してきました。この進化の軌跡と違いについて解説していきます。 こんにちは！ データサイエンティストのウマたん(@statistics1012)です！ この記事では最近のAIブームの火付け役になったGPTシリーズについて簡単にまとめていきたいと思います。

本記事は 2022年度 新人卒業記念Week 2日目の記事です。 🌸 1日目 ▶▶ 本記事 ▶▶ 3日目 📚 はじめに LangChainについて LangChainの機能 LLMs Prompt Template Document LoadersとIndexes Chains Agent まとめ はじめに こんにちは。新人の堤です。この1年はAWSを中心としたサービスの開発や運用を行っていました。最近はChatGPTなどのLLMを使って遊ぶのにはまってます。 今回は最近自分が色々試しているLangChainというライブラリについてご紹介したいと思います！ LangChainについて LangChainとはChatGPTなどの大規模言語モデル(LLM)を使ったサービスの開発を支援するためのライブラリです。LangChainを使用することで、LLM単独ではできないような他の計算や知識のソ

最近話題のRWKV-LMのRWKC-v4neo 14Bモデルを手元のPCで動かしましたので手順を書き残しておきます。とても簡単に書いてありますが、だいたい私が実行した通りです。 スペック CPU Intel Core i7 12700K 64GB Memory(16GB x 4) NVIDIA GeForce RTX 3070(8GB) ※ただしCPUモードで動かしています Windows 11 Python 3.9.12 PyTorch 1.13.1+cu117 なお、17Bモデルは64GBメモリでは本来不足なので、swap領域を増やしています。Windows 11の場合、「設定」⇒「バージョン情報」⇒「システムの詳細設定」⇒「詳細設定」タブ⇒「パフォーマンス」の「設定」ボタン⇒「詳細設定」タブ⇒「仮想メモリ」の「変更」とたどって、「カスタムサイズ」で十分大きなswap領域を設定します（

今回はこの中で紹介した例で出てきた「zero-shot-react-description」というAgentを使って以下の質問をしたときに内部でLLMとどういう連携をしているのか？を調べたのでそのまとめになります。 "Who is Leo DiCaprio's girlfriend? What is her current age raised to the 0.43 power?" 今回動作検証に用いたコードは以下の通りです。 import langchain from langchain.agents import load_tools from langchain.agents import initialize_agent from langchain.llms import OpenAI langchain.verbose = True llm = OpenAI(temperat

私は30代中盤で既婚済み子持ち(一人)のソフトウェアエンジニアというバックグラウンドがあります。そして、業務では英語を使い会議やコミュニケーションをしています。 昨年から英語が公用語のチームに参加しました。 会議やSlack、ドキュメントの記述などすべてのコミュニケーションが英語になり、早急に英語力を伸ばす必要性がでてきました。 そこで、12月16日から3月16日までの3ヶ月間PROGRITを受講して毎日3時間英語学習をしました。 www.progrit.co.jp 結果は...VERSANTのスコアが11点アップし、日本人平均を抜け出すことができました！ PROGRITの期間中、どういった学習をしたのか、感想などを記録として残しておきます。 少し長いですが、誰かの参考になることを願っています。 3ヶ月の学習成果 学習量 学習内容 シャドーイング 瞬間英作文 単語 多読 多聴 スピーチ オ