従来から、「ARMはx86より（電力的に）効率的だ」という言説があります。これは単純に「ARMは省電力なスマホ向けで、x86は電力を食うPC向け」程度のアバウトなイメージのこともありますし、前世紀のRISC vs CISC論争のころからある「ARMはx86 (x64を含む)に比べ命令セットがシンプルなので、命令デコードにかかる電力が少なくて済んで効率的」という議論の形をとることもあります。 この議論については、半導体エンジニアの多くは「ARMがx86 より効率が良いというのは、もはや過去の神話」(in today’s age it is a very dead argument)という認識を共有していると言っていいでしょう。有名なところではApple CPU (ARM)とZen (x86)の両方を開発したジム・ケラー氏のインタビューでも言われていますし、Chips and Cheeseとい

【読売新聞】　生成ＡＩ（人工知能）が急速に普及する中、性犯罪の加害者側の弁護士が、被害者への謝罪文の作成に生成ＡＩを利用した事例があることがわかった。利用すれば誰もがたやすく文章を作成できる。この弁護士は「丁寧な謝罪文を作ることが目

以下の記事が面白かったので、簡単にまとめました。 ・Command R: Retrieval-Augmented Generation at Production Scale 1. Command R「Command R」は、「RAG」や「Tool」などの長いコンテキストタスク向けに最適化されたLLMです。CohereのEmbeddingおよびRerankと連携して動作するように設計されており、RAGアプリケーションに最高クラスの統合を提供し、エンタープライズユース ケースで優れています。 特徴は、次のとおりです。 ・RAGとToolの使用に関する高い精度 ・低遅延、高スループット ・128Kコンテキスト長、価格が安い ・10の主要言語に対応 (日本語含む) ・研究・評価のためにHuggingFaceでウェイトを公開 「Command R」は、Cohere のホスト型APIですぐに利用でき

今さら知ったのですが、2週間ほど前にllama.cppでモデルをGPUに部分オフロードした場合のプロンプト処理速度が大幅に向上されていました。 github.com 従来のllama.cppではGPUフルオフロードから部分オフロードに移行すると急激にプロンプト処理（PP）が遅くなるため、CPU+GPUのハイブリッド推論の魅力を大きく損ねていました。 このPRによって、CPU比率が増えた場合のPP速度低下が緩和され、部分オフロードの実用性が大幅に改善しています。 以下はMixtral 8x7B のQ3_K_L量子化モデルで1024トークンのPPを実行したときのグラフです。 モデルのレイヤー33層のうち半分をGPUから引き上げた場合、旧来のllama.cppではPP速度が半分以下に低下していますが、このPR適用後は2/3程度の処理速度を保っています。 このPRの技術的な概要について、llama

2023年1月に、炎上まとめツイッタラーの滝沢ガレソがタレコミを受けて痴漢動画を公開 電車内で座っている男が、そしらぬ顔で隣の眠っている女性の胸を揉んでいるというもの https://twitter.com/takigare3/status/1613164994899881985 https://twitter.com/takigare3/status/1616663095446994947 顔がハッキリと映っている動画のため、大企業住友商事に務めるエリートだと特定される https://twitter.com/takigare3/status/1775425373297344552 そして昨日の4月3日、そのガレソのもとにエリートからの訴状が届いた 本日4月4日、ガレソのアカウントが日本国内からは閲覧できなくなるという処置が取られる 国内からは「表示が制限されています」と表示される VP

","chat_template":[{"name":"default","template":"{{ bos_token }}{% if messages[0]['role'] == 'system' %}{% set loop_messages = messages[1:] %}{% set system_message = messages[0]['content'] %}{% elif false == true %}{% set loop_messages = messages %}{% set system_message = 'You are Command-R, a brilliant, sophisticated, AI-assistant trained to assist human users by providing thorough responses. You

A　トロントは居心地のいい場所のようです 前回のこの欄で周庭さんについての質問に答えたときは、実は周庭さんに会う直前でした。テレビ東京での独占インタビューのためにトロントに行く直前で、それ自体を秘密にしなければならなかったので、その時点で回答できるギリギリの文章になってしまいました。実際に会えたので、そのときの様子を答えますね。 彼女がいるのはカナダのトロント。行ってみてわかったのですが、トロントの街は実に多様な人たちが住んでいます。とりわけ目立つのが中国系とインド系でした。多くの中国系の人たちが行き交うので、周庭さんが街を歩いていても目立たないのです。これは意外でした。街の人たちは周庭さんに気づきませんし、周庭さんも「気づかれることはありません」と話していました。トロントの街は彼女にとって居心地のいい場所のようです。

千葉県流山市のデータセンター（DC）の建設計画が、地域住民の反対で頓挫した。かつてDCは都心部の商業地域や工業地域に建てられることが多かった。ところが近年は大規模DCが住宅のある郊外地域に作られるようになったことで、住民から「迷惑施設」扱いされている。立地に細心の注意を払わなければ、今後もDC建設は頓挫しかねない。 千葉県流山市：第一種住居地域だった土地に大型DCの建設計画 2023年12月に頓挫したのは、東京都渋谷区に本社を置く「流山綜合開発K」という企業が、流鉄流山線流山駅の駅前、流山市役所の目の前にある1万2877平方メートルの土地で進めていた、地上4階・地下1階建てで高さ28メートルのDC建設計画だ。流山綜合開発KはこのDC開発のために設立した特定目的会社だ。 開発区域はもともと「飛地山」と呼ばれていた場所で、ある企業の保養所が建てられ、山は樹木に覆われていた。2018年ごろにマン

徳永拓之（LeapMind（株）） 1bit LLMの時代が来る？　2024 年2 月，The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits¹⁾ というタイトルの論文がarXiv上で公開され，にわかに話題となりました．“1.58 Bits” という表現はあまりなじみがありませんが，log₂(3) = 1.58 . . . ということで，パラメーターを三値にした場合の情報量を示しているようです．この論文（以下b1.58 論文とする）は，同じ著者グループによる文献2）を少し拡張したもので，大規模言語モデル（LLM）の効率化についての研究です． 本稿の前半ではこれらの論文の主張を解説し，後半ではその主張の妥当性について検討します． なお，これらの2本の論文は，本稿執筆時点では，査読を経たものではありませんのでご注意くだ

ご存知ですか？ 熊本県の菊陽町（きくようまち）。 世界的な半導体メーカーTSMC（Taiwan Semiconductor Manufacturing Company Limited）の工場が来た町です。TSMCといえばApple（アップル）のiPhoneのチップを作っているサプライヤーでもあり、半導体は僕らの文明には必要不可欠となっている存在。 この地名・企業名を聞くだけで｢ああ、半導体バブルの…｣みたいなイメージが浮いてくる人もいらっしゃるかも。実は僕も｢TSMCのおかげで急発展しているらしいぞ｣くらいの印象でした。 半導体が町の様相すら変えている。 ともなれば、この“TSMCが来た町”を自分の足で確かめておかねばと思い、今回菊陽町へと乗り込みました。町が一気に様変わりする瞬間に立ち会えるのは、今だけかもしれませんからね！ ただ今回の取材は、僕の解釈。あくまでも僕が見て思ったことですか

台湾外交部（外務省）は４日、東部沖で３日発生した地震に国際社会から心配の声が寄せられていることに中国の耿爽・国連常駐副代表が謝意を表したことを批判、国際社会の認識を操作するために地震を利用するのは「恥知らず」だと抗議した。被害の大きかった花蓮県で４日撮影。（2024年　ロイター/Carlos Garcia Rawlins/ File photo） [台北 ４日 ロイター] - 台湾外交部（外務省）は４日、東部沖で３日発生した地震に国際社会から心配の声が寄せられていることに中国の耿爽・国連常駐副代表が謝意を表したことを批判、国際社会の認識を操作するために地震を利用するのは「恥知らず」だと抗議した。 中国の国連代表部のウェブサイトによると、耿爽氏は子どもの権利に関する会議で、別の講演者が「中国の台湾」で起きた地震に言及したと指摘。中国は被害状況を懸念しており、台湾に哀悼の意を表し、支援を申し出

地上最強の生物と呼ばれる「クマムシ」は、いつの日か人間の命を救ったり、老化を防いだりしてくれるかもしれない。クマムシから抽出されたタンパク質が、人間の細胞の老化を遅らせることが判明したそうだ。 米国ワイオミング大学の研究チームたちは、極限状態にも耐えるクマムシの防御システムの秘密を探るために、そのタンパク質を人間の細胞に導入してみた。 すると代謝が遅くなり、ヒト細胞の分子プロセスが減速することが明らかになったのだ。いったいどういうことなのか？詳しく見ていこう。 クマムシが休眠状態（乾眠）の鍵を握るタンパク質 『Protein Science』（2024年3月19日付）に掲載されたこの研究は、クマムシが強いストレスを受けたとき、休眠状態になるメカニズムを調べたものだ。 体長0.5ミリにも満たない「クマムシ（緩歩動物）」は、カラカラに干上がっても、あらゆる分子運動が停止する絶対零度近くまで冷や