ついにBitNet Llama8Bが登場! CPUのみで爆速推論するLLM,BitNet.cpp｜shi3z
科学の世界では、それまでの常識が覆ることを俗に「パラダイムシフト」と呼ぶ。 しかし、もしもAIの世界にパラダイムシフトという言葉があるとしたら、今週の人類は一体何度のパラダイムシフトを経験しただろうか。 そのトドメの一撃とも言えるのが、BitNetのLlama8B版だ。 Lllama-8B構造で学習された最初のBitNetであり、全てを変えてしまうゲームチェンジャーでもある。CPUのみで秒間5-20トークンを出力する。超強力なLLM推論エンジンの出現だ。 BitNetとは、そもそも1.58ビットに相当する情報量で、本来は4ビット以上必要な大規模言語モデルの計算を劇的に高速化する技術である。 LLMの推論には通常は巨大な浮動小数点数(8ビットから16ビット)の、大量の乗算(掛け算)が必要なため、GPUなどの特殊な半導体を必要としていた。特にNVIDIAのGPUがこの目的にマッチしていたので今
ISUCONの過去問でObservabilityを体験する - Hatena Developer Blog
システムプラットフォームチームで SRE をしている id:masayoshi です。 今年もISUCON14の開催が決定しましたね！ isucon.net ISUCONとはLINEヤフー株式会社が運営窓口となって開催している、お題となるWebサービスを決められたレギュレーションの中で限界まで高速化を図るチューニングバトルです ISUCONは、世の中に実際にありそうなWebサービスを題材に、明確なボトルネックがあるコードかつ全体のコード量もすぐ読める量なので、パフォーマンスチューニングの練習にはもってこいです。 適切なパフォーマンスチューニングをするためには、まず計測してシステム上のどこにボトルネックが存在してパフォーマンスが悪化しているのかを把握する必要があります。 このように、どこで、何が起こり、パフォーマンス上の問題やエラーがおこっているのかを把握できる能力を Observabili
Firefox、WebAssemblyのコンパイル処理が75倍速に。SpiderMonkeyのJITコンパイラ改善で
Firefox、WebAssemblyの実行速度が75倍速に。SpiderMonkeyのJITコンパイラ改善で FirefoxのJavaScriptエンジンでありWebAssemblyの実行エンジンでもある「SpiderMonkey」の開発チームは、WebAssemblyの実行速度を従来よりも最大で75倍高速にする改善を行ったことを、ブログ「75x faster: optimizing the Ion compiler backend | SpiderMonkey JavaScript/WebAssembly Engine」で明らかにしました。 二段目のコンパイラがメモリを使いすぎている この性能改善のきっかけは、マイクロソフトがオープンソースで公開している機械学習ライブラリ「ONNX Runtime」のWebAssembly版をSpiderMonekyで実行した際に、最適化のためのコンパ
GitHub Copilotの機能はコーディング支援にとどまらない GitHub Copilotはいち早く「Copilot」を冠することになったプロダクトだ。業務に生成AIが有用であることを証明し、エンジニアの開発生産性を急速に高める契機となった。開発でコーディングするエンジニアなら、GitHub Copilotまたは何らかの生成AIを日常的に使用していることだろう。 GitHubの調査によるとGitHub Copilotは開発業務を55％高速化し、コード品質を15％高めるという結果が出ている。生産性向上は疑いの余地がないところだ。ただしソフトウェア開発のための作業はコーディングだけではない。エンジニアの業務時間のうち、コーディングを中心とした開発作業は25％程度。それ以外の75％は調整のための会議、資料作り、リサーチなどに費やされている。 ギットハブ・ジャパン合同会社 シニアカスタマーサ
投資を始める人が増える中、取り引きの利便性を高めようと高度なプログラムが株式などを自動で売買するアルゴリズム取引のサービスを個人向けに提供する動きが出始めています。 アルゴリズム取引は、株式などを売買する際に注文を出すタイミングや方法などさまざまな条件をプログラムに設定して自動で売買する取引で、主に機関投資家が取り入れています。 NISAの拡充などで投資を始める人が増えるなか、こうしたアルゴリズム取引を個人向けのサービスとして提供する動きが出始めていて、このうちauカブコム証券は専用のアプリを開発しています。 例えば、株式を売買する場合、最もよい条件の最良気配を瞬時に見つけて注文を出すなど、さまざまな取り引きパターンをアプリの中で設定することができます。 この会社の福嶋輝久理事は「取り引きの高速化が進み、人の目で相場を見ながら注文するのでは対応できなくなっている。機関投資家と同じ土俵で取り
ZOZOMETRYにおけるインフラ構成変更による計測値計算処理のパフォーマンス改善 - ZOZO TECH BLOG
はじめに こんにちは。計測プラットフォーム開発本部SREの纐纈です。最近はZOZOMETRYという法人向け計測業務効率化サービスの開発・運用に携わっています。今回ZOZOMETRYが正式に公開されることとなったので、合わせてこの記事を書くことになりました。 biz.zozometry.com 現在はパフォーマンスも良好なZOZOMETRYですが、ローンチ当初はパフォーマンスが良くなく、改善のために様々な検証をしました。今回はその経緯と検証内容を中心に、ZOZOMETRYのパフォーマンス改善についてお話ししたいと思います。 一般的にも、Lambdaを使ったサーバーレスアーキテクチャの構築やSQSを使った非同期処理の設計など、参考になる部分があるかもしれません。ぜひ最後までお付き合い頂ければ幸いです。 ZOZOMETRYの機能と構成紹介 まずは、ZOZOMETRYの機能と構成について簡単に紹介
銃撃除霊ホラーTPS『近畿霊務局』、連日のアプデでSteamレビュー「不評」から一転「非常に好評」まで持ち直す。開発者は、不満点に目を瞑って評価してくれたユーザーに感謝 - AUTOMATON
個人ゲーム開発者の霧笛ノト氏は10月15日、『近畿霊務局 – Kinki Spiritual Affairs Bureau（以下、近畿霊務局）』のSteamレビューステータスが「不評」から「非常に好評」まで持ち直したと告知した。同作のSteamユーザーレビューは10月4日の配信開始直後は「不評」が多かったが、その後好評レビューの比率が増え始め、記事執筆時点では全体で82％の好評率となっている。 『近畿霊務局』は、女子高生のコスプレをした公認除霊師が違法幽霊を銃火器で撃退する、ホラーテイストのTPSである。本作の舞台となる並行世界の日本では、行政によって除霊がおこなわれるようになっていた。 主人公の白石瑞希は、霊務省・近畿霊務局に所属する27歳の公認除霊師だ。同世界では、奈良県賽河村が突如インターネット上から消失する。白石瑞希が単独で賽河村を訪れると、周辺に住民は見当たらず、代わりに大量の違
主要バンドラーの仕様を徹底比較。Import Maps、Viteなど「脱バンドラー」の動きも | レバテックラボ（レバテックLAB）
主要バンドラーの仕様を徹底比較。Import Maps、Viteなど「脱バンドラー」の動きも 2024年10月15日 執筆 山内 直 有限会社 WINGSプロジェクトが運営する、テクニカル執筆コミュニティ（代表 山田祥寛）に所属するテクニカルライター。出版社を経てフリーランスとして独立。ライター、エディター、デベロッパー、講師業に従事。屋号は「たまデジ。」。著書に『Bootstrap 5 フロントエンド開発の教科書』、『作って学べるHTML＋JavaScriptの基本』など。 監修 山田 祥寛 静岡県榛原町生まれ。一橋大学経済学部卒業後、NECにてシステム企画業務に携わるが、2003年4月に念願かなってフリーライターに転身。Microsoft MVP for Visual Studio and Development Technologies。執筆コミュニティ「WINGSプロジェクト」代表
テクノロジー部門の笹田です。寒暖差が大きく、体調が心配になる季節ですね。うちの家族は私以外が風邪ひいてしまい、いつ私にうつるか戦々恐々しています。皆様もどうぞご自愛ください。 先月 9/11-13 に Sarajevo, Bosnia & Herzegovina で開催された EuRuKo2024 でキーノートの発表をしてきたので、イベントと発表した内容について簡単にレポートします。 EuRuKo2024 EuRuKo は、ヨーロッパで行われる代表的な Ruby に関するカンファレンスです。場所と運営者を毎年交代していく（多分）珍しいカンファレンスで、これまで様々な場所で行われてきました。私は今回４回目の参加で、プラハ、ギリシャ、ザルツブルグ、そしてサラエボに参加しましたが、どれも大変良かったです（ヨーロッパはたいていどこも良いと感じるのかもしれない）。 Day 1 of #EuRuKo2
異なるシステム間でパスキーを安全に転送できる「Credential Exchange Protocol」の草案と開発者向けリソースサイト「Passkey Central」が公開される
パスワードの代わりに使用できるログイン手段「パスキー」を異なるシステム間で安全に転送できるようにするべく、認証技術標準化団体のFIDO Allianceが新しい仕様の草案を作成しました。仕様が実現されると、異なるシステム間で認証情報を移す際の標準フォーマットが定義されることになります。 FIDO Alliance Publishes New Specifications to Promote User Choice and Enhanced UX for Passkeys - FIDO Alliance https://fidoalliance.org/fido-alliance-publishes-new-specifications-to-promote-user-choice-and-enhanced-ux-for-passkeys/ The FIDO Alliance Launch
完全自動運転の実現にソフトウェア開発の技術を！ ペタバイト級の走行データからつくる自動運転基盤の裏側 | IT/Webエンジニアの転職・求人サイトFindy – GitHubからスキル偏差値を算出
新卒で日立製作所に入社し、鉄道ITシステムの研究開発に従事。その後AIスタートアップのアラヤにて開発案件に従事・CTOに就任。2021年4月にatama plusへ入社し、アルゴリズム開発エンジニアとしてAI教材atama＋のレコメンドエンジンの開発を担当。2024年5月にチューリングに参画し、E2Eチームでソフトウェアエンジニアとして活躍中。 自動運転MLモデルの全体像とソフトウェア開発の役割 TuringがStable Diffusionを用いてデザインした完全自動運転車のデザインイメージ 画像提供：Turing株式会社 ― 大規模システム開発やAI開発、役職としてはCTOもご経験された安本さんが、Turingにご入社を決めた理由を教えてください。 最大の理由は、自動運転というドメインの魅力です。僕は元々ペーパードライバーで、自動運転の時代を待っていたんですよね。世の中的にはAIの発展
Microsoftの「Copilot＋ PC」は主張されているほどAI処理性能が高くないというベンチマーク結果が報告される
MicrosoftはAIアシスタントの「Copilot」をはじめとするAIタスクの実行に適したPCを「Copilot＋ PC」とカテゴライズし、AI向けPCの市場での存在感を強めています。ところが、実際にCopilot＋ PCとして販売されているMicrosoft Surface Pro(第11世代)でベンチマークを実行したところ、AIの実行性能に難ありという結果が出てしまったとAIハードウェア開発企業のUseful Sensorsが報告しています。 GitHub - usefulsensors/qc_npu_benchmark: Code sample showing how to run and benchmark models on Qualcomm's Window PCs https://github.com/usefulsensors/qc_npu_benchmark Micr
それってSetにする価値ありますかね？ - Qiita
はじめに 競プロ(AtCoder)をやっていると、配列の要素数や検索回数が大きい場合、重複削除目的ではなく高速化のために、配列(Array, List)をSetやMap(Rubyの場合Hash)に変換することはよくあります。 さて、実業務ではどうでしょうか？ 実際に扱う配列の要素数、検索回数が$10^6$程度ということはそんなにないかもしれません。 むしろ、要素数や検索回数が100未満ということが多いのではないでしょうか？ では、この場合に、配列をSetやMap(or Hash)に変換する価値はあるのでしょうか？ もちろん、Set, Map(or Hash)になったものを、検索する速度が速いことはわかります。 しかし、SetやMap(or Hash)に変換するにもコストがかかります。 境界はどこでしょうか？ 今回、Ruby, Javascript, Kotlinで、Set, Map(or
新型「Kindle Paperwhite」は7型に大画面化！ 明るくてページめくりも早いが価格は約2.8万円に シグネチャーエディションは約3.3万円
10月16日、アマゾンジャパンがE Ink搭載の電子書籍リーダー「Kindle Paperwhite」および「Kindle Paperwhiteシグネチャーエディション」の新モデルを発表、同日から販売を開始した。 新型Kindle Paperwhiteはブラックの1色展開で、価格は2万7980円、新型Kindle Paperwhiteシグニチャーエディションはメタリックブラックとメタリックジェードの2色展開で、価格は3万2980円となる。 ストレージ容量倍増のシグネチャーエディションも用意 最新モデルとなる「Kindle Paperwhite（第12世代） 2024年発売」は、300ppiの解像度をそのままに画面サイズを6.8型から7型にアップした他、ページめくりの速度を従来モデルより25％高速化しているのが特徴だ。IPX8等級の防水機能も備えている。 ストレージ容量は16GBで、バッテリ
「Kindle」「Kindle Paperwhite」「Kindle Scribe」の新モデルが一斉に発表される、画面輝度向上やページめくり高速化などの機能強化アリ
Amazonが2024年10月16日(水)に電子書籍リーダー「Kindle」「Kindle Paperwhite」「Kindle Scribe」の新型モデルを一斉に発表しました。各モデルにはページめくりの高速化や画面輝度の向上などの変化が加わっています。 Kindle (キンドル) 電子書籍リーダー | Amazon https://www.amazon.co.jp/b/?ie=UTF8&node=3933932051 Amazon Newsroom - Amazon、Kindleシリーズを刷新 https://amazon-press.jp/Top-Navi/Press-releases/Presselist/Press-release/amazon/jp/Devices/2024/Kindle-Series-2024/ ◆Kindle 「Kindle」はKindleシリーズの中で最も小
【菊花賞 2024 予想】追い切り･ラップ適性･レース傾向考察 ＆ 各馬評価まとめ / ローテと、ゲートと、距離と - 競馬予想のホネ【坂路ビシビシの日々〜 重賞予想と追い切り注目馬＆レース回顧】
■ブログランキング参加中です（記事が参考になったという方は是非クリックで応援をお願いします） ――とにかく、考え出すと不安ばかりが目立つ上位勢で、こんな時こそ逆に人気決着だったりして。 目次 菊花賞 2024 レース概要 菊花賞 2024 枠順 菊花賞 2024 ラップ適性・追い切り 菊花賞 2024 過去レース傾向 菊花賞 2024 レース傾向分析&考察 菊花賞 2024 予想印は!? ホネ的注目馬 各馬評価まとめ ビザンチンドリーム 他 競馬予想のホネX 10月19日(土)重賞予想と追い切り注目馬はこちら ・【富士ステークス 2024 予想】 ・【追い切り注目馬】【村上特別】他 新潟競馬 ・【追い切り注目馬】【富士S】【アイビーS】他 東京競馬 ・【追い切り注目馬】【オータムリーフS】他 京都競馬 10月20日(日)追い切り注目馬はこちら ・【追い切り注目馬】【ブラジルC】【甲斐路S】
Appleが新型iPad mini第7世代を発表しました。 旧型iPad mini第6世代との違いについて、MacRumorsがまとめています。 iPad mini 6とiPad mini 7新モデルの最大のアップデートは、昨年iPhone 15 Proで初めて導入されたA17 Proチップです。ハードウェアアクセラレーテッド・レイトレーシングのような高度なグラフィックス機能を利用可能になり、より高速なCPUとGPUパフォーマンスを実現します。 このチップにより、Apple Intelligenceがサポートされたことも大きいです。それによりiPad mini史上最も大容量となる8GBのメモリを搭載しているはずです。そのほか、ストレージが旧型と比べて2倍の128GBとなり、日本では価格が6千円値下げ（Wi-Fiモデル）されたことにも注目です。 そのほかにも、より高速なUSB-Cポートによる
Appleは日本時間10月15日、第7世代となる新しいiPad miniを発表しました。 本日より予約開始となり、発売日は10月23日（水）となります。 Apple Intelligenceに対応するA17 Proチップを搭載、ストレージは前世代の2倍の128GBからとなり、ブルー、パープル、スターライト、スペースグレイの本体カラーが用意されます。 価格は、Wi−Fiモデルが78,800円から、Wi-Fi + Cellularモデルが104,800円。 新しいSmart Folioはも用意され、価格は9,800円です。 iPad mini (第7世代)A17 Proは前世代のiPad miniより2倍高速なNeural Engineを搭載し、前世代のiPad miniに搭載されたA15 BionicよりもCPUパフォーマンスが30パーセント向上、グラフィックス性能も25パーセント向上してい
NTTデバイスイノベーションセンタ長の才田隆志氏は2024年10月11日、次世代情報通信基盤「IOWN（Innovative Optical and Wireless Network、アイオン）」の実現に必要となる光電融合デバイス技術について、同社の研究動向や将来の展望を「日経クロステックNEXT 東京 2024（主催：日経BP、東京国際フォーラム）」で講演した。 生成AI（人工知能）の登場などにより、コンピューターシステムで処理すべきデータが増大の一途をたどっている。通信デバイスに、さらなる通信速度の高速化や低消費電力化が求められる中で、次世代の情報処理の基盤技術として注目されているのが、光回路と電気回路を組み合わせた光電融合技術だ。 光は大容量のデータを小電力で伝送するのに向く。一方、電子を使う電気回路は、デジタル信号処理や情報の記憶を得意とする。つまり、光電融合技術では、情報の伝送は
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
いくつ知ってる？ GitHub Copilotの新機能、コーディングにとどまらない進化を解説
“株式を自動売買”アルゴリズム取引 個人向けサービスの動き | NHK
EuRuKo2024 で発表してきました（YARVの話） - STORES Product Blog
新型iPad mini第7世代と第6世代の違いを確認 - こぼねみ
Apple、iPad mini第7世代を発表 128GBで78,800円から 10月23日発売 - こぼねみ
「半導体と光が融合した世界がくる」、NTT才田氏が描く未来の情報処理