公開日 2024/07/30更新日 2024/07/31機械学習基盤のアーキテクチャ特集 〜8社の設計意図と今後の展望〜 毎回ご好評頂いているアーキテクチャ特集の今回のテーマは、機械学習です。 機械学習に特に力を入れている日本のIT企業8社にご協力頂き、それぞれの技術的な挑戦と今後の展望についてご寄稿頂きました。各社のアプローチと最新の技術動向を通じて、次世代のイノベーションを紐解いていきましょう。 ※ご紹介は企業名のアルファベット順となっております 株式会社ABEJA ABEJA Insight for Retailについて ABEJA Insight for Retailは、お客様の店舗訪問から購入までの行動をデータから分析する、ABEJAが提供するDXツールです。店舗にIoTデバイス（カメラや来客カウンター等）を設置し、取得データを顧客企業に提供することで小売店舗の運営を支援していま
著： 玉置 標本 ヤフー株式会社に勤務している長谷川琢也さんは、2011年に起きた東日本大震災のボランティア活動をきっかけに、宮城県石巻市に「ヤフー石巻復興ベース」という事務所を構えて移住した。そこで漁業・水産業というまったく未経験の分野をサポートする道を選び、震災から10年が経ち事務所を閉じた今、ヤフーの社員のまま石巻に残るという決断をした。 彼がなぜ石巻という場所に、漁業というまったく畑違いの業種に惹かれたのか。そして会社側はなぜ10年に渡って彼の行動を許容しているのか。 あの3月11日に34歳の誕生日を迎えて長谷川さんは1977年3月11日生まれの44歳。生まれた場所は東京の阿佐ヶ谷で、幼稚園の途中から高校を卒業するまでは神奈川県横浜市で過ごした。 東北には旅行で来るくらいしか縁のない人生だったが、東日本大震災が起きた日に34歳の誕生日を迎えたことで、彼の運命は大きく方向を変えた。
Apple A4チップやAMD Ryzenの生みの親であるジム・ケラー氏がNVIDIAのCUDAとx86アーキテクチャを「沼」と呼んで批判
AMDのAthlonやZenマイクロアーキテクチャ、Apple A4などさまざまなチップの開発に携わったアーキテクトでエンジニアのジム・ケラー氏が、X(旧Twitter)で「NVIDIAのCUDAは沼です」と批判したことが報じられています。 Jim Keller criticizes Nvidia's CUDA, x86 — 'Cuda’s a swamp, not a moat. x86 was a swamp too' | Tom's Hardware https://www.tomshardware.com/tech-industry/artificial-intelligence/jim-keller-criticizes-nvidias-cuda-and-x86-cudas-a-swamp-not-a-moat-x86-was-a-swamp-too ケラー氏の経歴は以下の記事を
Intelがメモリ標準化で主導権を失うに至った“やらかし”について：“PC”あるいは“Personal Computer”と呼ばれるもの、その変遷を辿る（1/3 ページ） 昔ながらのIBM PC、PC/AT互換機からDOS/Vマシン、さらにはArmベースのWindows PC、M1 Mac、そしてラズパイまでがPCと呼ばれている昨今。その源流からたどっていく連載。第13回のトピックは、メモリ標準化の話。ここでIntelは大きな失策をやらかす。 第1回：“PC”の定義は何か まずはIBM PC登場以前のお話から 第2回：「IBM PC」がやってきた エストリッジ、シュタゲ、そして互換機の台頭 第3回：PCから“IBM”が外れるまで 「IBM PC」からただの「PC」へ 第4回：EISAの出現とISAバスの確立 PC標準化への道 第5回：VL-Bus登場前夜 GUIの要求と高精細ビデオカードの
NVIDIAが開発・提供するGPU向けの汎用並列コンピューティングプラットフォームである「CUDA」を超える生産性と高速コード記述が可能になるようなオープンソースのニューラルネットワーク向けプログラミング言語「Triton」が公開されました。非常に効率的なカスタムディープラーニングプリミティブを作成するための言語コンパイラとなっており、GitHub上で開発リポジトリが公開されています。 Introducing Triton: Open-Source GPU Programming for Neural Networks https://www.openai.com/blog/triton/ OpenAI debuts Python-based Triton for GPU-powered machine learning | InfoWorld https://www.infoworld.
はじめにこの記事は、初めてStable DiffusionのLoRAを作成する方に向けた解説です。わかりづらかったらすみません。 この解説ではSDXLベースのAnimagine-XL-3.1で二次元イラストのキャラクターのLoRAを作成します。 注意すでにWebUIの環境構築と生成ができていて生成に慣れている前提のガイドとなります。 Windows向けのガイドです。 また、NVIDIAのGeForce RTXグラフィックボード(VRAM 8GB以上)が搭載された高性能なパソコンが必要です。 そもそもLoRAってなんぞや？Low-Rank Adaptationが正式名称です。 難しくいうと、ウェイトとデータセットの差分を出力するものです。低ランクの行列に分解してからファインチューンすることで少ないメモリで学習できるようにしたものです。 簡単に言えば、LoRAはキャラ、衣装、シチュエーションや
生成AIグラビアをグラビアカメラマンが作るとどうなる？第十回：実在モデルからSDXL用顔LoRAを作る (西川和久) | テクノエッジ TechnoEdge
https://www.techno-edge.net/special/560/recent/%E7%94%9F%E6%88%90AI%E3%82%B0%E3%83%A9%E3%83%93%E3%82%A2%E3%82%92%E3%82%B0%E3%83%A9%E3%83%93%E3%82%A2%E3%82%AB%E3%83%A1%E3%83%A9%E3%83%9E%E3%83%B3%E3%81%8C%E4%BD%9C%E3%82%8B%E3%81%A8%E3%81%A9%E3%81%86%E3%81%AA%E3%82%8B%EF%BC%9F続きを読む » Modelに無い顔や彼女の顔を出したい！生成AIでポートレート写真やグラビアを作っていると、同じような雰囲気の顔ばかりが結構出るのに気付く。 もちろん何パターンもあるので、毎回同じでもないのだが、XやInstagramなどの生成AI画像
Linux Foundationのプロジェクト、PyTorch Foundationは2022年12月31日（米国時間）、Python用深層学習用フレームワーク「PyTorch」のnightly版ユーザーに対し「すぐにnightly版とtorchtritonをアンインストールし、最新版をインストールしてください」と呼び掛けた。12月25日から30日の間にpipを介してインストールされたパッケージが侵害されていたとしている。 このパッケージは、Python Package Index（PyPI）コードリポジトリで侵害された悪意あるtorchtritonをインストールし、実行するという。 このtorchtritonは、ユーザーの/etc/hosts、/etc/passwdなどのファイルを読み込み、h4ck.cfdというドメインにアップロードする。 PyTorch Foundationは緩和措置
海外映画を使って楽しく英語学習ができれば最高ですね。 これまで１３の映画で使われる英単語を分析してきました。 www.jukupapa.com 映画は英語学習に最適です。 世界中の人に分かりやすいように作られています。 大人にも子どもにも、非ネイティブにとっても分かりやすい英語が使われています。 ユカヒサさん（id:YUKAHISA）とjoker-tさん（@eiyume_joker_t）からリクエストを頂きました。 塾パパさん☆ 私も同世代ぐらいかなぁと感じています♪ ちなみに一番好きなのはリトルマーメイドなので、いずれお願いします♬ https://t.co/vKpTCBMR7P — ユカヒサ (@YUKAHISA_Psyc) February 15, 2020 ぜひぜひ😀 昔、娘をディズニーシーに連れて行った時、英語でアリエル🧜と話す女子高生に出会いました。 娘の女子高生に対する「
ラズパイ活用で“PLCを再発明”、新市場開拓で5年後に売上高10億円規模目指す：FAニュース（1/2 ページ） リンクスは2023年1月17日、東京都内およびオンラインで記者会見を開き、産業用コントローラー「TRITON」を同日より販売すると発表した。価格は標準モデルで6万8000円（税抜き）、初年度に500台、5年後には1万台以上の販売を目指す。 リンクスは2023年1月17日、東京都内およびオンラインで記者会見を開き、産業用コントローラー「TRITON」を同日より販売すると発表した。価格は標準モデルで6万8000円（税別）、初年度に500台、5年後には1万台以上の販売を目指す。 大手メーカーとは競合せず、狙うは「不採算ゾーン」と「ジレンマゾーン」 TRITONは、小型ボードコンピュータ「Raspberry Pi（ラズベリーパイ）」の組み込みモジュール版となる「Raspberry Pi
ChatGPTを筆頭にした「大規模言語モデル(LLM)」と呼ばれるAIが話題に上らない日はない。このAIが得意なタスクには「プログラムの自動生成」が挙げられるが、Metaからプログラム生成に特化したCodeLlamaが商用利用可能なオープンなライセンスでリリースされた。そこで実際に使ってみよう。 CodeLlamaで素数判定のプログラムを自動生成させたところ プログラミングは大規模言語モデルが得意とするタスク リリースからわずか2ヶ月で1億ユーザーを達成した「ChatGPT」の公開から本稿執筆時点で8ヶ月が過ぎた。筆者も業務でChatGPTをはじめ、Github Copilotなど、大規模言語モデル(LLM)関連サービスを使わない日はないくらいだ。 特に「プログラミング」は、間違いなく大規模言語モデルが得意とするタスクであり、GitHub Copilotを利用している多くの人がその利便性を
形式手法のこれまでとこれから - ヾﾉ*＞ㅅ＜)ﾉｼ帳
2019年が終わろうとしています あけおめ～さて2020年になりました。歴史が長い形式手法の今後を占うため、過去と直近の出来事を振り返りたいと思います。 ツッコミやタレコミは私のTwitter宛かあなたのブログかその他経路でお願いします～ シンボリック実行は形式的であるため本稿では形式手法に含めることにします。 Fuzzing関連はサーベイが甘いので漏れが多いかもしれません。 形式手法・形式検証とは 形式検証とは、厳密に定義された意味論の下で仕様やプログラムが所定の性質を満たすことを形式的に検証するための手法をいいます。「形式的に」とは、検証が事前に定義された知識だけに基づいており、検証手順が決定的であることをいうと私は理解しています。 形式手法は、形式検証に加えて、形式的にプログラムの仕様を厳密に定義するための手法を包含します。 本記事では形式手法を以下の通り大きく3つに独自に分類します
砂原良徳 インタビュー【前編】自身がリマスター／再ミックスを手がけた『LOVEBEAT』の”最適化“とは？ - サンレコ 〜音楽制作と音響のすべてを届けるメディア
2001年、日本のエレクトロニック・ミュージック史上、最も重要な作品の一つが誕生した。砂原良徳の『LOVEBEAT』である。時間軸とともに表情を変えていくシンセや電子音楽愛にあふれたSEがちりばめられ、2000年代初頭のエレクトロニカ・ブームやインスト・ヒップホップ・シーンへ大きな影響を与えた。あれから20年、かのマスターピースが砂原自身の手によってリマスターだけでなく、再ミックスまで施されて『LOVEBEAT 2021 Optimized Re-Master』として発売。この作品に込めた思いを存分に語ってもらうことにしよう。 Text：Kentaro Shinozaki Photo：Miyu Terasawa オリジナルは02Rでミックスをしたから、内蔵エフェクトを再現し直す必要があった ー『LOVEBEAT』発売20周年おめでとうございます。 砂原 黙っていても20年たったらそうなるよ
Header ImageHow Replit trains Large Language Models (LLMs) using Databricks, Hugging Face, and MosaicML IntroductionLarge Language Models, like OpenAI's GPT-4 or Google's PaLM, have taken the world of artificial intelligence by storm. Yet most companies don't currently have the ability to train these models, and are completely reliant on only a handful of large tech firms as providers of the techn
オンラインIDEを提供しているReplitでは自社で大規模言語モデルをトレーニングしているらしく、そのノウハウがブログ記事にまとめられていたので要約してみました。 なぜ自社で大規模言語モデルをトレーニングするのか？企業が独自に大規模言語モデル（以下、LLMs）をトレーニングすることを決める理由は、データのプライバシーやセキュリティから、アップデートや改良のコントロールの強化まで様々なものがあるが、Replit社ではカスタマイズ性、依存度の低減、コスト効率に重点を置いている。 カスタマイズ性 カスタムモデルをトレーニングすることで、GPT-4のような汎用モデルやCodexのようなコードに特化したモデルではカバーしきれないプラットフォーム固有の機能、用語、コンテキストなどといった特定のニーズや要件に合わせてモデルを調整することができる。例えば、Replitで人気の高いJavascript Re
tofubeatsが制作環境を見直して生まれた“新しい音楽のつくりかた” 「ゼロからもう一回やり直したいという気持ちがあった」
DTMが普及するなかで、プロ・アマチュア問わず様々なアーティストがDAWを使うようになった時代。アーティストたちはどのような理由でDAWを選び、どのようなことを考えて創作しているのか。また、キャリアを重ねるうえで、自身のサウンドをどのように更新しているのか。 『Live』でお馴染みのAbletonとタッグを組み、それぞれのアーティストのDAW遍歴やよく使っているプラグインやエフェクトなどを通じ、独自の創作論に迫っていく連載企画「わたしたちの『Live』」。第四回目となる今回は、5月に5thアルバム『REFLECTION』をリリースし、11月3日に同作のLP盤『REFLECTION』とリミックス集『REFLECTION REMIXES』の発売・配信を控え、直近でもさまざまなアーティストへの楽曲提供を行うなど、精力的に活動を続けるtofubeatsに話を聞いた。 連載「わたしたちの『Live』
音楽家の経歴やターニングポイントなどを使用機材や制作した楽曲とともに振り返る連載「音楽機材とテクノロジー」。第五回はKREVAに登場してもらった。 TV出演の際に音楽機材の奥深さを熱く語ったり、自身のライブ『完全1人ツアー』では、機材を使った音作りの解説を合間に挟んだりと、機材とそれによって作られる楽曲の関連性を積極的に伝えてきた彼へのインタビュー。今回は、機材についての発信を行うようになった理由や、曲作りの方法、機材を使うにあたって大事にしていることなどについて、じっくりと語ってもらった。（編集部） 「偏った愛を真剣に語ってる人の話って面白い」 ――KREVAさんはいつ頃からこのプライベートスタジオの環境で制作をしているんでしょう？ KREVA：2000年頃、KICK THE CAN CREWのときからここで録音しているので、20年近くになりますね。ヴォーカルブースの位置を変えたり、壁を
ニュース | コルグ は iOS アプリ iKaossilator for iOS と Androidアプリ Kaossilator for Android を期間限定として無料でご提供します。 | KORG (Japan)
* Apple、iPad、iPhone、iPod touch は、米国および他の国々で登録されたApple Inc.の商標です。 * Android、Google Playは、Google Inc.の登録商標です。 * その他すべての商品名または規格名は関係各社の商標または登録商標です。 関連ニュース 2024.05.14Superbooth 2024へコルグが出展2024.04.12コルグ開発のインターネット動画配信システム「Live Extreme」、オタイオーディオ株式会社にて取扱開始のお知らせ2024.04.04KORG USER NET ウェブサイト不具合のお知らせ（2024/4/5追記）2024.02.152025年度新卒採用情報を掲載しました。2024.01.26コルグ/KID関連 NAMMショー出展製品のお知らせ2023.12.01プライバシー・ポリシーを更新しました。20
Introducing Triton: Open-source GPU programming for neural networks
Triton makes it possible to reach peak hardware performance with relatively little effort; for example, it can be used to write FP16 matrix multiplication kernels that match the performance of cuBLAS—something that many GPU programmers can’t do—in under 25 lines of code. Our researchers have already used it to produce kernels that are up to 2x more efficient than equivalent Torch implementations,
20年の時を経て、コルグのミュージック・ワークステーション、TRITONが復活! 拡張音源も含めソフトウェアで完全再現｜DTMステーション
1999年にKORG TRINITY（トリニティー）の後継機として誕生し、世界的大ヒットとなったコルグのミュージック・ワークステーション、TRITON（トライトン）。HI(Hyper Integrated)シンセシス・システムと呼ばれる強力なPCM音源を搭載したTRITONサウンドは90年代後半～2000年代前半のダンスミュージックシーンで数多く使われてきたわけですが、そのTRITONが、KORG Collection（旧称KORG Legacy Collection）の新ソフトウェアとして復活しました。 これまでMS-20、Polysix、Mono/Poly、M1、WAVESTATION、そしてやや異色ながらARP ODYSSEYまでをソフトウェアで忠実に再現してきたKORG CollectionにTRITONが追加されたことで、各時代のシンセサイザ・サウンドを現在のDAWを中心とした音
【初回無料公開】Container from Malaysia(コンテナ フロム マレーシア) 第1話 ポートクラン(Port Klang)への道のり｜ちゃん社長
【初回無料公開】Container from Malaysia(コンテナ フロム マレーシア) 第1話 ポートクラン(Port Klang)への道のり (こちらは有料の定期購読マガジンですが、初回のみ無料で公開しています。是非お楽しみ頂ければ幸いです。またこの物語にはフィクションが含まれますが、書かれている内容は筆者の体験に基づいています) 午前7時20分、氷堂 律(ひょうどう りつ)、通称ちゃん社長は玄関から表に出た。マレーシアの日の出は日本に比べて遅く、朝7時30分頃にならないと外は明るくならない。この太陽が昇る前の時間に近くを散歩しながら朝食を取るのが氷堂の日課だ。 氷堂が住む町はジェラム(Jeram)という町で、首都クアラルンプール(Kuala Lumpur)から車で約1時間15分ほどの場所にある。この街は海沿いの街で、周囲に大きな商店などは何もない。大都市クアラルンプールとは対照
近年は対話型AIのChatGPTや画像生成AIのStable Diffusionなど、さまざまなAIが登場して世間の注目を集めています。これらのAIを開発するために使用される機械学習ソフトウェアの過去10年の変遷について、半導体分野のアナリストであるディラン・パテル氏が解説しています。 How Nvidia’s CUDA Monopoly In Machine Learning Is Breaking - OpenAI Triton And PyTorch 2.0 https://www.semianalysis.com/p/nvidiaopenaitritonpytorch ◆TensorFlow対PyTorch 数年前の機械学習フレームワークエコシステムではGoogleのTensorFlowがフロントランナーであり、機械学習業界を支配する準備ができているように見えたとパテル氏は指摘。ま
DALL-E in Pytorch の使い方｜npaka
以下の記事が面白かったので、ざっくり翻訳しました。 ・lucidrains/DALLE-pytorch: Implementation / replication of DALL-E, OpenAI's Text to Image Transformer, in Pytorch 1. DALL-E in Pytorch 「DALL-E in Pytorch」は、OpenAIのText-to-Image Transformerである「DALL-E」（論文）のPyTorch実装/複製です。生成画像をランク付けするための「CLIP」も含まれます。 Eleuther AIのSid、Ben、Aranは、「DALL-E for Mesh Tensorflow」に取り組んでいます。 DALL-EがTPUで学習されるのを見たい場合は、彼らに手を貸してください。 2. 状態Hannuは、わずか2000枚の
Databricks Container ServiceでTensorRT-LLMを動かしてみた - NTT Communications Engineers' Blog
本記事ではDatabricksのDatabricks Container Serviceを用いてNVIDIA社の推論ライブラリであるTensorRT-LLMを実行可能なNotebook環境を構築する方法を紹介します。 目次 目次 はじめに Databricks Container Service NVIDIA TensorRT-LLM 解決したいこと TensorRT-LLM Container Imageの作成 Databricks Containers ベースイメージの変更 Pytorch バージョンの変更 TensorRT-LLMのインストール 動作確認 Databricks環境設定 TensorRT-LLMのインポート Llama2 HF-7b-instruct モデルの変換 TensorRT-LLMの呼び出し まとめ 参考文献 はじめに こんにちは、NTTコミュニケーションズの露
PyTorch discloses malicious dependency chain compromise over holidays
HomeNewsSecurityPyTorch discloses malicious dependency chain compromise over holidays PyTorch has identified a malicious dependency with the same name as the framework's 'torchtriton' library. This has led to a successful compromise via the dependency confusion attack vector. PyTorch admins are warning users who installed PyTorch-nightly over the holidays to uninstall the framework and the counter
AMDがAIチップ「Instinct MI300」シリーズでNVIDIAの牙城に切り込む、既にOpenAI・Microsoft・Meta・Oracleが採用を決定
AMDがNVIDIA H100の最大1.6倍の性能を誇るGPUである「Instinct MI300X」と、CPUとGPUを組み合わせたAPUである「Instinct MI300A」を発表しました。 AMD Delivers Leadership Portfolio of Data Center AI Solutions with AMD Instinct MI300 Series :: Advanced Micro Devices, Inc. (AMD) https://ir.amd.com/news-events/press-releases/detail/1173/amd-delivers-leadership-portfolio-of-data-center-ai Meta and Microsoft to buy AMD's new AI chip as alternative t
海王星の輪 ウェッブ宇宙望遠鏡が撮影
ジェームズ・ウェッブ宇宙望遠鏡が撮影した海王星とその輪。米航空宇宙局（NASA）が公開（2022年9月21日公開）。(c)AFP PHOTO /NASA/ESA 【9月22日 AFP】米航空宇宙局（NASA）は21日、ジェームズ・ウェッブ宇宙望遠鏡（James Webb Space Telescope）が撮影した海王星とその輪の画像を公開した。光る海王星と、塵（ちり、固体微粒子）に富む複数の細い輪が鮮明に捉えられている。 太陽系の最も外側にある惑星の海王星。これほどはっきりした画像が得られたのは、NASAの探査機ボイジャー2号（Voyager 2）が史上初にして唯一のフライバイ（接近通過）観測を実施した1989年以来のことだ。この時の観測はわずか数時間で終わった。 ハッブル宇宙望遠鏡（Hubble Space Telescope）で撮影された以前の画像では、大気に含まれるメタンにより、海王
ホラガイとオニヒトデの関係がBLだと思う｜メキ
※このページの情報は自由に創作に使ってください。 ※BLじゃなくてもいいぞ(雑食並感) ホラガイ Charonia toritonis 肉食の大型巻き貝。 ラッパにされがち。英名も「トリトンのトランペット」。 オニヒトデの天敵と言われるが、実はヒトデ、ウニ、ナマコなどの棘皮動物を好んで食べるので、別にオニヒトデだけを食べるわけではない。 マイペースかつスローペースなので、人間が期待するほど駆除に実用性があるわけではないが、生態系の一環であることには間違いない。 実は瞳がつぶらでかわいい。 でかいカタツムリっぽいのでのんびり生きていそうに見えるが、肉食なのでアグレッシブかつマッチョであり、ヒトデを追跡してのしかかって捕食する。 ひとたびホラガイが出現するとその場の棘皮動物たちは一斉に逃げ出し、それをホラガイが追跡する命懸けの追いかけっこが始まる。 彼らにとっては生死の境目なので本当に必死なの
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る | CyberAgent Developers Blog
MLOps年末反省会: Triton Inference Server を深層学習モデル推論基盤として導入したので振り返る この記事は CyberAgent Developers Advent Calendar 2022 の5日目の記事です。 AI事業本部でソフトウェアエンジニア（機械学習 & MLOps領域）をしている yu-s (GitHub: @tuxedocat) です1。現在は 極予測LP という、広告ランディングページの制作をAIにより刷新するという目標のプロダクトに関わっています。 この記事では本プロダクトのMLOpsの取り組みのうち、特に深層学習モデルをデプロイして運用する基盤についての技術選定を振り返ってみます。 タイトルにあるとおり Triton Inference Server というOSSの推論基盤を導入しました。 前置き: プロダクトやチームなどの環境と経緯 本記
AMDの最優先事項は「ROCm(Radeon Open Compute platform)」の発展だとAMD幹部が明言、オープンソースのプログラミング言語「Triton」の採用でNVIDIAに反撃へ
アメリカの半導体メーカー「AMD」はCPUシリーズの「Ryzen」やGPUシリーズ「Radeon」の開発や製造を行っています。そんなAMDは自社の最優先事項について、「機械学習向けGPU環境やプラットフォームのROCmがAMDにおける最も優先度が高い事業です」と述べています。 ROCm Is AMD’s No. 1 Priority, Exec Says - EE Times https://www.eetimes.com/rocm-is-amds-no-1-priority-exec-says/ これまでAMDのROCmは、競合企業であるNVIDIAのGPU向けソフトウェア「CUDA」に大きな遅れを取っていたとのこと。そこで、AMDでは2022年からROCmの開発をAMD内における最優先事項に設定し、AMDがこれまで培ってきたソフトウェア開発などのノウハウを詰め込んだ新しい組織を立ち上げ
前提知識MPT-7Bは最近発表された商用利用可能な大規模言語モデルで、LLaMAに匹敵する性能を持っていると言われています。 ABCIは経産省が管轄する日本在住者なら誰でも安価に使えるスーパーコンピュータです。 (ただし登録がいろいろ大変なので法人が前提です/利用料は最低20万円から) 対象読者行間が読める人。本文が間違っていても自分でソースコードに手を加えて修正できるスキルがある人。ABCIを使えるポジションの人。 僕も人間なのでミスはよくありますし、備忘録とこれからやろうとする人のために書いています。質問は受け付けません(自分でなんとかしてください)。 準備思ったより大変だったのでメモ まず、大前提として自宅のA6000x2のマシンでできるかと思ったら、ダメだった(12:57更新。ウソ:A6000x2でちゃんとできました)。 まず、MPTはTransformerなのでRWKVと違い、V
空点描、自転車のことあれこれ-内野日誌
▽自転車の記事をいくつかブックマークしてあったのでピックアップ。自転車というのはとてもエコロジーな乗り物なので多くの可能性を秘めていると思う。私は現在スーパーカブが日常の足になっているのだけど、自転車で移動可能ならそうしたい。ただ、畑に行くのにスーパーカブでも３０分ほどかかるし、水やら道具を運ぶので自転車は辛かった。一時期は自転車だったのだけど、今考えると過酷なことをよくやっていたと思う。 「自転車キャンピングカー「Z-TRITON」は今年発売です！」https://internetcom.jp/206848/z-triton 可能性という意味でこの記事の自転車は衝撃的だ。バイクでもキャンプ道具を積み込んで出かける人は多いけど自転車ではあまり聞かない。この自転車はさらに斜め上をいっていて、コンパクトなキャンピングカーというかキャンピング自転車になっている。通常なら重たいものを牽引して走らせ
音楽家の経歴やターニングポイントなどを使用機材や制作した楽曲とともに振り返る連載「音楽機材とテクノロジー」。第五回はKREVAに登場してもらった。 TV出演の際に音楽機材の奥深さを熱く語ったり、自身のライブ『完全1人ツアー』では、機材を使った音作りの解説を合間に挟んだりと、機材とそれによって作られる楽曲の関連性を積極的に伝えてきた彼へのインタビュー。今回は、機材についての発信を行うようになった理由や、曲作りの方法、機材を使うにあたって大事にしていることなどについて、じっくりと語ってもらった。（編集部） 「偏った愛を真剣に語ってる人の話って面白い」 ――KREVAさんはいつ頃からこのプライベートスタジオの環境で制作をしているんでしょう？ KREVA：2000年頃、KICK THE CAN CREWのときからここで録音しているので、20年近くになりますね。ヴォーカルブースの位置を変えたり、壁を
by Team PyTorch This post is the second part of a multi-series blog focused on how to accelerate generative AI models with pure, native PyTorch. We are excited to share a breadth of newly released PyTorch performance features alongside practical examples to see how far we can push PyTorch native performance. In part one, we showed how to accelerate Segment Anything over 8x using only pure, native
Canonicalによる『Everything LTS』/12年サポートのDockerイメージ構築サービス Ubuntuを使った、しかしUbuntuだけではないサービスの提供が開始されます。Canonicalから、『Everything LTS』有償サービスの提供が開始されることがアナウンスされました。 これはDockerイメージを設計＆構築（design-and-build）する有償サービスで、オープンソースソフトウェアやその依存関係にあるライブラリについて、「Ubuntuに含まれているかどうかにかかわらず」（whether or not that software is already packaged in Ubuntu.）、12年間のセキュリティメンテナンスを提供するサービスが付随するものです。作成されるDockerイメージは「Ubuntuベース」と「Distroless」
Transformers4Recで簡単にセッションベースなレコメンデーションを試してみた - Taste of Tech Topics
アクロクエスト アドベントカレンダー 12月14日 の記事です。 こんにちは。最近テニス熱が再燃している@Ssk1029Takashiです。 深層学習の界隈はここ最近はTransformerアーキテクチャが様々な分野で高い精度を出しています。 そんな中NVIDIAから、Transformerを使ってセッションベースのレコメンドを学習できるTransformers4Recというライブラリがリリースされています。 github.com 簡単に精度が高いレコメンドが試せるライブラリとのことなので、チュートリアルをベースに試してみました。 ブログの内容は以下になります。 注意点として、ライブラリの使い方に主眼を置いているので、モデルの詳細な中身や前処理の具体的なコードの説明はこの記事では説明していません。 セッションベースのレコメンデーションとは Transformers4Recとは 実際に使って
スペクトラム・テクノロジーが、Raspberry Piを使ってChatGPTの基礎から応用まで学習できる「はじめてのchatGPT開発キット」を発売した。 同開発キットは、ハードウェアに「Raspberry Pi 4 Model B」を採用。APIプログラムとして、OpenAI、LangChain、LlamaIndex、AI detectorを同梱するオールインワンタイプの開発キット。ソフトウェアのインストールが不要で、初心者でもすぐに使うことができる。 LangChainは長文入力向け、LlamaIndexは自社のデータなどとの接続向け、AI detectorは結果検証向けのAPIで、事例も提供する。画像生成AIのStable DiffusionやGPUコードで動作するプログラム言語のTriton、また音声入力などもオプションとして提供する。 Raspberry Pi 4 Model B
PyTorch 2.0
Overview Introducing PyTorch 2.0, our first steps toward the next generation 2-series release of PyTorch. Over the last few years we have innovated and iterated from PyTorch 1.0 to the most recent 1.13 and moved to the newly formed PyTorch Foundation, part of the Linux Foundation. PyTorch’s biggest strength beyond our amazing community is that we continue as a first-class Python integration, imper
高速なPython互換言語「Mojo」を用いたAIプラットフォーム「MAX」発表。ModCon '23 高速なPython互換言語「Mojo」の開発元であるModular社は、同社として初のイベント「ModCon '23」を12月4日にサンフランシスコで開催しました。 基調講演では、AI処理を高速に実行するプラットフォーム「MAX」（Modular Accelerated Xecution (MAX) Platform）が発表されました。 MAXはオンプレミスやクラウドにインストール可能なソフトウェアであり、AIの推論処理を高速に実行する「MAX Engine」、推論処理にアクセスするためのAPIなどのサービングシステムを提供する「MAX Serving」、そして高速な処理を実現するプログラミング言語である「Mojo」から構成されています。 MAX Engine PyTorchやTenso
機械学習エンジニアの吉田です。今回は機械学習モデルの推論サーバとして NVIDIA Triton Inference Server の性能を検証した話です。 (追記) 続編も書きました tech.layerx.co.jp 背景 バクラクでは請求書OCRをはじめとした機械学習モデルを開発していますが、これらの機械学習モデルは基本的にリアルタイムで推論結果を返す必要があります。 請求書OCRを例にとると、お客様が請求書をアップロードした際にその内容を解析し、請求書の金額や日付などを抽出します。 このような推論用のAPIサーバはNginx, Gunicorn/Uvicorn, FastAPIで実装し、PyTorchモデルをGPUで推論する構成となっており、SageMaker Endpointを使ってサービングしています。 バクラクの推論APIはこのような構成でリリース以降特に問題なく稼働してきて
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
機械学習基盤のアーキテクチャ特集 〜8社の設計意図と今後の展望〜 - Findy Tools
ヤフーからの復興支援として石巻に移住し、水産業の課題解決に取り組み、震災から10年が経った今も住み続ける理由（文・玉置標本） - SUUMOタウン
Intelがメモリ標準化で主導権を失うに至った“やらかし”について
オープンソースのニューラルネットワーク向けプログラミング言語「Triton」をOpenAIが公開
Stable DiffusionのLoRAのつくりかた｜RedRayz
PyTorchのnightlyに侵害 「すぐにアンインストールしてください」
ディズニーで英語学習！「リトルマーメイド」で使われる英単語を分析してみました。 - 塾の先生が英語で子育て
ラズパイ活用で“PLCを再発明”、新市場開拓で5年後に売上高10億円規模目指す
ゼロからはじめるPython(106) プログラム生成AIのCodeLlamaを手元のPCでも動かしてみよう
Replit — How to train your own Large Language Models
大規模言語モデルを自社でトレーニング＆活用する方法｜mah_lab / 西見 公宏
KREVAはなぜ音楽機材について積極的に発信する？ 「音楽ができた瞬間の喜びを分け与えたい」
ChatGPTやStable Diffusionを生み出した「機械学習ソフトウェア」の10年間の流れを専門家が解説
ABCIでMPT-7Bのファインチューニングを試す｜shi3z
KREVAはなぜ音楽機材について積極的に発信する？ 「音楽ができた瞬間の喜びを分け与えたい」
Accelerating Generative AI with PyTorch II: GPT, Fast
Canonicalによる『Everything LTS』/12年サポートのDockerイメージ構築サービス | gihyo.jp
初心者でも簡単にすぐ使えるChatGPT開発キットが発売｜fabcross
高速なPython互換言語「Mojo」を用いたAIプラットフォーム「MAX」発表。ModCon '23
NVIDIA Triton Inference Server の性能検証 - LayerX エンジニアブログ