タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
70Bパラメータのモデルをfp16で動かすには約140GBのVRAMが必要です。RTX 4090が6枚相当になります。クラウドGPUのレンタルも時間単価が高く、常時利用には向きません。 この余剰GPUを集約して1つの推論基盤にするのがmesh-llmの着眼点です。 技術的な仕組み:2つの並列化戦略 mesh-llmはモデルの種類を自動判定し、最適な並列化戦略を選択します。この自動選択がmesh-llmの核心であり、ユーザーは並列化方式を意識する必要がありません。 パイプライン並列(Dense Model向け) Llama系やQwen系のDenseモデルに適用される方式です。モデルのレイヤーを複数ノードに分割し、データを順番に流していきます。 データの流れは次の通りです。 入力トークンがノードA(前半レイヤー担当)に送られる ノードAが中間表現(hidden states)を計算し、ノードB
おはようございます、もきゅりんです。 Shall we mesh ? 弊社コンサルティングには、今一度 AWS の各サービスを初心に返って、基本的な部分から見つめ直してみよう、解説してみようといったブログリレーという企画があるのですが、本稿はそれを模して、個人的な AWS App Mesh 再入門という体にしてみました。 どちらかというと、未来の自分のための備忘録と言えます。 これまで AWS App Mesh (以下 App Mesh) に入門されていなかった方も、すでに脱会されてしまった方も興味があれば再入門して下さい。 App Mesh とは何か サービス(アプリケーション)間の通信制御と可視性を実現するサービスメッシュを提供する AWS マネージドサービス です。 ブラックベルトにならってまとめると以下のような機能があります。 HTTP通信のリトライやタイムアウト 通信のトレーシン
Istioは、サービスメッシュを実現する新たな仕組みとして試験的に開発していた「Ambient Service Mesh」をメインブランチに統合し、正式な機能として組み込んで行く方針であることを発表しました。 現在のIstioは、各サービス(≒KubenetesのPod)ごとにプロキシを配置し、サービス間のネットワークをプロキシ経由で構成することによってサービスメッシュを構築しています。これによりサービス間の通信のトラフィックコントロール、暗号化、可観測性(オブザーバビリティ)などの機能が実現されるわけです。 この仕組みは、サービスの隣にプロキシを配置することから、「サイドカー」パターンなどと呼ばれています。 しかしPodごとにサイドカーをデプロイする必要があるため、これにかかる手間やリソースの消費が課題でした。 eBPFを用いたサイドカーフリーなCiliumへ注目が集まる そうした中で最
Istioは、サービスメッシュを実現する新たな仕組み「Ambient Mesh」を発表しました。 現在のIstioは、各サービス(≒KubenetesのPod)ごとにプロキシを配置し、サービス間のネットワークをプロキシ経由で構成することによってサービスメッシュを構築しています。これによりサービス間の通信のトラフィックコントロール、暗号化、可観測性(オブザーバビリティ)などの機能が実現されるわけです。 この仕組みは、サービスの隣にプロキシを配置することから、「サイドカー」パターンなどと呼ばれています。 新たな仕組み「Ambient Mesh」では、Pod群をホストしているノードにプロキシを配置し、このプロキシによってサービスメッシュの機能を実現します。 Podごとのプロキシ配置が不要になる、つまり「サイドカーレス」(Sidecar-less)なパターンとなることで、デプロイや管理の容易、コン
LinuxカーネルをフックするeBPFによるサービスメッシュを、Kubernetesに加えてVMやパブリッククラウドまで拡大する「Cilium Mesh」が登場 Linuxのカーネルをフックする「eBPF」(extended Berkeley Packet Filter)と呼ばれる仕組みを用いてサービスメッシュを構成する「Cilium」などを開発するIsovalentは、Kubernetesだけでなく仮想マシンやパブリッククラウドまでをカバーするサービスメッシュを実現する「Cilium Mesh」を発表しました。 Introducing Cilium Mesh. Cilium & eBPF powered networking, security, and observability for VMs, servers, and existing networks across cloud,
Amazon Web Services ブログ AWS App Mesh を使用した Amazon ECS でのカナリアデプロイパイプラインの作成 この記事は Create a pipeline with canary deployments for Amazon ECS using AWS App Mesh を翻訳したものです。 この記事では Amazon Elastic Container Service (Amazon ECS) で実行されるアプリケーションのカナリアデプロイ戦略を、AWS App Meshと組み合わせて実装する方法を説明します。ALB の加重ターゲットグループを使用した AWS CodeDeploy でのカナリアデプロイを行う場合はこちらの記事を参照してください。 Amazon ECS や Amazon EKS などのコンテナオーケストレータを利用することで、世界中
Mesh LLMは、複数のコンピューターの余剰GPU計算資源を持ち寄り、1台では動かしにくい大規模言語モデルを分散実行できるようにする仕組みです。OpenAI互換APIを備えており、既存のAIツールやエージェントからそのまま使いやすい点が特徴です。 mesh-llm — Decentralised LLM Inference https://docs.anarchai.org/ michaelneale/mesh-llm: reference impl with llama.cpp compiled to distributed inference across machines, with real end to end demo https://github.com/michaelneale/mesh-llm Mesh LLMは余剰GPUを束ねて大きなモデルを動かすための分散推論基盤で
By Andrew Nguonly, Armando Magalhães, Obi-Ike Nwoke, Shervin Afshar, Sreyashi Das, Tongliang Liu, Wei Liu, Yucheng Zeng BackgroundOver the next few years, most content on Netflix will come from Netflix’s own Studio. From the moment a Netflix film or series is pitched and long before it becomes available on Netflix, it goes through many phases. This happens at an unprecedented scale and introduces
LLMが3Dモデル情報を出力するLLaMA-Mesh、そのBlenderアドオンであるMeshGenで遊びます。 番外編では、ChatGPTを使って同じく3Dモデリングさせてみます。 はじめに LLaMA-Meshをざっくり理解する MeshGenで3Dモデリング MeshGenをBlenderにインストールする MeshGenの使い方 机の3Dモデルを生成する 椅子の3Dモデルを生成する 盆栽の3Dモデルを生成する 番外編: ChatGPTで3Dモデリング 机の3Dモデルを生成する 椅子の3Dモデルを生成する 盆栽の3Dモデルを生成する おわりに 参考 はじめに 近年は3Dモデルを出力する生成AIモデルも続々出てきています。 ローカルで簡単に試せるものはないかと探していると、NVIDA Labsが最近発表した"LLaMA-Mesh"というモデルを見つけました。 [2411.09595]
この記事では、Cloud Service Mesh for Cloud Run を利用して PR 環境を構築する方法について紹介します。 背景・概要 newmo ではトランクベース開発を行なっているため、開発環境での動作確認は main branch (trunk) に merge されていることが前提になっています。 そのため現状では、手軽に開発環境で API の動作確認ができなかったり、動作検証が十分でないコードが main branch に merge されてしまう課題があります。CI での test 実行などにより一定品質は担保していますが 、PR 環境 (GitHub の Pull Request ごとに用意される一時的な環境) で QA ができれば問題発見のタイミングを前にずらすことができます。 PR 環境の要件は以下の通りです。 機能追加を行なった PR が実際に Cloud
西川善司の3DGE:Primitive Shader対Mesh Shaderの真実。ジオメトリパイプライン戦争の内幕とAMDのゲーマー向けGPU戦略 ライター:西川善司 去る2022年12月,AMDのDavid Wang氏(Senior Vice President,Engineering,Radeon Technologies Group,AMD)とRick Bergman氏(Executive Vice President,Computing and Graphics Business Group,AMD)にインタビューする機会があった。 役職名からも分かるとおり,Wang氏とBergman氏は,AMDにおけるRadeon GPU戦略の中心にいる人物である。インタビューでは,同社のGPU戦略について筆者が気になることのあれこれを聞けたので,その概要をレポートしよう。 David Wan
この記事はTech KAYAC Advent Calendar 2022 22日目の記事です。 こんにちは! ハイパーカジュアルゲームチームのフロントエンドエンジニアの深澤です。 WebGL2で、スキニング処理をしているGLTFのモデルを GPU Instancing で大量に表示するデモを作ってみました。影を落とす処理も合わせて、会社の Mac Chrome では30,000個ほど、私物 iPhoneX Safari では2,000-3,000個ほどは60FPSで表示できていそうです。 URLはこちらです。 デモサイト: https://takumifukasawa.github.io/PaleGL/demos/grass-skinning-gpu-instancing/ デモのgithub: https://github.com/takumifukasawa/PaleGL/tree/m
Aboutこの記事は、「Data Mesh」について書かれたものです。参考文献に記載された内容をベースとして、個人的な感想や意見を加えたものです。 事例ではありません。 TL;DRData Mesh はデータ基盤の新しいアーキテクチャ原則であり、現在主流である中央集中型のデータ基盤と、そこから起こる問題への解決策です。Data Mesh はマイクロサービスと DDD から着想を得ており、データの生成・管理・提供を中央ではなくドメインごとに管理します。管理が分散することでスケーラビリティ・自律性を確保しつつ、統一的なガバナンスを保持できるアイデアです。主な想定読者Data Mesh が気になる方データ基盤を開発・保守するデータエンジニアデータマネジメントをより洗練させたいと感じている方Data Mesh の登場した背景 (WHY)詳細に入る前に、Data Mesh が前提に置く現代のデータ基
Many organizations have invested in a central data lake and a data team with the expectation to drive their business based on data. However, after a few initial quick wins, they notice that the central data team often becomes a bottleneck. The team cannot handle all the analytical questions of management and product owners quickly enough. This is a massive problem because making timely data-driven
昔購入してから封印していた物シリーズ、今回はメッシュベルトをピックアップ。 どれも手頃な値段だった様な気があるけど、購入時期などは正確には覚えていない。 随分前に記事にしたスタッズベルトとは違って、このメッシュベルトは現在使用中。 この時期にジーンズを履くと腰回りに汗をかきやすくて、少しでも軽減出来ないかと思い メッシュベルトは編み込んで隙間がある分、一枚革よりも夏向きということで使っている。 実際に使ってみて劇的に変わってはいないけど、これで夏を乗り切ろうというところ。 バックルの形状にもよるけど、メッシュベルトだとヴィンテージ系のアメカジ感が和らいで ニュートラルなカジュアルというか、大人っぽさが出ている様な雰囲気になる。 細いと更に大人っぽく感じ、バキバキに入ったヒゲも右側は印象が違って見える。 左はネルシャツやスウェットで、右はポロシャツなどを着ていそうなイメージ。 ここ何年か履き
Containers Migrating from AWS App Mesh to Amazon ECS Service Connect After careful consideration, we have made the decision to discontinue AWS App Mesh, effective September 30th, 2026. Until this date, existing AWS App Mesh customers will be able to use the service as normal, including creating new resources and onboarding new accounts via the AWS CLI and AWS CloudFormation. Additionally, AWS will
サービスメッシュとは なんのために?なにを解決する?: サービスメッシュは、大規模な組織でのマイクロサービスの適用によって顕在する開発・運用上の問題に対処するためのツールです: オブザーバビリティ: システム全体がネットワークをまたいでしまい複雑になり開発時のトラブルシューティング・運用時の障害解決までの時間が増加する問題 障害分離: 分散ネットワークでのベストプラクティスであるリトライやタイムアウト等の実装が必要な問題 セキュリティ: ネットワーク通信増加によるセキュリティリスクの増加。アプリケーション間の通信のアクセス管理の問題。 この3領域の問題に対処するために導入・利用されます。 ネットワーク通信に関わる問題への対処をアプリケーションから切り離してインフラ層で実装するため、プロダクト開発者はよりプロダクト開発に集中でき、またシステム全体で一貫性のある実装・設定を維持しやすいため運用
A Free tool to create beautiful mesh gradients only with CSS code. Use your own colors or randomly generated ones to build the trendiest CSS gradients of 2023
Today, we are excited to introduce “ambient mesh”, and its reference implementation: a new Istio data plane mode that’s designed for simplified operations, broader application compatibility, and reduced infrastructure cost. Ambient mesh gives users the option to forgo sidecar proxies in favor of a data plane that’s integrated into their infrastructure, all while maintaining Istio’s core features o
この記事は インフォマティカ Advent Calendar 2022 Day14 の記事として書かれています。 はじめに データマネジメントのエバンジェリストをやっているもりたくです。 本日は、先日解説した「データファブリック」と並んで関心の高いデータマネジメントワードである「データメッシュ」について解説したいと思います。 この記事を読んだ人が「データメッシュとは何でどう実現すべきものか、データファブリックとの違いは何か?」を少しでも理解できれば嬉しく思います。 データメッシュとは何か? データメッシュという用語は、2019年にZhamak Dehghaniによって最初に定義されています。よりディープにデータメッシュについて知りたい方は、本記事を読んだ後に、以下の情報を熟読することをお薦めします。 How to Move Beyond a Monolithic Data Lake to
広く使われる仕様にセキュリティ上の問題が発見された場合、影響を受けるシステムの数が多くなるため、注意が必要だ。最近のデバイスでよく使われる「Bluetooth」の仕様に脆弱(ぜいじゃく)性があることが発見された。この脆弱性を利用されると、なりすまし攻撃を受けたりAuthValueの漏えいなどが発生する危険性があるとされている。 米国CERT Coordination Centerは2021年5月27日(現地時間)、「Bluetooth Core」および「Bluetooth Mesh」の仕様をサポートするデバイスに、ペアリング時に攻撃者が正規のデバイスになりすますことができる脆弱性が「存在する可能性がある」と伝えた。影響を受けるベンダー製品が広範囲に渡る可能性があるため警戒してほしい。
Teamsでアバターが利用可能に MSが「Mesh for Microsoft Teams」を発表 2021年11月2日、マイクロソフトは「Mesh for Microsoft Teams」を発表しました。2022年前半にプレビュー版の提供開始を予定しており、同社のコラボレーションプラットフォーム「Teams」で、3Dアバターの利用が可能になるとしています。 バーチャルと現実をつなぐフレームワーク「Microsoft Mesh」 マイクロソフトは、2021年3月にMR(Mixed Reality:複合現実)フレームワーク「Mesh」を発表。Azureを利用し、VRやARでアクセスするバーチャルな世界と、物理的な現実世界を繋げることが可能になる技術として、今後の活用が注目されていました。
⚠️ Built with caffeine and anger. Harnesses used: Goose, pi, Claude Code. Models: Opus, GPT 5.x, some MiniMax M2.5 and GLM 4.7 Flash. Pool spare GPU capacity to run LLMs at larger scale. Models that don't fit on one machine are automatically distributed — dense models via pipeline parallelism, MoE models via expert sharding with zero cross-node inference traffic. Have your agents gossip across the
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く