ローカルLLMのPoCに300万円使う前に読んでほしい話｜dx_note

はじめに製造業でローカルLLMの導入が話題になっています。 「ChatGPTは便利だけど、機密情報を扱えない」 「社内にサーバーを置けば、安全に生成AIが使えるらしい」 「最近のローカルLLMは性能が高いと聞いた」 こういった期待を持って、ITベンダーに相談する。担当者は丁寧にヒアリングしてくれます。立派な提案書も届きます。そして見積もり。金額は300万円から1,500万円、期間は3ヶ月から半年。 数ヶ月経って契約が成立し、プロジェクトが進みます。要件定義、環境構築。そして2〜3ヶ月後、ようやく検証環境が完成します。 検討開始から半年が経過。ようやく現場の担当者が触ってみる。 「あれ、このUI、使いにくいな...」 「既存の業務フローに合わない」 「思ったより効果が出ない」 でも、既に300万円を払った後です。 問題は、ITベンダーのPoCが悪いわけではありません。問題は、「触る」のが遅す

[oosin]

多くのJTCは担当者の決裁権が小さすぎて細かくPoCを繰り返すには説明する手間と時間がかかりすぎるのが問題。結果大きく予算とってできる限りの範囲をベンダーに任せるのが最適解になってしまう。

[Eiichiro]

この環境を構築できる人にお金払ってるようなものなので、300万は妥当な気もする。AI案件を組める優秀なエンジニアなら人月200万でも安いだろうし。内製エンジニア育てるにも準備がないなら、もっと時間かかるし。

[bohemian916]

ISMAPに登録されているAzure等を使えばローカルLLMを使う必要はありませんね。ローカルLLM触れば分かるけど、性能的に全然使えない

[nida3001]

メールやビデオ会議をクラウドサービスに頼っちゃうような普通の企業の機密レベルだとせいぜい規約で学習しないことを謳ってるLLMで十分では。

[hanagesan]

こんな面倒くさいところだけ抜き出した単発案件をたった100万円の予算で受けるところなんてあるんだろうか

[tatuyan]

外注だと原価30万のハードと+ソフトで300万円くらいするだろうし,そこまで自力検証出来るならそもそも外注せんやろ

[myr]

せめて150万のmac studioではだめなん? 何やりたいのかわからないけどhttps://pc.watch.impress.co.jp/docs/column/hothot/2002592.html

[bayaread]

というか AWS でも Azure 経由でも、最先端のモデル使えば安くて精度も出るぞ。学習されない、保存されないのは保証されてるし、金融とか医療分野でも事例あるし。わざわざ GPU まわして精度低いモデルを使うことないでし

[hate1229]

会社規模でみると300万程度だけどな。年収300万の人入れてなんとかなると思う？ならんだろ。

[daishi_n]

ハードウェアだけなら「こんなもの」なので内製前提なら、という感じ。とはいえ、外部業者に委託しても工数だけでバカにならんしなぁ。300万ならどんなに大きくても2人月程度でしょ。

[misshiki]

“触らないとわからない課題があります。レポートには書かれない問題があります。段階的に進めることで、それらを早期に発見し、解決できます。 結果的に、無駄のない投資ができます。時間もお金も節約できます。”

[ys0000]

初手はマシンじゃなくてクラウドなのは普通として、メガクラウドじゃないと許可が下りないよね、JTCでは。

[Kazumi007]

POCこそアジャイルな方法で撤退も含めて検討してほしいね

[kyahi227]

グラボが1枚しか積めないマシンを挙げてくる時点でも終わってる。AIはグラボ「しか」使えないから、ちゃんと組んだ「AI専用機」は仮想通貨マイニングリグに近い形になる。

[duckt]

弊社もそう。どこのベンダーさんにお願いしたのか知らないけど、セキュリティがガチガチ過ぎてミリつか。Teamsでもおんなじことやらかしたのに全然教訓が生きてない。「角を矯めて牛を殺す」の好（悪）事例。

[kojikoji75]

“選択肢C: やらない もし効果が見込めないと分かったら、ここでストップします。損失は30万円。300万円のPoCをやってから気づくより、圧倒的に安く済みます”

[reihighjcj6a]

runpodとかvast.aiでいいのでは・・・

[sigeharucom]

そもそもインターネットに繋がってないLAN内でしか作業出来なかったりするから、その選択肢は最初から存在しない→『ISMAPに登録されているAzure等を使えばローカルLLMを使う必要はありませんね』

[circled]

もしかするとMicrosoft 365のサブスクに付いてるCopilot（法人テナントはデータ漏洩防止付き）で十分という会社も多いと思う昨今

[napsucks]

ローカルLLMは速度さえ気にしなければDRAMたくさん積んだ手元のPCでも動きますよ。PoCするならそれでやってみては？たとえ高速になってもまだ能力的に使い物にならないと思いますけどね。

[kootaro]

AI環境構築、PoC進めれる人材を1ヶ月呼んだら150-200はかかるんじゃない？必要経費というか先行投資でしょ。

[sh-taka]

自力でたどり着けるっている好例っていうか。コンサルやベンダーに頼らなくても自力でローカルLLMが革新的に変わっても対応できるだろうなと思う。この内容を理解し実践できる人が多数になればいいのに

[sisicom]

“ローカルLLMは何回もPOCやったけどどれも無理。同じLLMモデルでも、やっぱり商用サービスのように洗練された答えは返ってこない” 機密性の高い情報をAI対応する時の費用感。よっぽどnotebook lmの方がいい気がする

[minoton]

別方向からの記事「 AI目当てでMacやRyzenAIMax+395を買うな」 https://soysoftware.sakura.ne.jp/archives/4060 ／ “EVO-X2（プロセッサ: Ryzen AI Max+ 395、メモリ: 128GB統合メモリ）” もう30万円で買えなくない？

[tpircs]

ITベンダに発注する人にITベンダと同等の能力を求めてる感ある。これができるならそもそも発注しなそう。

[yarumato]

“まず触る。小さく始める。 数百円で1週間試す。30万円で2週間、実環境で検証する。課題も効果も明確になった時点で判断する。”

[prograti]

ローカルLLMのPoCの現場に関わったことないから分からないけど、挙げられているケースならインプットと期待するアウトプットを業者に渡して検証してもらうだけで済んじゃう気も

[KoshianX]

というか相談を受けたらこういう回答をしていくのがいいよねって感じでもあるな

[hiroyuki1983]

300万安すぎじゃない？ 2～3000万はかかるイメージ

[lifefucker]

年収いくらもらってる奴が300万円をケチってんだよ

[kyukyunyorituryo]

GMKtecはマルウェア入りで有名になっていたな　https://www.reddit.com/r/MiniPCs/comments/1cmfyoq/any_info_on_malware_being_on_the_gmktec_brand_pcs/?tl=ja

[Adeptus]

LLMは進歩が早すぎて、ローカルなんてあっという間に陳腐化するからやめた方がいい

[queeuq]

まぁ外部に依頼して構築するのは時間の無駄なのは確か。移り変わりが早すぎるから自前で持つのはかなりのエンジニアを大量に抱えてない限りあり得ない

[tech_no_ta]

すごく参考になる。自分でやってる記事を追う→未来予測精度50%+αを自動化を目指して、仕事では基本使わないのにLLMの勉強してて、どのレベルから投資するかって検討してたので。

[bluescreen]

ローカルLLMは趣味として楽しむのがよい。

[FreeCatWork]

LLM導入、お金かける前にまずお試しなんだね！ボクも新しいおもちゃはすぐには買ってもらえないにゃ〜。

[cinq_na]

昔から言われてることの焼き直し。SIerに丸投げしたら絶対に失敗する。基本設計位までは自前で出来ないとダメ。システムで効率化ってコトは首切るのと同義なんで、システム部と現場が対立するのは役員が対応しないと

[magi00]

社内にこれをこなせるだけの人材がその手間をかけれるだけの余裕をもって在籍しているなら、たぶん読む必要がないな

[ebibibi]

ハードの値段は仕方ないとしても、ローカルLLMを使う環境なんて決め打ちで用意できるんだから環境構築は1日もあればできると思うんだけどな。