LLaVA-NeXTで作業動画から画像入りの手順書を作成してみる
はじめに 株式会社ファースト・オートメーションCTOの田中(しろくま)です！ 生成AIによる文章生成が発展してく中で、入力に関して文章だけでなく様々な入力を扱えるようになってきています。音声や画像だけでなく、 GoogleのGemini 1.5 Proでは最大で1時間程度の動画を入力として扱うことができます。 弊社では製造業向けの生成AIを活用したプロダクト・サービス展開を行っており、この動画入力の技術を用いて、 製造現場での作業動画から作業手順書 を作るということを今回試してみたいと思います。 以下の2つのモデルで作業手順書の作成を行います。 Google Gemini 1.5 Pro Exp 0806 LLaVa-NexXT 前者はGoogleが提供しているクラウド環境で動く生成AIモデルです。 後者はByteDanceなどの研究者たちによって作られた オープンなマルチモーダル生成AI
【7/5（金）】DevelopersIO 2024 SAPPORO #devio2024 (2024/07/05 17:45〜)
注意 現在X(旧Twitter)でのソーシャルログインができない事象を確認しています。事前にX(旧Twitter)側で再ログインした上でconnpassのソーシャルログインを行うか、 「ユーザー名(またはメールアドレス)」と「パスワード」の組み合わせでのログインをお試しください。合わせてFAQもご確認ください。 お知らせ 2024年9月1日よりconnpassサービスサイトへのスクレイピングを禁止とし、利用規約に禁止事項として明記します。 9月1日以降のconnpassの情報取得につきましては イベントサーチAPI の利用をご検討ください。 お知らせ connpassではさらなる価値のあるデータを提供するため、イベントサーチAPIの提供方法の見直しを決定しました。2024年5月23日(木)より 「企業・法人」「コミュニティ及び個人」向けの2プランを提供開始いたします。ご利用にあたっては利用
AWS Distributed Load Testingを使うと手軽にAWS内での負荷試験が出来るという話 - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、現在進めているプロジェクトでの負荷試験で、AWS Distributed Load Testing を使って比較的手軽にAWS内での負荷試験を行うことが出来たのでその内容を紹介しようと思います。 内容はざっくり下記3点です。 これまで使ってきた負荷試験ツールとその悩み AWS Distributed Load Testingとは 実際の負荷試験の様子 これまで使ってきた負荷試験ツールの悩み 新規システムを開発し、サービスに導入する際には、負荷試験が必要になるケースも多いと思います。 負荷試験は、開発したシステムが想定リクエストに対して性能面で問題なく稼働出来るかをユーザに提供する前にチェックする目的で行うのが一般的です。 内容としては、レイテンシやステータスコードのエラー数等をレポートし、それらが基準として定めたパフォー
手軽に負荷テストができるツール「Taurus」がスゴい
modules: jmeter: version: 5.4.1 # ここに書いてあるバージョンを勝手にダウンロードしてくれる properties: log_level.JMeter: WARN log_level.JMeter.threads: WARN system-properties: org.apache.commons.logging.simplelog.log.org.apache.http: WARN 既存ツールのラッパーとして動作 デフォルトでは内部的にJmeterが実行されますが、以下のようなツールで作成されたスクリプトを流用することが可能です。 JMeter Gatling Locust Selenium Vegeta つまり、さきほどはYAMLでシナリオが記述可能とは言いましたが、もちろん既存のスクリプトを流用できるってことです。 いままで作り上げてきたスクリプトや
Azure OpenAI 東日本リージョン(Japan East)でGPTの標準デプロイのモデルが利用できなくなる？(2024年8月)
Azure OpenAI 東日本リージョン(Japan East)でGPTの標準デプロイのモデルが利用できなくなる？(2024年8月) この記事について 顧客データ活用を支援しているインキュデータでは、企業が保有するデータと生成AIの利用支援を行っています。 Microsoft社の公式ドキュメントの情報を元に記載していますが、独自の解釈が含まれます。 2024年6月時点との変更点まとめ 東日本リージョンの標準デプロイが利用できるモデルの終了・アップグレード日が変わりました。 GPT-4(vision-preview)は2024年11月15日以降に更新されるとされました。 GPT-3.5-turbo（0613）の終了日が2024年8月1日から2024年10月1日になりました。 GPT-3.5-turbo-16k（0613）の終了日が2024年8月1日から2024年10月1日になりました。 2
ガートナーがインフラ・テクノロジーのハイプ・サイクル発表、RAGへの期待が高まる
ガートナージャパンは2024年8月7日、先進技術の普及度合いを示す「日本における未来志向型インフラ・テクノロジのハイプ・サイクル：2024年」を発表した。2024年版では新たに検索拡張生成（RAG）、マシン・カスタマー、ヒューマノイド、エンボディドAI（人工知能）、大規模振る舞いモデル（LBM）が追加された。 2024年版の「過度な期待」のピーク期にあるのは、自律分散型組織やPeople-Centric、サスティナビリティー管理ソリューション、RAG、コネクテッド・プロダクト、生成AI、デジタル・ツイン、デジタル倫理といった技術だ。ガートナーのハイプ・サイクルは、技術を黎明（れいめい）期、「過度な期待」のピーク期、幻滅期、啓発期、生産性の安定期という5つのフェーズに分類する。イノベーションが過度にもてはやされる期間を経て幻滅期を迎え、最終的には市場や分野で重要性や役割が理解されて進化すると
官公庁の入札情報をもとにしたトレンド分析、公示案件数の最多は「デジタル社会推進（DX）」 | DXマガジン
うるるが運営する入札情報速報サービス「NJSS（エヌジェス）」の「NJSS入札リサーチセンター」は、「令和6年度の国家予算トレンドとデータで見る官公庁入札」を発表しました。今回の調査では、特にデジタルトランスフォーメーション（DX）の推進と生成AI活用関連の落札金額が年間約2,000億円に達し、行政のデジタル化とAI技術の導入が重視されていることが明らかになりました。 令和6年度の国家予算は112兆円を超える規模であり、経済復興、環境対策、デジタル化、防衛強化、社会保障の充実など、様々な課題に対応するための資金が配分されています。特に、DXと地域創生、GX・エネルギー・環境、観光の3つの分野に注目し、これらの分野に関連する入札案件を「NJSS」に登録されている情報から抽出し、調査・分析を行いました。 DX・地域創生分野では、行政システムのデジタル化やオンライン公共サービスプラットフォームの
Copilot for M365徹底活用ガイドブック～巻末にゴールデンプロンプト集掲載～
現場ユーザーが実務でCopilot for M365を徹底的に活用するためのチップスを詰め込んだガイドブックです。巻末には、コピー＆ペーストですぐに使えるプロンプトを全部で50個掲載。
【独自】自治体ITシステムの標準化「スケジュール通りは3割だけ」の衝撃！情報公開請求で分かった大遅延
DX180社図鑑 株高＆高給はどこ？ DX（デジタルトランスフォーメーション）が進まなければ、2025年以降に大きな経済損失が発生する、と経済産業省が予言した「2025年の崖」まであと1年。企業・国・自治体でDXを取り巻くさまざまな動きが起きている中、関連企業の業績や株価はどうなるのか。基幹系システムトラブルから自治体・業界ごとのDX事情、生成AIまで、酸いも甘いもあるDXの森羅万象を見通しながら、次の成長企業を探そう。 バックナンバー一覧 国は2025年度末までに、自治体の20の業務をつかさどるITシステムの標準化を進めている。移行が刻一刻と迫る中、国の度重なる仕様変更などからプロジェクトは大幅に遅れている。ダイヤモンド編集部の情報公開請求により、その衝撃の内幕が明らかになった。関連するITベンダーも多いが、1700余りの市区町村を巻き込んだ巨大プロジェクトは今後どうなるのか。特集『DX
レガシーマイグレーション推進にNTTデータが生成AI活用、COBOL向けの独自LLMも
生成AI（人工知能）活用でNTTデータならではの強みを見込めるのが、古いシステムを新たな環境へ移行する「マイグレーション」への適用だ。NTTが開発したLLM（大規模言語モデル）の「tsuzumi」を中心に生成AIをフル活用する。 tsuzumiは「専門知識を持った小さなLLM」を目指して開発されたものだ。軽量で学習コストが低い、日本語に強い、低コストで業界ごとにカスタマイズできるといった強みがある。精度やコストなど要件に応じたチューニング方法でカスタマイズし、専門知識を持たせる。 現在NTTデータグループ全体で取り組んでいるのが、「tsuzumi for COBOL」（t4C）だ。レガシーなプログラミング言語の代表であるCOBOLでの開発の生産性向上に特化させて、tsuzumiをフルファインチューニングして活用する。 t4Cにより、COBOLプログラムをJavaプログラムなどに書き換える「
GitHub - vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs
| Documentation | Blog | Paper | Discord | Latest News 🔥 [2024/04] We hosted the third vLLM meetup with Roblox! Please find the meetup slides here. [2024/01] We hosted the second vLLM meetup in SF! Please find the meetup slides here. [2024/01] Added ROCm 6.0 support to vLLM. [2023/12] Added ROCm 5.7 support to vLLM. [2023/10] We hosted the first vLLM meetup in SF! Please find the meetup slides he
生成 AI を活用して工場の稼働率低下の原因分析を行う | Amazon Web Services
Amazon Web Services ブログ 生成 AI を活用して工場の稼働率低下の原因分析を行う みなさん、こんにちは！製造業のお客様を中心に技術支援を行っているソリューションアーキテクトの山田と新澤です。 AWS Summit Japan が 2024 年 6 月 20 日（木）、21 日（金）の 2 日間、幕張メッセにて開催されました！ 大盛況のまま無事イベントを終えることができました！ 製造業向け展示ブースでどのようなデモが披露されたかについては以下の予告ブログもご参照ください。 AWS Summit Japan 製造業向け展示の見どころ紹介！ 今回はその中から、「製造現場の IoT データをパートナーとともに 小さく早く製造 DX を実現」というタイトルのブースの一部をご紹介します。このブースでは、ミニチュア組立工場を動かしながら AWS を活用したスマート工場の複数のユース
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第81回 雲勉 AWSでお手軽！負荷テスト環境構築
https://mabuchs.hatenablog.com/entry/&hellip
第三十五回 ちょっぴりDD - 人気番組の新作配信を安定起動させた、サーバーレスな AWS 分散負荷試験ソリューション「Distributed Load Testing」を使った負荷試験の仕組み
A Survey on Employing Large Language Models for Text-to-SQL Tasks
GitHub - langchain-ai/langgraph-studio: Desktop app for prototyping and debugging LangGraph applications locally.
NTTの島田明社長「社会の変革、『連鎖型AI』が必要」 GDS2024世界デジタルサミット - 日本経済新聞
How to use global batch processing with Azure OpenAI Service - Azure OpenAI
Introducing workflows beta: a new way to create complex AI applications with LlamaIndex — LlamaIndex, Data Framework for LLM Applications