GPT-4Vができることをまとめてみた - 電通総研 テックブログ
こんにちは。ISID 金融ソリューション事業部の若本です。 先日、GPT-4から発展し、画像も扱うことができるGPT-4 with vision（GPT-4V）が発表されました。GPT-4Vは大規模マルチモーダルモデル（LMMs: Large multimodal models）と呼ばれるAIモデルの一種であり、GPT-4の入力として「画像」を拡張したものになります。 今日は Microsoft Researchの論文[1]を中心に、Open AIの発表したSystem Card[2]も踏まえ、GPT-4Vでできることや苦手とすること、そして実用上の制限について解説します。 GPT-4Vの特徴 ① 画像とテキストを入力にできる GPT-4Vでは、GPT-4のテキスト入力に加えて画像も入力することが可能になりました。 画像は複数枚入力することが可能であり、かつ、画像とテキストを任意に交互に組
類似画像検索にLLMを利用する。｜tdual
画像の類似度って難しいですよね？ 同じものを表しているのに、画像としては全然違うものだからEmbeddingしてコサイン類似度を測ると遠くなることがよくあります。 なので、商品や動物などの物体を比較する場合は画像の類似度はあてになるけど、スポーツやビジネスシーン等の状況や場面の類似度は難しいという課題がありました。 例としてスポーツを見てみましょう。 以下の4枚の画像の類似度を出します。 画像1画像2画像3画像4画像1~3は野球で、画像4はバスケの画像です。 とりあえずAugNetで類似度を出しましょう。 結果 この結果を見ると一番似ているのは、画像1と画像4です。 野球画像の画像1~3同士は近く、画像4は他と遠くなって欲しい場合はどうしましょうか？ そこでLLMを使ってみます。 ChatGPTのSceneXplainを使います。 SceneXplainはChatGPTのプラグインで、画像
良好URLを1%から99%に爆増させたパフォーマンス改善の話
こんにちは。 株式会社ココナラ フロントエンド開発グループの加藤です。 1年前、ココナラのフロントエンドは表示速度に課題があり、Google Search Consoleのページエクスペリエンスではモバイルの良好URLはたった1%しかありませんでした。 しかしその後パフォーマンス改善に取り組み、良好URL99%まで大幅に改善することができました。（記事の最後に実際のスクリーンショットもあります） この記事では、そこで行った改善内容を紹介したいと思います。 はじめに ココナラのフロントエンドは、主にNuxt + Vue.jsで作られています。 そこで nuxtjs/web-vitals を使ってパフォーマンスのログを取り、Grafanaで可視化しています。 Grafanaで可視化したページごとのLCP モバイルではLCP（Largest Contentful Paint）が2.5秒を超えてい
バーチャル背景画像ダウンロード｜DAY AND NIGHT SCIENCE MUSEUM｜サンゲツ
国立科学博物館とサンゲツのコラボレーションにより誕生した壁紙の施工例画像を、オンライン会議、授業などで使えるバーチャル背景としてご用意いたしました。 お気に入りの画像をダウンロードしてご活用ください。 WHALES AND DOLPHINS 世界中のクジラ約90種類の図譜を集めた、国立科学博物館で人気のポスター「世界のクジラ」。この壁紙ではその中の約半分にあたる、日本の周辺を回遊する45種類ほどのクジラとイルカをチョイス。大小さまざまな海棲哺乳類たちが、部屋中を海遊する姿に思いを馳せて。
GitHub - CompVis/stable-diffusion: A latent text-to-image diffusion model
Stable Diffusion was made possible thanks to a collaboration with Stability AI and Runway and builds upon our previous work: High-Resolution Image Synthesis with Latent Diffusion Models Robin Rombach*, Andreas Blattmann*, Dominik Lorenz, Patrick Esser, Björn Ommer CVPR '22 Oral | GitHub | arXiv | Project page Stable Diffusion is a latent text-to-image diffusion model. Thanks to a generous compute
「いらすとや」は要らなくなっちゃう？テキストで説明するとそれに沿った何パターンもの画像を生成するOpenAIが凄まじい
小猫遊りょう（たかにゃし・りょう） @jaguring1 毎日、数学をやっています。抽象度の高い数学が好きで、公理的集合論や数理論理学、圏論に興味があるけど、もっと具体的で実用的な数学も好きです。AI技術と、それがもたらす社会的影響についてよく考えていますが、基本的にテクノロジー全般の最新動向に興味があります。良さげな講義動画を見つけたら、ツイートするようにしてます。 小猫遊りょう（たかにゃし・りょう） @jaguring1 うおぉ、、新年早々、超激ヤバなニューラルネットをOpenAIが2つ発表してきた（DALL-EとCLIP）。視覚データとテキストの両方を用いたAIシステムで、DALL-Eは、テキストで説明すると、それっぽい画像を生成。こんなの創造性以外の何者でもない。テキスト+画像版GPT-3っぽい openai.com/blog/tags/mult… pic.twitter.com/
画像認識の大革命。AI界で話題爆発中の「Vision Transformer」を解説！ - Qiita
0. 忙しい方へ 完全に畳み込みとさようならしてSoTA達成したよ Vision Transformerの重要なことは次の3つだよ 画像パッチを単語のように扱うよ アーキテクチャはTransformerのエンコーダー部分だよ 巨大なデータセットJFT-300Mで事前学習するよ SoTAを上回る性能を約$\frac{1}{15}$の計算コストで得られたよ 事前学習データセットとモデルをさらに大きくすることでまだまだ性能向上する余地があるよ 1. Vision Transformerの解説 Vision Transformer(=ViT)の重要な部分は次の3つです。 入力画像 アーキテクチャ 事前学習とファインチューニング それぞれについて見ていきましょう。 1.1 入力画像 まず入力画像についてです。ViTはTransformerをベースとしたモデル(というより一部を丸々使っている)ですが、
Self-Attentionを全面的に使った新時代の画像認識モデルを解説！ - Qiita
08/31 (2020): 投稿 08/31 (2020): 「畳み込みを一切使わない」という記述に関して、ご指摘を受けましたので追記いたしました。線形変換においては「チャネル間の加重和である1x1畳み込み」を実装では用いています。 08/31 (2020): 本論文で提案されているモデルの呼称に関して認識が誤っていたためタイトルおよび文章を一部修正しました。 言葉足らずの部分や勘違いをしている部分があるかと思いますが、ご指摘等をいただけますと大変ありがたいです。よろしくお願いします！(ツイッター:@omiita_atiimo) 近年の自然言語処理のブレイクスルーに大きく貢献したものといえば、やはりTransformerだと思います。そこからさらにBERTが生まれ、自然言語の認識能力などを測るGLUE Benchmarkではもはや人間が13位(2020/08現在)にまで落ちてしまっているほ
近似最近傍探索Indexを作るワークフロー - ZOZO TECH BLOG
はじめに こんにちは。ZOZO研究所のshikajiroです。主に研究所のバックエンド全般を担当しています。ZOZOでは2019年夏にAI技術を活用した「類似アイテム検索機能」をリリースしました。商品画像に似た別の商品を検索する機能で、 画像検索 と言った方が分かりやすいかもしれません。MLの開発にはChainer, CuPy, TensorFlow, GPU, TPU, Annoy、バックエンドの開発にはGCP, Kubernetes, Docker, Flask, Terraform, Airflowなど様々な技術を活用しています。今回は私が担当した「近似最近傍探索Indexを作るワークフロー」のお話です。 corp.zozo.com 目次 はじめに 目次 画像検索の全体像説明 Workflow Develop Application 推論APIの流れ 近似最近傍探索とAnnoy 近似
OpenCV だけで顔検出から顔照合まで完結している - Qiita
追記(2022.04.11) qiita OpenCVの新しい顔検出を試してみる qiita OpenCVに加わった深層学習ベースの顔検出・顔照合のデモ用のサンプル で、OpenCV 4.5.4 以降で利用可能な深層学習ベースの顔検出と顔照合が紹介されています。 OpenCV だけで顔検出から顔照合まで完結している。 そういう状況になってきている。 深層学習を利用した従来よりも強力な顔検出・狭義の顔照合（＝正規化済みの顔を用いて、顔の類似性を判定する技術）があることには気づいていたが、顔のlandmark（目・鼻・口など）を求めて、顔を正規化する技術もOpenCVに含まれていたことに最近気づいた。 https://github.com/opencv/opencv/tree/master/samples/dnn tensorFlow ベースのコードで顔検出のDNNが使えるようになっている。
秒速でフリー素材が見つかる！女性モデル写真10選【2016年版】 - Enter101
WEB製作や資料作りにフリー素材を利用することありますよね。 色んなサイトを回ってなかなか理想のフリー素材がなくて困ることも多いと思います。 作業効率化をする上で、パッと見てサッと作りたい。 そんな時に役に立つ無料素材サイトから女性モデルをピックアップしました。 ちなみにぼくは女性の写真をアイキャッチ画像にすることが多々あります。クリック率がいいので。 かわいいは正義！ってことで、秒速でピッタリの写真が見つかる美人女性モデルを１０名まとめてみました。 河村友歌 / ぱくたそ 現役大学生でフリーモデルの河村友歌さん。カップルやJK、成人式やお正月、ビジネスシーンでは新入社員のシチュエーションと幅広く写真素材があります。見たことあるひとも多いはず。 www.pakutaso.com Lala / ぱくたそ 「エンジニアなんだからFAXも直せるでしょ」でおなじみのLalaさん。こちらもよくみる方
Web用保存は古い!? JPEG画質が改善したPhotoshop CC 2015の新方式の画像保存機能まとめ – ICS MEDIA
みなさんはAdobe Photoshopでどのように画像を書き出してますか？ 最新のPhotoshopではさまざまな画像書き出し機能が搭載されていますが、どれを選択するかで手間が異なります。 本記事ではPhotoshopのさまざまな画像書き出し機能を紹介し、最適な画像書き出し方法を検証します。 この記事はPhotoshop CC 2022 (23.5.0)で検証しています。 この記事のポイント 新しい画像保存方式（書き出し形式、クイック書き出し）は手間が少ないので、作業効率が良い 新しい画像保存方式はデフォルト設定で、小さなファイルサイズの結果を得られやすい アニメーションGIF保存は「Web用に書き出し（従来）」を使う Photoshopの画像書き出し方法一覧 Photoshop CCにおいて、画像を書き出す方法は分けて5種類あります。 書き出し形式 ［ファイル］→［書き出し］→［書き出
フロントエンドチューニングの箇条殴り書き
普段気をつけてるよリスト "モバイルで、WebViewとブラウザのコンパチで、特にセオリー化されていないデザインモジュールのなか、装飾画像もふんだんに使うぞ系サービス開発" の文脈における、パフォーマンス確保のため気をつけてるよリスト。 よく、パフォーマンス「向上」とか「確保」とか申しますが、メンテナンスコストなどと天秤にかけて、「必要十分」のラインを狙うのが重要だと思う次第。 画像リソース 画像リソースを揃えるときのセオリ。圧縮率とか最適化とか細かいチューニングはあれど、大雑把に下記を守る。そしてImage Optim（or 相当の処理）。 JPEGはプログレッシブで画質60くらい（オレ目安） PNGは差し支えない範囲で色数をきちんと削る 50px未満のサムネイルは@2.0xなリソースにしない 案外、Androidあわせの@1.5xや@1.0xでも大丈夫なことすらある GIFアニメを入れ
ブロック図生成ツール blockdiag — blockdiag 1.0 ドキュメント
ブロック図生成ツール blockdiag¶ blockdiag シリーズはシンプルなテキストからブロック図などの画像を生成する画像生成ツール群です。 blockdiag を用いると以下のような図が簡単に生成できます。 blockdiag の主な機能: 数種類の図に対応 ブロック図 (blockdiag コマンド) シーケンス図 (seqdiag コマンド) アクティビティ図 (actdiag コマンド) 論理ネットワーク図 (nwdiag コマンド) テキストベースの定義ファイルから画像ファイルを生成 (graphviz 風の文法を採用) 定義にあわせて図の配置を自動的に決定 (自動レイアウト) Sphinx, Trac, Redmine, 各種 Wiki エンジン等、多様なシステムへの画像埋め込みに対応 Enjoy documentation with blockdiag !
身につけておきたいWebサイト高速化テクニック #3｜画像形式の基礎知識 | DevelopersIO
こんにちは、ご無沙汰しています。 Web担当の野中です。 前回の第2回「検証ツールとそもそもHTTPって何だ編」から少し時間が経ってしまいました。 というのもテクニックを紹介するために予想以上の予備知識の説明と検証・調査が必要になり、さらにどう順序立てて解説すべきか悩み時間がかかってしまいました。 ちなみに第2回では、Webサイト高速化に関連してくるHTTPについて基本的なことを紹介しています。 より詳しくHTTPについて解説したCodezineさまに寄稿している連載も是非チェックしてみてください。 本題 さて、今回から実践編ということでフロントエンド側のWebサイト高速化対策の１つ、画像の最適化について紹介します。 初学者向けに細かく基本的なことまで解説しますので、記事を3つに分けます。 画像最適化1回目の本記事では、画像に関する基礎知識について紹介します。 未だにWebサイト高速化の具
面白い！自分のサイトに高度な画像編集機能を提供する·jquery.deviantartmuro MOONGIFT
jquery.deviantartmuroはWeb画像編集サービスのdeviantART muroを埋め込みサービスとして呼び出すjQueryプラグインです。 Webブラウザ上でできることは多岐に渡る訳ですが、ペイントですらWebベースで行う時代になっています。その高機能ペイントサービスとして知られるdeviantART muroを自分のWebサイトに埋め込んで使えるのがjquery.deviantartmuroです。 この画像を自由に編集できます。 もはや普通のペイントアプリです。 レイヤーにも対応。 エクスポートできます。 拡大も可能。 囲い込みでの範囲指定も。これがWebアプリケーションとはすごい時代になったものです。 jquery.deviantartmuroはペイントソフトウェアとしての機能を提供する訳ではなく、あくまでもdeviantART muroの機能を埋め込みで提供してい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【Stable Diffusion】Mistoon_Animeの利用方法
Stable Diffusionのフォトリアル系（実写）モデルを紹介 | Murasan Lab
[第4回 全国医療AIコンテスト] Kaggleから学んだ医療画像データ解析の取り組み方![[第4回 全国医療AIコンテスト] Kaggleから学んだ医療画像データ解析の取り組み方](https://cdn-ak-scissors.b.st-hatena.com/image/square/e3d79f47f30083caa1d88f111a0241ff094b8138/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2Fba0a1155ec6d4fb98b7e4631888c9738%2Fslide_0.jpg%3F20820924)
digital_video_introduction/README-ja.md at master · leandromoreira/digital_video_introduction
