プログラマじゃない人でもAI対話用にJSONを学ぶのが最高効率という提案
この文章はプログラマじゃない人向けに JSON を知ってもらうメリット、とくにAIとの効率的な対話方法を説明し、そしてあわよくばプログラマとも JSON の水準で会話してもらえたら嬉しい…というものです。 あなたは誰 UI を作るのが専門のエンジニアです。 エンジニア以外が使うノーコードのエディタを作ったりしてました プログラマじゃない人が JSON を知る利点 プログラマとして、プログラマじゃない人向けのノーコードなどを作っていたんですが、わかったことがあります。それは、「抽象的なロジックを記述するには訓練が必要だが、眼の前のデータとUIに対応したものは簡単に変更・記述できる」ということです。 自分の考える、もっとも成功したノーコードエディタこと Google Form JSON はよく知られているデータを記述する方法の一つです。特定の言語などとは関係ありません。 で、今現在 JSON
医薬品検索にベクトル検索を導入したら、デフォで検索ニーズをほぼ満たせそうだった話
どんな人向けの記事？ 医薬品のような難しい検索ニーズにこたえるためにベクトル検索を利用する知見を見てみたい MySQLの全文検索と、ベクトル検索の精度や速度を比較してみたい ベクトルDBとEmbeddingモデルを利用した簡単なベクトル検索の実装方法を知りたい 医薬品の検索ニーズは多様なので、ベクトル検索で解決できるか試したい 1つの医薬品を指す名称は、複数存在するため医薬品検索は意外と面倒な問題です。 例えば、日本人なら頭痛や生理痛、発熱したときに「ロキソニン」を飲んだことがあるかもしれません。この名称は商品の名称ですが、成分の名称は「ロキソプロフェンナトリウム水和物」です。 さらに、ロキソプロフェンには錠剤以外にもテープやパップといった剤形の違いがあります。 そして最後に、ロキソプロフェンを作っている会社は複数あるので、末尾に「トーワ」や「ファイザー」などの組み合わせが存在します。ロキ
生成AIのハルシネーションは原理的に排除不能。不完全性定理など数学・計算機理論で説明 モデル改良や回避システムでも不可避とする論文（生成AIクローズアップ） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 1週間の気になる生成AI技術・研究をピックアップして解説する連載「生成AIウィークリー」から、特に興味深い技術や研究にスポットライトを当てる生成AIクローズアップ。 今回は、大規模言語モデル（LLM）は自身が出力する「幻覚」（ハルシネーション）からは避けられない現象を指摘した論文「LLMs Will Always Hallucinate, and We Need to Live With This」に注目します。幻覚とは、事実と異なる出力をLLMが実行してしまう現象を指します。 この研究では、LLMの幻覚が単なる偶発的なエラーではなく、これらのシステムに内在する避けられない特性であると主張しています。研究者らは、幻覚がLLMの根本的な数学的・論理的
CogVideoXをシングルGPUでLoRAファインチューニングする
CogVideoXのLoRAファインチューニングを行います。 使用したデータは、前回作成した動画からPixtral12Bでキャプションを得るプログラムで作ったデータセットです。 もとにしたのは、弊社共同創業者の清水亮のYouTube番組「さすらい魂」のフッテージです。以下のようなイメージの動画です。 これをLoRAファインチューニングしたところ、以下のような動画が生成できました。プロンプトは「footage of shi3z man.a shi3z man. A man is walking at street of Europe.」です。 ヨーロッパの街並み、胸につけたピンマイク、顎髭、人種などがプロンプトなしで再現されているのがわかります。静止画のファインチューニングは20枚程度の画像でも可能ですが、動画のファインチューニングの場合、どこまで画像を用意すべきか、また、プロンプトをどのよ
「Microsoft Copilot 養子縁組キット」MS公式サイトに爆誕 「Adoption」の誤訳か
「Microsoft Copilot 養子縁組キット」なる不思議な文字例が日本マイクロソフト公式サイト上に出現した。英語版の誤訳とみられるが、SNSでは「ついにAIと血縁関係を結べる時代が来たか」と面白がられている。 文言があるのは、Microsoft製品の導入情報をまとめた「Microsoft Adoption」傘下のページ。AIチャットサービス「Microsoft Copilot」の導入手順などをまとめた資料がダウンロードでき、英文では一連の資料のことを「Microsoft Copilot Adoption Kit」と表記している。 しかし、日本語ページでは「Microsoft Copilot 養子縁組キット」という表記に。「Adoption」は採用・採択という意味だが、一方で養子縁組という意味もあるため、誤訳によって現状の表記になったとみられる。 Microsoftに限らず、外資系企
Mac やめて Linux PC を自作した - IT戦記
みなさまお元気ですか 暑さも少し落ち着いてきて、ようやく外に出てもいいかなという気になってきました。季節の変わり目体調には気をつけていきたいですね。 実は、一ヶ月くらい前に Linux PC を自作して Mac から移行しました。そのときの考え、その後の感想を残しておきます。 また、学んだことや作業のログを細かく残しておきたいと思います。（どこかの誰かが不安に思ったときに同じ失敗や疑問を経験した人がいて安心してもらえたら嬉しい） Ubuntu のインストール画面 (ベストオープンソースと開発しよう！) 目次 Mac をやめるきっかけ、経緯 Ubuntu に移行して一ヶ月の感想 おまけ1: どのような PC になったか おまけ2: 事前に学んだこと おまけ3: PC の組み立て おまけ4: Ubuntu のセットアップ Mac をやめるきっかけ、経緯 この 10 年くらい iOS 開発に必須
Dataflow Indexer データ整合性担保と性能改善 - LegalOn Technologies Engineering Blog
はじめに こんにちは。LegalOn Technologies 検索・推薦チームの臼井（jusui）です。 私たちのチームは、LegalOn Technologies が提供する主要サービス—「LegalOn Cloud」、「LegalForce」、「LegalForceキャビネ」—の検索・推薦システムの開発と運用を担当しています。 2024年7月に当チームから「Dataflow 実践開発セットアップ」を公開しました。 tech.legalforce.co.jp 今回は、2024年4月から提供開始した弊社の新サービス「LegalOn Cloud」の初回リリースに向けて開発した Indexing pipeline とその後の改善についてご紹介します。具体的には、Cloud Pub/Sub と Cloud Dataflow を活用した Indexing pipeline の開発により、Elas
“ネットに未接続”のPCからデータを盗む攻撃 7m先からエアギャップPC内の機密情報を盗む
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 X： ＠shiropen2 イスラエルのBen-Gurion University of the Negevに所属する研究者が発表した論文「RAMBO: Leaking Secrets from Air-Gap Computers by Spelling Covert Radio Signals from Computer RAM」は、インターネットに接続していないコンピュータ（エアギャップPC）から機密情報を漏えいさせる新たなサイドチャネル攻撃手法を提案した研究報告である。 「RAMBO」と呼ぶこの攻撃は、物理的に隔離したコンピュータのRAM（Random Access Mem
一貫したキャラクターAI動画生成が超簡単に。LoRAいらず、参照画像1枚だけでいいなんて（CloseBox） | テクノエッジ TechnoEdge
中国産の動画生成AI「Vidu」に、Reference to Videoという新機能が加わりました。AI動画生成でObject Consistency、つまり対象物の一貫性を保つことが可能になったのです。 動画生成AIサービス四天王のRunway Gen-3 Alpha、Luma Dream Machine、KLING、そしてViduはいずれもImage to Videoが可能です。 つまり、動画の始点または終点となる画像をLoRAやDreamBoothなどのファインチューニングで一貫性を持たせていれば、キャラクターの一貫性を保つことは可能です。 しかし、比較的学習が容易なLoRAでも10枚程度の同一キャラクターの画像は必要で、元画像が1枚しかない場合には、できないわけではありませんが、いろいろと工夫が必要です。 これが、ViduのReference to Videoの場合は、レファレンス
Visual DB
Web front end for your database Build data entry forms, sheets, and reports Cut development costs Developing and maintaining internal applications to enter and update records in a database is expensive. Now you can significantly lower costs by using Visual DB instead of developing custom applications. No coding skills? No problem! Visual DB is a productivity application, not a developer tool. As s
プロンプトエンジニアリングをしよう - 一休.comでの検索システム改善事例 - 一休.com Developers Blog
はじめに こんにちは。宿泊プロダクト開発部の宮崎です。 みなさん、生成 AI 使ってますか？ 近年、AI の進歩はめざましく、文章生成や画像生成はもちろん、動画生成も実用的なレベルで出来るようになっています。 ChatGPT が話題になったのが 2022 年の 11 月なので、たった 2 年足らずでここまで来ているという事実に少し恐ろしくもありますね。AGI(汎用人工知能)の実現もそう遠くないのかもしれません。 一休でも AI 技術は注目していて今年の 6 月に、まさに生成 AI を使ってホテル検索システムの改善を行いました。 この記事では、その時に学んだプロンプトエンジニアリングの重要性について書いていこうと思います。 生成 AI を使ったホテル検索システム 今回我々が実装したのはフリーワード・文章でもホテルを検索できるシステムです。 以下のようなユーザーの自由な入力に対して、適切なホテ
B-trees and database indexes — PlanetScale
What is a B-tree?The B-tree plays a foundational role in many pieces of software, especially database management systems (DBMS). MySQL, Postgres, MongoDB, Dynamo, and many others rely on B-trees to perform efficient data lookups via indexes. By the time you finish this article, you'll have learned how B-trees and B+trees work, why databases use them for indexes, and why using a UUID as your primar
最高性能うたうオープンソースLLM「Reflection 70B」、動画生成AIでスーパーマリオのプレイ映像を生成する「MarioVGG」など生成AI技術6つを解説（生成AIウィークリー） | テクノエッジ TechnoEdge
2014年から先端テクノロジーの研究を論文単位で記事にして紹介しているWebメディアのSeamless（シームレス）を運営し、執筆しています。 GoogleのDeepMindは、新しいタンパク質を生成する能力を持つAIシステム「AlphaProteo」を発表しました。AlphaProteoは、標的分子に効果的に結合する新しいタンパク質を設計することができ、創薬、疾病理解、その他の分野での研究を加速させる可能性があります。 Phindは新しいフラッグシップモデル「Phind-405B」と、高速な検索が可能な「Phind Instant」モデルを発表しました。Phind-405BはMeta Llama 3.1 405Bをベースにしており、128Kトークンのコンテキストを処理でき、32Kのコンテキストウィンドウが利用可能です。このモデルはHumanEvalで92%のスコアを達成し、Claude
商用利用できる透明性の高い日本語画像生成AI、CommonArt βを無償公開｜AI Picasso
これらのデータセットに含まれる画像のみを使っているため、学習画像に対する透明性は限りなく高いと考えております。もし問題のある画像が見つけたら、ご報告いただけると今後の開発に助かります。なお、同様の考え方を持って作成されたモデルとして、Stable Audio Open 1.0があります。 日本語と英語の文章がそのまま通じる画像生成を使ってみたいが使えないクリエイターの中には、プロンプトが英語であるから、使い勝手がわるいと思っている方も少なくないと思います。実際、画像生成AIに慣れている人も時には翻訳ソフトを使って入力している方もいるようです。しかし、翻訳ソフトを間に挟むことでニュアンスが変わるという問題も従来指摘されています。 そこで、本画像生成は日本語を日本人の話す感覚と近いかたちで処理し、画像を生成できるようにしました。具体的には入力テキストを処理する技術を通常の言語モデルから大規模言
Embeddings: How to select the right one?
Notes from my reading in quest to answer questions like: How do I choose the right embedding model for a task? Will the same embedding model work for all my tasks? How can I evaluate an embedding model for a given task? How do I detect bias in embedding model? Is the model with higher number of dimensions always the best choice? What are Embeddings?Imagine trying to explain the taste of an apple t
Google DeepMindがタンパク質設計のための新たなAIモデル「AlphaProteo」をリリース
Google DeepMindが「標的となるタンパク質にうまく結合するタンパク質」を設計するための新たなAIモデル「AlphaProteo」を発表しました。 AlphaProteo generates novel proteins for biology and health research - Google DeepMind https://deepmind.google/discover/blog/alphaproteo-generates-novel-proteins-for-biology-and-health-research/ 鍵が鍵穴にぴったり合致するように、タンパク質は別のタンパク質と結合することでさまざまな細胞のプロセスを処理しています。これまでDeepMindが開発してきたAlphaFoldなどのタンパク質構造予測ツールはタンパク質同士の相互作用の仕組みについてたくさ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【ミニレビュー】 IKEAの1,999円まな板がオーディオボードに!? 買って敷いたらホントに音が良くなった
生成AIで、分岐があるゲームストーリーの生成とその可視化を実現！ Microsoft Researchの「GENEVA」を試す【イニシャルB】
GitHub - unclecode/crawl4ai: 🔥🕷️ Crawl4AI: Open-source LLM Friendly Web Crawler & Scrapper
GitHub - aceberg/WatchYourLAN: Lightweight network IP scanner. Can be used to notify about new hosts and monitor host online/offline history
