広く使われている画像生成AIのStable Diffusionは「ControlNetを組み合わせてポーズ抽出やポーズ指定生成を実行する」「IP-Adapterを組み合わせて類似画像を生成する」といったように拡張機能を用いて多様な作業を実行できます。「OmniGen」はControlNetなどの拡張機能を使わず単一のモデルだけで多様な生成作業を実行可能にすることを目指して開発されたマルチモーダル画像生成AIで、単体で「画像生成」「ポーズ抽出」「ポーズ指定生成」「画像内の物体置換」「被写体指定生成」といった作業を実行可能です。 [2409.11340] OmniGen: Unified Image Generation https://arxiv.org/abs/2409.11340 GitHub - VectorSpaceLab/OmniGen: OmniGen: Unified Imag

「Raspberry Pi AI HAT＋」は2024年10月24日に登場した後付けAI処理モジュールで、Raspberry Pi 5に最大26TOPSのAI処理能力を追加できます。そんなRaspberry Pi AI HAT＋が開発チームから送られてきたので、実際にRaspberry Pi 5に装着してオブジェクト認識機能を備えたAIカメラを作ってみました。 AI HAT+ - Raspberry Pi Documentation https://www.raspberrypi.com/documentation/accessories/ai-hat-plus.html AI software - Raspberry Pi Documentation https://www.raspberrypi.com/documentation/computers/ai.html hailo-rpi

チャットAI「Claude」を開発するAnthropicが2024年6月に発表したAIモデル「Claude 3.5 Sonnet」には、「Artifacts」と呼ばれる、コードやテキストドキュメント、ウェブサイトデザインなどのコンテンツを生成するように依頼した際に、回答の中ではなく専用ウィンドウにコンテンツを表示する機能が実装されています。そんなArtifactsを使って作成したアプリケーションの例を、システムエンジニアのサイモン・ウィリソン氏が紹介しています。 Everything I built with Claude Artifacts this week https://simonwillison.net/2024/Oct/21/claude-artifacts/ Claudeによって生成されたコードやドキュメント、画像をプロンプトの表示とは別の専用領域で操作できる機能が「Arti

機械が深度(奥行き)を認識する方法を大幅に進歩させるモデル「Depth Pro」をAppleのAI研究チームがリリースしました。他の方法では見落とされがちな「髪の毛」や「草木」といった細かいディテールを持った物体の深度も正確に認識可能で、高解像度の深度マップをわずか0.3秒で生成することが可能な点が特徴。自動運転車などリアルタイムで深度を推定するシステムに応用可能だと期待されています。 [2410.02073] Depth Pro: Sharp Monocular Metric Depth in Less Than a Second https://arxiv.org/abs/2410.02073 GitHub - apple/ml-depth-pro: Depth Pro: Sharp Monocular Metric Depth in Less Than a Second. https

生成AIを用いると「画像内の物体を移動」「1枚の画像をもとにアニメーションを作成」といった編集作業が可能ですが、物理的にあり得ない結果が出力されることも多々あります。ヤギェウォ大学やケンブリッジ大学の研究チームが開発した画像編集手法「MiraGe」は「画像を三次元空間に落とし込む」というアプローチで物理的に正しい編集を可能とします。 [2410.01521] MiraGe: Editable 2D Images using Gaussian Splatting https://arxiv.org/abs/2410.01521 MiraGe https://waczjoan.github.io/MiraGe/ Image Editing with Gaussian Splatting - Unite.AI https://www.unite.ai/image-editing-with-gau

インターネット検索や機械学習に欠かせないナレッジグラフは、グラフ構造でさまざまな知識を連結し、データを連係させて知識の探索や高度な分析を実行することができます。情報分野の学術雑誌「Communications of the ACM」が、人工知能と機械学習のベースとなったナレッジグラフの歴史について解説しています。 Knowledge Graphs – Communications of the ACM https://cacm.acm.org/research/knowledge-graphs/ ナレッジグラフの概念は、セマンティックウェブ、データベース、自然言語処理、機械学習など、さまざまな研究分野における科学的進歩から生まれました。Communications of the ACM(以下、ACM)によると、ナレッジグラフはさまざまな分野のアイデアと技術への理解を深めるために重要ですが、

地球の軌道上には世界各国から打ち上げられた人工衛星が行き交っており、衛星トラッカーサービス「CelesTrak」のデータによると、2024年9月6日時点でアクティブな人工衛星だけで1万345基あるそうです。大量の人工衛星の分類や現在位置、周回軌道などを3Dで可視化した「Keep Track」では、どれほどの人工衛星があるのか視覚的に理解できるほか、目当ての人工衛星が現在どこにいてどのように動いているかなどを確認することができます。 Keep Track - 3D Satellite Toolkit https://app.keeptrack.space/ KeepTrack - Home https://keeptrack.space/ Keep Trackはブラウザから無料でアクセスすることができます。Keep Trackを開くと、まずは数秒のロード時間が入りました。 以下がKeep T

高度な生成AIは動作に相応の機器を必要とするため、一般的なユーザーが高度な生成AIを使うためにはネットに接続して利用するしかありません。一方で、高度なAIをローカルで実行できるような試みが行われ、実際にローカルで動作する高度なAIもいくつか存在します。AIをローカルで動作させることの利点について、科学誌Natureが利用者の声をいくつか紹介しました。 Forget ChatGPT: why researchers now run small AIs on their laptops https://www.nature.com/articles/d41586-024-02998-y 免疫系タンパク質の構造のデータベース「histo.fyi」を運営するクリス・ソープ氏はAIをノートPCで動作させています。ソープ氏は以前にChatGPTの有料版を試したそうですが、高価で出力が適切でないと感じた

OpenAIが開発するチャットAI・ChatGPTの脆弱(ぜいじゃく)性を利用して、ChatGPTに偽の記憶を植え付け、ユーザーデータを盗み出す手法が報告されています。 ChatGPT: Hacking Memories with Prompt Injection · Embrace The Red https://embracethered.com/blog/posts/2024/chatgpt-hacking-memories/ Hacker plants false memories in ChatGPT to steal user data in perpetuity | Ars Technica https://arstechnica.com/security/2024/09/false-memories-planted-in-chatgpt-give-hacker-persis

「ポート転送」は、特定のポートへの通信をSSHを経由して別のコンピューターやポートへ転送する技術です。執筆者の身元はわからないものの、エキスパートエンジニアによる個人ブログの記事として「どんなコマンドを使えばどんな転送設定になるのか」についてのわかりやすいビジュアルガイドが公開されています。 Visual guide to SSH tunneling and port forwarding - ITTAVERN.COM https://ittavern.com/visual-guide-to-ssh-tunneling-and-port-forwarding/ SSHの「-J」オプションではトンネリングの設定が可能です。例えば「ssh -J user@REMOTE-MACHINE:22 -p 22 [email protected]」というコマンドではリモートマシンを経由して10.99.9

複雑な推論を行えるOpenAIのモデル「o1-preview」では「思考の連鎖(chain of thought)」プロセスを挟むことで推論の精度を高めています。思考の連鎖プロセスの中身は非公開ですが、ユーザーの中には何とかして中身を出力させようとする人もいます。OpenAIがそうしたユーザーに対し警告を行っていることが明らかになりました。 Ban warnings fly as users dare to probe the “thoughts” of OpenAI’s latest model | Ars Technica https://arstechnica.com/information-technology/2024/09/openai-threatens-bans-for-probing-new-ai-models-reasoning-process/ OpenAIは2024

Netflixの技術ブログに、Linuxのカーネル機能を拡張できる「eBPF」を活用してパフォーマンスを改善する方法が投稿されました。 Noisy Neighbor Detection with eBPF | by Netflix Technology Blog | Sep, 2024 | Netflix TechBlog https://netflixtechblog.com/noisy-neighbor-detection-with-ebpf-64b1f4b3bbdd Netflixのコンピューティング・パフォーマンスエンジニアリングチームは、定期的にマルチテナント環境におけるパフォーマンスの問題を調査しています。問題が発生したとき、調査の最初のステップは原因がアプリケーションにあるのか基盤となるインフラストラクチャにあるのかを切り分けることです。 Netflixのサービスを支えるプラ

元Google・現Microsoftのソフトウェアエンジニアであるジュリオ・メリノ氏が、現代のWindows 11の基盤アーキテクチャとなっているWindows NT系と、FreeBSDやLinuxなどに代表されるUNIX系を比較した考察をまとめています。 Windows NT vs. Unix: A design comparison - by Julio Merino https://blogsystem5.substack.com/p/windows-nt-vs-unix-design ・開発の経緯 MicrosoftはDOS系となるMS-DOSを1981年8月に、Windows 1.0を1985年11月にリリースしました。そして、DOS系の後継としてOS/2をIBMと共同開発していましたが、プロジェクトが難航したため、OS/2とは別となるMicrosoft独自の「Windows N

「arXiv」は物理学・数学・コンピューターサイエンス・統計学などの分野における世界最大のプレプリント(査読前論文)サーバーであり、査読がないため研究者が自身の研究結果を素早く世の中に問うことが可能です。そんなarXivに掲載された論文について、専門家らがオープンにディスカッションすることができるプラットフォームが「alphaXiv」です。 alphaXiv https://www.alphaxiv.org/ 2023年5月、当時スタンフォード大学の修士課程でコンピューターサイエンスを研究していたRehaan Ahmad氏とRaj Palleti氏は、「学生や研究者が査読前論文について議論できるオンラインのディスカッションプラットフォームがあったらどうだろうか」と考えました。 アイデアを実行に移すことにした2人は、世界最大のプレプリントサーバーであるarXivをベースにして、「alphaX

Googleが、論文や書籍をAIが要約し、その内容を元に会話形式の音声コンテンツを生成する「Google Illuminate」において生成される音声のプレビューを公開しました。記事作成時点で、Google Illuminateはあくまでも実験的なデモとして公開されていますが、実際に論文を音声に変換した結果をウェブサイト上で聞くことが可能です。 Illuminate https://illuminate.google.com/home Google Illuminateのページはこんな感じ。 記事作成時点では、コンピューターサイエンスの学術論文が例として提示されています。「Play」をクリックすると、実際に生成された音声を聞くことができます。Googleの研究者が2006年にTransformerモデルを発表した論文「(PDFファイル)Attention is All You Need」の

By Sedrubal HTTP/3は2022年に標準化されたHTTPの仕様で、開発当初は「HTTP over QUIC(QUICを使用したHTTP)」と呼ばれていました。HTTP/3を使用することで通信パフォーマンスが向上するとされていますが、特定の条件においては旧バージョンのHTTP/2の方がパフォーマンスが高まるという論文が発表されました。 QUIC is not Quick Enough over Fast Internet | Proceedings of the ACM Web Conference 2024 https://dl.acm.org/doi/10.1145/3589334.3645323 QUIC is not Quick Enough over Fast Internet - YouTube 2024年時点ではHTTPには大きく3つのバージョンが存在しています。

HDDではファイルのデータが別々の場所に保存されているとディスクの回転待ちが発生して読み込みが遅くなってしまいます。デフラグはデータの保存場所を整理してHDDからの読み込みを高速化する技術で、昔からPCを使っていた人であれば定期的にHDDをデフラグしていた人も多いはず。そんなデフラグをゲームにした「DEFRAG THE GAME」をプレイしてみました。 DEFRAG THE GAME https://defrag-game.com/ サイトにアクセスするとこんな感じ。「Easy」「Normal」「Hard」の3種類のステージが用意されています。まずは「Easy」難易度の「DRIVE C」を選択し、「Start」をクリック。 ゲームが始まりました。ルールはシンプルで、選択したブロックを上下左右に動かし、上に詰めていくように整列させていくだけ。パーツは左上から順に自動で選択されていきます。ただ

勉強や仕事などで解決策が見つからずに行き詰まった際に「一晩寝たら解決策が思い浮かんだ」という経験をしたことがある人は多いはず。一晩眠るとアイデアが思いつく現象には睡眠中の脳の記憶整理機能が関係しているとされているのですが、新たにイェール大学の研究チームによって記憶整理機能のメカニズムの一端が解明されました。 Nested compressed co-representations of multiple sequential experiences during sleep | Nature Neuroscience https://www.nature.com/articles/s41593-024-01703-6 Sleep on it: How the brain processes many experiences — even when ‘offline’ | YaleNews

チーム向けのチャットボットAIを提供しているGlama.aiのエンジニアであるフランク・フィーゲル氏が、容量削減のために変数名を短縮し、改行や空白を消す「Minify」が行われたJavaScriptのコードをChatGPTを使って読みやすい形式に戻すことに成功したと報告しています。 Using ChatGPT to reverse engineer minified JavaScript - ChatGPT for teams | Glama https://glama.ai/blog/2024-08-29-reverse-engineering-minified-code-using-openai フィーゲル氏が最初に注目したのは、以下のサイトで背景に表示されているアニメーションでした。このアニメーションは文字で構成されたアスキーアートが波打って目まぐるしく変化していくもので、フィーゲル

テキストエディタの「Vim」ではさまざまなキーを使用してカーソルの位置を変更できます。「Vim Racer」はカーソルを指定された位置まで動かす速度を競うゲームとのことなので、実際に遊んでみました。 Vim Racer - An Online Game for VIM Navigation https://vim-racer.com/ サイトにアクセスするとこんな感じ。「Click the editor to start」と書かれている通り、エディタ部分をクリックするとゲームが始まります。 実際に1ゲーム遊んでみました。 VIMの操作速度を競う「Vim Racer」プレイムービー - YouTube ゲームを開始すると、右上のタイマーがスタートします。 右下には現在のクリア状況と1分あたりのナビゲーション数であるNPMが表示されています。12回指定された位置までカーソルを動かすまでの時間を