Appleがスマホの画面を認識できるマルチモーダルLLM「Ferret-UI」を発表、SiriがiPhoneアプリのUIを理解できるようになる可能性も
Appleの研究者が、スマートフォンのアプリUIを理解するために設計したマルチモーダル大規模言語モデル(MLLM)の「Ferret-UI」を開発したという論文を、未査読論文リポジトリであるarXivで公開しました。 [2404.05719] Ferret-UI: Grounded Mobile UI Understanding with Multimodal LLMs https://arxiv.org/abs/2404.05719 Apple teaching an AI system to use apps; maybe for advanced Siri https://9to5mac.com/2024/04/09/ferret-ui-advanced-siri/ ChatGPTのようなチャットボットAIシステムのベースとなっている大規模言語モデル(LLM)は、主にウェブサイトから収
スマートフォンのディスプレイ巨大化に伴う、UIデザインの潮流｜Go Ando / THE GUILD｜note
前回の投稿でAppleのFluid Interfacesについての論考しましたが、Fluid Interfacesが生まれた一つの背景として、ディスプレイの巨大化があります。 本稿では大画面化するディスプレイへのUIデザインの対応について、現在どの様な流れになっているのか、個人的に観測している中で考察している事をご紹介したいと思います。 巨大化し続けるディスプレイサイズ2007年に初めてiPhoneが世に出てから、現在の最新のモデルiPhone XS Maxまでのディスプレイサイズの変遷をまとめたのが下の図です。 初代iPhoneとXS Maxを比較すると、物理的なディスプレイ面積は約2.7倍大きくなり、ディスプレイの縦横比は約1.4倍縦長になっています。 iPhone Xから22%縦長化特に著しく変化したのが、iPhone Xが登場した事によってそれまで1.77だった縦横比が2.16まで
iPhone Xの最も優れているところはジェスチャを使った操作？ - iPhone Mania
AppleのiPhone Xが一番長けているもの、それはディスプレイでもカメラでもなく、ジェスチャ操作であると米メディアのライターは主張しています。 iPhone Xのジェスチャ操作はみんなまねした方がいい 米メディアThe Vergeのライター、ダン・セイファート氏は、iPhone Xを使い始めて、そのジェスチャ操作が非常に直感的で、自然であることに感銘を受けました。何よりも「使っていて楽しい」とセイファート氏は語っています。 一度iPhone Xに慣れてしまうと、ホームボタンにはもう戻れないほどだと同氏はそのジェスチャ操作の優位性を表現しています。他のデバイスを使うと、iPhone Xのジェスチャ操作をつい行なってしまい、スワイプアップしてホームに戻ろうとしたり、左右のスワイプでアプリを切り替えようとしてしまうそうです。 セイファート氏は、iPhone Xのジェスチャ操作がすべてのタッ
自分の腕がスマホタッチスクリーンに？「Cicret Bracelet」に感動した！ ｜ ライフハック男子
ネットを見ていたら、非常に面白そうな製品を見つけてしまいました！ 近い将来、スマホの画面がなくなるかもしれません、そんな可能性を秘めているデバイスです。 「Cicret Bracelet」って何？ 「Cicret Bracelet」はフランスの会社Cicretが開発したもので、装着すると腕にスマホ画面を投影してくれるという斬新なデバイスです。 公式サイト 動画をご覧下さい。スゴくないですか！！ 腕をスクロールする時の何とも言えない画面の表情・・。新間隔です！！ さて、デザインは一見普通のブレスレットなんですが、多くの機能がつまっているみたい。 加速度センサーやLED発光、Wi-Fi、Bluetooth、バイブなど8つの機能を搭載しているそうです。 スマホやタブレットにはBluetooth等で接続し、プロジェクターで腕に映し出すという優れものです。 Cicret Braceletを装着してお
シリコンバレー101(602) 気づいてほしい、Ubuntuスマートフォンのスゴいところ
出るぞ、出るぞと言われながら約1年、Ubuntu OSを搭載したスマートフォンがついに登場する。といっても、筆者はUbuntuの熱心なファンではなく、発表に目を通していたものの、これまで自分で「買いたい!」とは思わなかった。正直なところ「iPhoneやAndroidのようなスマートフォンがまた1つ増え、そして消えていく……」と思っていた。 ところが、今回Ubuntuが公開したWebページの説明を読んでがぜん興味が湧いてきた。iPhoneユーザーやAndroid端末ユーザーが抱く「スマートフォンとはこういうもの」という固定観念を捨てさせ、新しいスマートフォンの使用体験を提案している。 POBoxの生みの親として有名なユーザーインタフェース研究者の増井俊之氏がエンジニアトークライブ「TechLION」で、コンピュータがこの30年間、まったく進歩していないと指摘していたそうだ。その趣旨は次のとお
スマホの画面をブレスレットから投影して操作するガジェット“Cicret Bracelet”
スマートウォッチより便利？ “Cicret Bracelet”は腕につけるブレスレット型のガジェットで、自分の腕をスマートフォンの“第二のディスプレイ”として使えるようにします。 同期されたスマートフォンの画面が腕に投影されて、その画面でスマートフォンが操作できるんです。つまり、スマートフォンはカバンに入れっぱなしでOKということ！ スマートフォンを取り出すのが面倒なとき、雨の降っているとき、もしくはスマートフォンを部屋の片隅で充電しつつ遠隔操作…なんて使い方ができそう。画面を割ってしまう心配も少なくなるでしょう。 長袖を着ているときは腕まくりする必要がありそうですが、それでも絶対に便利ですね。 以前、手のひらに情報を映すウェアラブル(記事)というコンセプトを紹介しました。Cicret Braceletはまさにその発想を引き継いだガジェットと言えます。 まだ製品化には至っていませんが、ウェ
「みんなジョブズに騙されている」増井俊之教授が進歩の止まったコンピュータのUIを問い直す【TechLIONレポ】 - エンジニアtype | 転職type
モノづくりをテーマに行われた『TechLION vol.18』。登壇者は左から寺薗淳也氏、瀬尾浩二郎氏、増井俊之氏 コンピュータはこの30年、まったく進歩していない――。 有名エンジニアによるトークライブの場としてすっかりおなじみになった『TechLION』の壇上で、慶應大学環境情報学部の増井俊之教授は業界の現状を憂えた。 2014年9月に開催された『vol.18』のテーマは「モノづくり」。小惑星探査機『はやぶさ』プロジェクトチームの一員としても知られる会津大の寺薗淳也准教授、面白法人カヤックから独立しフリーのエンジニア/クリエイティブ・ディレクターとして活躍中の瀬尾浩二郎氏とともに、UI研究の第一人者、増井教授は登壇した。 時々刻々と性能が上がっているように見えるコンピュータ（編集部注:増井氏の発言では「計算機」）が、30年にわたってまったく進歩していないと指摘する増井氏の真意とは？ 『
スマホ大画面時代、親指リーチ範囲が鍵となる新たなインターフェースデザイン
スマホ大画面時代、親指リーチ範囲が鍵となる新たなインターフェースデザイン2014.09.25 21:0010,223 そうこ 片手で扱うならば、親指がスマートフォンの鍵となる。 スクリーンの巨大化ーー賛成反対と意見がわかれつつも、アップルがiPhone 6／6 Plusをリリースしたことで、ついにスマホ大画面時代が一気に花開きました。初動で歴代予約記録を更新した新型iPhone、つまり世の中もこの時代の流れを受け入れたのではないでしょうか。 3.5～4インチのディスプレイは、急激にその姿を消しています。Adobeによるモバイルベンチマーク2014年レポートでは、4インチ以下のスマートフォンでのWeb観覧は11％も減少しているのです。 時は大画面。とはいえ、はてしなくディスプレイが大きくなるわけでもありません。大画面時代を先行してきたAndroid端末でも、最も好まれているのは5.1～5.7
第7回 「気持ちいいUI」って、どういうもの？ | gihyo.jp
前回は、「開発側にとって便利であるがためによく利用されているUIが本当に直感的にわかりやすのか、疑ってみよう」というお話でした。世の中でよく利用されているUIや、あなたやあなたのまわりにいる人たち、すなわちスマートフォンをすごくよく利用していてさまざまなUIに対する経験のある人たちであればすぐに理解できるUIが、実際にそのサイト、アプリケーションを使うユーザー層にとって理解しやすいかどうかはじつはわからないのです。 今回は、「理解しやすい」よりさらに発展した発想である（と筆者が思っている）「気持ちいい」UIと開発者の関係について考えてみたいと思います。 「気持ちいい」を要素分解すると見えてくる そもそも、「気持ちいいUI」とはどういうものなのでしょうか。まずはどういう状況が「気持ちいい」のかを要素分解をしてみましょう。 処理速度が速く、処理の際の待ち時間が少ない わかりやすく直感的
Amazonのスマートフォンは本体の傾きで操作する独自のジェスチャーコントロール機能を搭載か | 気になる、記になる…
予てから噂されているAmazonのスマートフォンは前面に4つの低電力赤外線カメラを搭載し、裸眼3Dを実現すると言われていますが、先日に同スマートフォンの試作機の写真をリークしたBGRがまた新たな情報を公開しています。 複数の信頼出来る情報筋によると、Amazonのスマートフォンは4つの低電力赤外線カメラやセンサーを利用して独自のジェスチャーコントロールが利用可能で、ユーザーは画面をタップするのではなく、本体を傾ける事により様々な情報を表示させる事が可能になるとのこと。 その一例として、通常時は各アプリのアイコンにはラベルが表示されないものの、僅かに本体を傾ける事によってアイコンの下にラベルを表示する事が出来たり、地図アプリでレストランなどを検索した後に、傾けるとYelpの評価情報を地図上に表示する事が出来たりするようです。 また、Amazonのスマートフォンのアプリにはメニューボタンなども
スマートフォンでフリック入力使わないヤツ
1: 以下、名無しにかわりましてVIPがお送りします 2013/08/18 19:30:37 ID:27qbwdmti
スマホUI考（番外編） なぜ機能追加をし続けるとアプリが破綻するのか？ | fladdict
この写真は、アーミーナイフの名門ウェンガー社のジャイアントナイフという最高級ナイフである。141の機能を持つ、ギネス認定もされた厚さ24cm、重量1.3kgの世界で最も高機能なナイフだ。トップメーカーが自社製品の全機能を１つに集約したこの製品こそが、機能拡張の行き着く先を指し示している。 なぜ適切な機能追加であっても、機能を追加しつづけることで破綻をするのか？本エントリは、「スマホUI考（番外編） 顧客やユーザーの要望に全て対応すると、アプリは99%破綻する」の続きになる。 本エントリでは以下の４つの側面から、機能を追加するリスクを考える。まず第一に「選択肢の数が必ずしも善ではないこと」。次に「人間の判断力は使うほど消耗すること」。そして「画面スペースが有限のリソースであること」。最後に「どんなに機能を増やしても、一画面で強調できるものは限られていること」。これらの４つは全て、機能追加が最
スマホUI考（番外編） 顧客やユーザーの要望に全て対応すると、アプリは99%破綻する | fladdict
顧客や上司、ユーザーの場当たりな要望に対応しつづけると、どんなアプリもゴミアプリになる。たとえそれが理にかなった要望であっても。 なぜなら面積の限られたスマホでは「一画面の機能数とボタン数」が、使い易さと品質に深くリンクしているからです。 ということを、エラい人にプレゼンするのがお仕事の今日この頃。でも毎回毎回、同じことを説明するのがシンドイので資料をブログにまとめたいなぁと思うなど。 思考実験として、ここでは架空事例としてTwitterアプリを例に考えてみる。 何かの間違いで、日本の大手メーカーがTwitterを買収すると・・・UIデザイナーが体を張らないと99%ぐらいの確率でこうなるのです。 ここがオリジナル Request1: ダイレクトメッセージをトップ階層に ユーザーからの真っ当な要望。実際にはサービスの本質ではないのですが、要望はかなり多いはず。 ただTwitter社的にはme
存在を意識させないUI――「docomo シンプル UI」に込めた“シンプル”の意味
存在を意識させないUI――「docomo シンプル UI」に込めた“シンプル”の意味：ドコモが考える、シンプル（1/2 ページ） NTTドコモが2013夏モデルとして発売したパナソニックモバイルコミュニケーションズ製の「ELUGA P P-03E」とNECカシオモバイルコミュニケーションズ製の「MEDIAS X N-06E」には、スマートフォンに乗り換えるユーザーを意識し、ケータイのように操作できる「docomo シンプル UI」が搭載されている。docomo シンプル UIを提供した狙いやその特徴などについて、NTTドコモマーケティング部UXマネジメント担当主査シニアUXデザイナーの松村謙一郎氏と、同社マーケティング部ユーザーインターフェース企画担当主査の壷井雅史氏に話を聞いた。 「アプリ」ではなく「機能」を見せる 「ドコモケータイ（以下、ケータイ）のユーザーは、スマートフォンを使ってみ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
スマホの「フリック入力」から日本が見えてくる【西田宗千佳のイマトミライ】
サムスン、今後は端末性能ではなくソフトウェアで勝負―iOS超えを目指す - iPhone Mania
液冷採用。デスクトップPC代わりにも使える8コアスマホ「Lumia 950 XL」
【山田祥平のRe:config.sys】 Androidはみんな違うから世界は楽しいと言うけれど、違いすぎるのも困る
iPhoneそっくり？ 夏モデルスマホに「auベーシックホーム」
ggsoku.com
