ブックマーク / note.com/shi3zblog (19)

  • AI時代に起業するということ|shi3z

    生成AI以前と以後で、会社のあり方は決定的に変化していくのだと思う。 たとえば、昨日はとある会議で、「この(AI)サービスの原価はいくらか」という議論が沸き起こった。 AIサービスなのだから、AIの利用料くらいしかかからないかというとそうでもない。実際、AIを動かすためにはAIそのものにかかるお金以外の人件費がかかる。誰かに売る人の人件費や、システム開発のための人件費や、サポートのための人件費だ。ただ、AIサービスの場合、人件費を極限まで最小化することができる、という点が決定的に違う。 また「AIの利用料」も、「APIの利用料」なのか、ベアメタルサーバーの月額利用料なのか、それとも自社に持っているGPUマシンの電気代なのか、という議論のポイントがある。 あまり多くの人は語らないことだが、実は起業には再現性がある。 つまり、一度でも事業をうまく立ち上げたことがある経験を持つ人は、次も事業をう

    AI時代に起業するということ|shi3z
    yarumato
    yarumato 2024/04/11
    “日常的にキャッシュフロー表(=現実=会社があと何ヶ月生存できるか、)を見ない経営者は事業をうまく立ち上げられない。人が飯を食っていく方法つまり「経営」のノウハウは少人数で秘匿した方がいい”
  • Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能|shi3z

    Command-R+の衝撃! 100Bモデルで当にこんなことできんの!?ダウンロードしてローカルで実行可能 Transformerの発明者らが起業したCohereAIがとんでもないモデルを出してきた。この業界では毎週のように「えーー!」ということが起きるのだが、その中でも年に1,2回起きる「えーーーっ」が起きたのでブログでも紹介しておきたい。 Command-R+(おそらくコマンダープラスと読むのが正しい)というモデルは、わずか100Bで、GPT-4,Claude-3並と言われるモデルだ。しかし、それを主張するだけのモデルなど腐るほどある。だが、実際に触ってみると期待外れということが多かった。 ところがCommand-R+は、その性能は桁違いである。というか、もはや僕という人間如きがちょっと触ったくらいでは「GPT-4よりいいね」とか「ここら辺甘いね」とか判断がつかなくなってきてる。しか

    Command-R+の衝撃! 100Bモデルで本当にこんなことできんの!?ダウンロードしてローカルで実行可能|shi3z
    yarumato
    yarumato 2024/04/06
    “コマンダープラスというモデルは、GPT-4と判断がつかないレベル。しかもGPT-4の5倍速い。創造的な文章を書かせるとやばい。俺の原稿よりずっといい。しかも無料。メモリ96GB以上のMacがあれば、ローカルで動作可能”
  • 驚異の1ビットLLMを試す。果たして本当に学習できるのか?|shi3z

    昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装

    驚異の1ビットLLMを試す。果たして本当に学習できるのか?|shi3z
    yarumato
    yarumato 2024/02/29
    “わずか5時間でセットアップできた。なんかそれっぽいこと言ってる! しかも小さいから当たり前なのだが推論は超速い。モデルサイズは200MB。GBじゃないよ。このサイズでこの解答、文法的に合ってるのが驚異的だ。”
  • ごめんVisionPro誤解してた (๑˃̵ᴗ˂̵)|shi3z

    朝起きて、「うーんまだ布団から出たくないな」と思ったとき、おもむろにVisionProを被ってみた。 暗い部屋では認識が格段に悪くなるが、なぜPSVRではこういう使い方をしなかったのかわかった。後頭部だ。 PSVRは後頭部にゴツい部品があって、それで寝ながらVRを見るということが少し難しくなってる。VisionProの標準のバンドはこういうときにちょうどいい。 VisionProでTerminalを動かして、継之助の様子を見る。今日も元気に学習しているようだ。 昨日寝落ちした Amazon Primeの「沈黙の艦隊」第五話と六話を見る。音がいい。空間オーディオに対する長年の研究が結実してる感じ。しかもすごくいい音なのだ。 昨日、路上で歩きながら使ってみた(技適の特例申請には移動経路を申告済み)。路上で使うと思わぬ欠点というか盲点にぶちあたる。ウィンドウがついてこないのだ。 他のHMDと違い

    ごめんVisionPro誤解してた (๑˃̵ᴗ˂̵)|shi3z
    yarumato
    yarumato 2024/02/11
    “Macの画面をVisionProに表示して驚いた。Macの画面が空中に表示。空間コンピューティングなので画面を大きく小さく手前に持ってきたり。モバイル機器iPadの代替品というより、Macの新しいディスプレイなのである”
  • Apple Vision ProはHoloLensの完成形。現時点での限界値|shi3z

    昔は海外の電波を発する新製品は国内で使用できなかったが、今は総務省の技適の特例制度を利用することでいち早く試すことができる。 「海外法令」云々のところで多少つまづいたが、これはFCC IDを検索すれば解決した。 https://fccid.io/BCGA2117 VisionProのFCC IDはBCGA2117だった。 これで準備完了。 吾輩は、かつては1990年代にキヤノンのMR(混合現実感)システムや理化学研究所のSR(代替現実感)システムを試し、大学院の履修生をやっていた頃はVR特講を受講し、学生対抗国際VR(人工現実感)コンテストに参加したこともある。htc Viveでいくつかのデモを作り(ほとんどは非公開)、Oculusもほとんど持ってるくらいはHMD好きである。片目リトラクタブルHMDで自転車の走行を支援するシステムのデモも2008年頃に作った。 2017年には機械学習したM

    Apple Vision ProはHoloLensの完成形。現時点での限界値|shi3z
    yarumato
    yarumato 2024/02/08
    “多くの人にとって一度体験すれば充分で、全部のコンテンツがQuest3で体験可能である点には注意したい。 筆者は1990年からVR/AR/MR/XR関連に詳しい。HoloLens(2016)はマイクロソフトの革新的デモが画期的だったが”
  • 俺に起業の相談をするな|shi3z

    最近よく聞かれるので改めて言っておく。俺に起業相談をするな。一切受けつけていない。突然事業のアイデアを言われても俺は助けないし助けられない。 俺が相手にするのはUberEatsのユーザーと、昔から一緒に仕事をしている人の紹介だけだ。もうすぐ五十路が見えているというのに新たな人間関係を構築しようとするほど俺は暇でも気長でもない。 相談されるとそれだけで僕の頭脳が無駄に消費される。俺に相談するというのは基的に泥棒である。俺は何か聞いたら自分でも意識しないうちに気の利いた解決策を考えてしまう。俺にとって俺の頭脳は商売道具だから、俺に起業相談をするというのはタダでイラストレーターに絵を描けと言ってるのと同じだ。 相談を受けなくていいようにたくさん記事を書いてるしも書いている。俺の情報を一方的に発信するのは構わないのだが、誰かのへんな考えを聞いて時間を浪費したくない。時間は限られているのだ。

    俺に起業の相談をするな|shi3z
    yarumato
    yarumato 2023/10/23
    “銀行は年商10億未満の会社など会社扱いしない。個人商店である。少なくとも一年で一億円の売上、二千万円の税引き前利益を作れ。 キャッシュフロー表はまさに現実。目をそらす奴は経営者になれない。”
  • AIを語りたいなら最低限Pythonをやるべき。足し算より簡単なんだから|shi3z

    昨日は新潟県長岡市に行って、市役所の職員向けと、一般向けに二回の講演を行った。 市役所の職員からの質問事項をよく読むと、ChatGPTを闇雲に何にでも使おうとして苦戦している姿が見てとれた。 たとえばこんな感じだ。 ⚪︎時に東京駅につく新幹線を予約したいとChatGPTに言ったが、公式サイトをチェックしろと言われた 我々からすればその回答は当たり前なのだが、闇雲になんでもChatGPTでやろうとするとこうなってしまうという典型的な例だった。当たり前だが、その目的ならえきねっと一択だ。 ChatGPTには限界がある。しかも低い。 だから通常はPluginと組み合わせたり、プログラムから呼び出したりするという「工夫」が必要になる。 GPTを使うプログラムを書くのはものすごく簡単だ。 たぶんプログラムの世界でも最も簡単な部類だろう。 たとえば僕がプログラムでGPTを使おうかなと思った時、こんなふ

    AIを語りたいなら最低限Pythonをやるべき。足し算より簡単なんだから|shi3z
    yarumato
    yarumato 2023/10/02
    “実際、最近の二冊の本はこう書いた。「AIについて五章構成で英語の目次と各章の概要を書け。日本語で書け。要約しろ。要約を元に結論を書け」最短時間で目的達成を考える。手間を省くを最優先するのがハッカー”
  • OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる|shi3z

    凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot

    OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる|shi3z
    yarumato
    yarumato 2023/09/08
    “ChatGPTのCode Interpreterはクラウド上で動くだけ。ローカルで動作するOpen Interpreterは、衝撃的。macOSで動くアプリを直接操作させられる。指示すると、Webブラウザ操作して情報を要約まで、必要なアプリは勝手に入れて遂行”
  • LINEの3.6B言語モデルで遊んだら爆笑した|shi3z

    LINEから36億(3.6B)パラメータの大規模言語モデル(LLM)が公開されたので早速遊んでみた。正確には遊んだのは昨日のデイリーAIニュースなのだが、面白かったのでこちらにも転載する。 細かいやり方は大先生のページを参照のこと。 例によってこんな関数を書いた def line(prompt): # 推論の実行 input_ids = tokenizer.encode(prompt, add_special_tokens=False, return_tensors="pt") tokens = model.generate( input_ids.to(device=model.device), min_length=50, max_length=300, temperature=1.0, do_sample=True, pad_token_id=tokenizer.pad_token_i

    LINEの3.6B言語モデルで遊んだら爆笑した|shi3z
    yarumato
    yarumato 2023/08/16
    “「質問に答える」モデルではなく「文章の続きをつくる」モデルである。質問ではなく、これから回答を書くつもりでプロンプトを書くのがコツ。 試しに「酒とは、」と入れて見る。”
  • AI Bunchoモデルで何か物語めいたものを生成する|shi3z

    もともと小説を書くためのAIなので物語には強いだろう。しかも日製だし。 ということで大先生が早速試していた。 僕も真似をしてさっそく使ってみたのだが、そのままだとかなり短い文章しか出てこない。使い方に工夫が必要そうである。 そこでこんなコードを書いた。 def b(prompt): input_ids = tokenizer.encode( prompt, add_special_tokens=False, return_tensors="pt" ).cuda() tokens = model.generate( input_ids.to(device=model.device), max_new_tokens=320, temperature=0.6, top_p=0.9, repetition_penalty=1.2, do_sample=True, pad_token_id=tok

    AI Bunchoモデルで何か物語めいたものを生成する|shi3z
    yarumato
    yarumato 2023/08/14
    “下手だ。下手だけど確実に躍動感がある。どこか「それっぽい軽薄なセリフ」の応酬が延々と続くという、むかしのラノベみたいな雰囲気がある。GPT-4はセリフが下手だったが、Bunchoはセリフがそれっぽい”
  • 数式は触ってみないと何も分からない|shi3z

    数式って不便すぎないか? いやわからん。 俺は数学苦手だから。 でも例えば、プログラミング言語は、現代普通に使われるものだけ挙げても、C#、JavaScriptRubyPythonPHPJavaSwiftとまあ軽く7種類くらい。C系で言えば、C、C++もあるし、C++もバージョンによってはほとんど別物になったりする。プログラミング言語ではない人工言語としても、HTMLSQL、VHDL・・・アセンブリ言語などがあり、使う人は少ないが恩恵に預かってる人が多い言語で言うとLISPやHaskellなんてのもある。 しかもこれらのプログラミング言語は、すべて「同じアルゴリズム」を記述することが可能なのだ。 「同じことを説明するのに複数の方法(言語)がある」と言うことが一体何の意味があるのか、プログラマー以外の人にはわかりにくいだろうが、プログラマーにとっては大問題である。 それぞれのプロ

    数式は触ってみないと何も分からない|shi3z
    yarumato
    yarumato 2023/06/23
    “本「ご冗談でしょうファインマン」の独自の三角関数の記法を使ってた話。友人にノートを見せた際、独自記法では伝わらず諦めて普通に三角関数を書く。まさに現代なら新しいプログラミング言語思い立つ場面”
  • AGIまでの道のりはまだまだ長い|shi3z

    最近「やったぜこれでAGIだ」という言説を国内外でよく見かけるので私見を述べておく AGIとは、人工一般知能(Artificial General Intelligence)で、要は人間と同等の思考能力を持つ人工知能のこと。汎用人工知能とも言う。 この先にはASI、つまり人工超知能(Artificial Super Intelligence)がある。ASIの成立がいわゆる「シンギュラリティ」の到達条件と考えられていて、世の中は「シンギュラリティ」の実現を目指す、碇ゲンドウのようなヤバい連中で溢れている。 AGIが作れればAGIは人間と同等の知能を持っているため、あとは人間が努力しなくても自動的にASIを作ることができると考えられている。 したがって、ASIを作るためにまずAGIを作ろうじゃないか、というのがロングスパンの議論なのだが、今の大規模言語モデルしか持たない野蛮な人類が、それをもっ

    AGIまでの道のりはまだまだ長い|shi3z
    yarumato
    yarumato 2023/04/18
    “AGIとは、汎用人工知能(Artificial General Intelligence)で、人と同等の知能を持つ。AGIが作れれば、あとは人が努力しなくても自動的にASIを作ることができると考えられている。”
  • GPT4を使って8万字の書籍を半日で書き上げる方法|shi3z

    書籍の執筆依頼が殺到しているのでなんとか省力化できないかと思ってGPT4を使って下書きを書こうとしたところ、ものの数時間で書き上がってしまった。 下書きができるとあとは早い。 細かなポイントを見たり、最新の情報を入れたり、自分の感想を差し込んだりするだけである。 しかも、文章の整合性がとれているので、パッと見た時にこれがAIによって生成された文章であるかどうかは気づかれにくい。 でもプログラミングでもそうだが、「まずやりはじめる」という静止摩擦係数が異常に高い。「よし、やろう」と思うまでの時間をGPT4は短縮してくれるし、できあがった原稿のたたき台を見て「ここが足りない」「もっとこういう切り口にできないか」考える、いわゆる「編集者」的な役割をこそこれからのAIユーザーには求められるのかもしれない。 ただ、この方法はあまりにも簡単で強力であるため、世間への影響が大きい。たぶんこれから、バカ

    GPT4を使って8万字の書籍を半日で書き上げる方法|shi3z
    yarumato
    yarumato 2023/03/23
    “執筆でもプログラミングでも「まずやりはじめる」静止摩擦係数が高い。今後、GPT4で下書き作り修正する編集者的な役割が求められる。今後、版元が個人名や歴史が浅い出版社の本はクズ本認定される。”
  • GPT-4 APIがやってきた!3.5と"性能"を比較する|shi3z

    Waiting Listにもっと時間がかかるかと思ったのだが、予想外に早く(一日)APIのロックが解除された。ただしまずは8Kトークン版のみ。 GPT-3.5が4Kトークンだったから倍の長さのストーリーが出せるということだ。 ただし値段はChatGPT APIの10倍。元に戻った感じ。 これはどっちを使うべきか結構悩むぞ。 こんな感じで呼ぶ % curl https://api.openai.com/v1/chat/completions \ -H 'Content-Type: application/json' \ -H 'Authorization: Bearer APIKEY'\ -d '{ "model": "gpt-4", "messages": [{"role": "user", "content": "宮崎駿について"}], "temperature": 0.7 }'答えはこ

    GPT-4 APIがやってきた!3.5と"性能"を比較する|shi3z
    yarumato
    yarumato 2023/03/16
    “GPT-3.5が4Kトークン、8Kトークン版は倍の長さのストーリー出せる。値段は10倍。遅い(18秒->29.54秒)。饒舌になったが正確性は。API利用料金は消費トークン数に比例するので「百文字で説明しろ」はお金を節約できる”
  • 会話という錯覚について|shi3z|note

    あちらの記事は万人向けに書いているので、行間読まないとわからないようなことは省略してあるのだが、欄の読者には補足として蛇足になるかもしれないが会話について研究していて思ったことを記しておく。 人工無能と僕記事中にあるように僕がチャットボット・・・当時は人工無能と呼ばれていたが・・・を開発し始めたのは中学生の頃だ。1990年頃だと思う。 きっかけは、中学校にNECのパソコンが導入されて、友達に自分のプログラムを見せる機会を得たからだ。 家で一人でプログラミングしているときはどうも気分が乗らなかったのだが、友達を面白がらせるという動機は子供の頃の僕にとっては非常に強く働いた。 一度、家で人工無能のプログラミングをしたときは、相手が自分しかいないのでわりとすぐ飽きてしまったが、中学になってその熱が再燃した。 きっかけは月刊ASCIIに、AWKの特集が載ったことで、AWKというのは要はUNIX用

    会話という錯覚について|shi3z|note
    yarumato
    yarumato 2023/02/11
    “手書きを使う人間がごく一部であるという結論にたどり着き、手書きというアプローチから一旦離れることにした。 次に切り込むべきは、会話である。”
  • コンピュータは難しすぎる|shi3z|note

    コンピュータは非常に便利なのだが、ほとんどのコンピュータユーザーがその能力の1%も使えてないのではないか。そんな気がするのだ。 というか、コンピュータの能力が人類の進歩に比べて上がり過ぎてる。 おかげでゲームAIもビデオ編集も手軽になった。 MacBookの新しいCPUが発表されたのだが、40%高速化したというニューラルエンジンを一体全体何に使えばいいのか、人工知能の研究者である吾輩にもわからないので、これを使いこなすことができる人は将来登場するのだろうか。 コンピュータの能力を真に最大限引き出すには、残念ながらプログラマーになるしかない。しかも、マシン語レベルの最適化ができるプログラマーである。 プログラムさえ丁寧につくればコンピュータの持つ潜在能力は圧倒的に高い。だがコンピュータに比べて人間は頭が悪すぎる。 結局のところ、道具がどれだけ進歩しても使う側の人間の想像力が追いつかないと全

    コンピュータは難しすぎる|shi3z|note
    yarumato
    yarumato 2023/01/19
    “アメリカ空軍は性能低い戦闘機で敵国を圧倒。窓が大きく、状況の把握が容易なのが勝利の鍵。すばやい状況の把握と、意思決定から行動OODAまでのタイムラグ短縮が、戦闘の勝敗を決する → UIに戦略的に投資すべき”
  • Midjourneyに$40課金して見つけたコツ|shi3z

    最近流行ってるAIといえばMidjourney。 吾輩は自宅の電気代が5万円を超えてしまったのでgakyoをお休み中。 というか最近はgakyoでなくてもrepica.comとかいろいろあるのでそっちでいいのではないかと思っている。 そこでMidjourneyですよ。 開発リーダーはLeapMotionの人。 何より安い。だって今まで月に5万かかってた電気代が$30でいいわけですからね。 でもチキンな吾輩はとりあえずお試し→終了→$10プラン→終了と繰り返して、$30/月プランに入りました。だから$40課金勢。 Discordで簡単に使えるのでGakyoよりワンクッションくらいは面倒なんだけど無いよりマシ。 Midjourneyは人間とかの描写に「あまり」制限がない。DALL-Eとかの公開版だと人間の描写に制限があったりするので使うのが難しいが、Midjourneyはハリウッド俳優の名前と

    Midjourneyに$40課金して見つけたコツ|shi3z
    yarumato
    yarumato 2022/08/07
    “MidjourneyもおそらくGPT-3ベースのCLIPを使っているので、CLIPの使い方、そしてGPT-3の使い方を知っていればコツは早く掴める。”
  • 真実とは何か|shi3z

    ITジャーリストAyanoさんという人がいて、彼女はすごい人なのである。 何がすごいかというと、ものすごいダイエットに成功した人なのだ。 【大会まで1週間】 秀子先生の緻密な指導と仲間の理解と応援のおかげでここまで来ることが出来ました❗️ のこり1週間悔いのないよう最後まで全力でやり抜きます💪 みなさん応援よろしくお願いします‼️#フィットネスビキニ https://t.co/7lmPdxWeHs pic.twitter.com/2ICgNdXnOK — ITジャーナリスト富永彩乃 Ayano Tominaga (@AyanoTDO) July 23, 2017 そんなAyanoさんと初めて会った時、せっかくだから一緒に写真を撮りましょう、ということになったのだが、Ayanoさんは「だったらこのカメラで撮って下さい」と、中国製の自撮りに特化したスマホが出てきた。プリクラのように、少し目が

    真実とは何か|shi3z
    yarumato
    yarumato 2021/11/10
    “写真はその瞬間の心象風景を写し撮れない。スカイツリーが大きく見えたが、撮影すると小さく映っただけの写真に。真実味(瞬間に感じた心の動き)を伝えるには、後で加工して強調するしかない。加工後が真実”
  • 嘘だろ?深層学習が3Dゲームを再現|shi3z|note

    深層学習の世界では時折・・・と言っても、一ヶ月に一回くらいだが・・・信じられないようなことが起きる。 以前、ゲーム画面を見ただけでパックマンやらマリオやらを再現するAIが出現したと聞いたとき、「嘘だろ」と思ったのだが、まあ言うてパックマン。なんとなくできるのかもしれない。 しかしこの手のものはあまりにも直感に反するので自分の手で確かめないと当かどうかわからない。 そんな時のために僕の仕事机には7台のGPUマシンがあるわけだが、たまたまRTXが遊んでいたので実行してみたら、「嘘だろ」としか言いようがない結果を目の当たりにすることになった。 GTAVこと「グランセフトオートV」は、自動車泥棒になって架空の街を走り回るゲームだ。 こいつをひたすらAIに学習させると、GTAVをAIが再現するという、全く直感に反することが行われるらしい。3Dゲームというのは、それを作った経験のある人なら誰でも、恐

    嘘だろ?深層学習が3Dゲームを再現|shi3z|note
    yarumato
    yarumato 2021/06/28
    “クォータニオンの異質さは、三次元空間における姿勢を唐突に一本の単位ベクトルとその周囲の角度という4要素だけで表現し、3虚数単位を導入すると合理的かつ自然な回転運動が(なぜか)表現できることだ。”
  • 1