昨日話題になった「BitNet」という1ビットで推論するLLMがどうしても試したくなったので早速試してみた。 BitNetというのは、1ビット(-1,0,1の三状態を持つ)まで情報を削ぎ落とすことで高速に推論するというアルゴリズム。だから正確には0か1かではなく、-1か0か1ということ。 この手法の行き着くところは、GPUが不要になり新しいハードウェアが出現する世界であると予言されている。マジかよ。 https://arxiv.org/pdf/2402.17764.pdf ということで早速試してみることにした。 オフィシャルの実装は公開されていないが、そもそも1ビット(と言っていいのかわからない,-1,0,1の三状態を持つからだ。 論文著者はlog2(3)で1.58ビットという主張をしている)量子化のアルゴリズム自体の研究の歴史は古いので、BitNetによるTransformerの野良実装

Photo by JF Martin on Unsplashズキズキする問いだけど問わないといけないこの何年ものあいだ，ぼくは政治的な右派の批判者たちから大学制度を擁護してきた．たとえば，2017年には，大学で行われている活動の一部にかかる税金を引き上げようという共和党の計画に対して，こんなことを書いた： アメリカの大学制度は，この国でいまも経済的な長所でありつづけている屈指の重要制度だ．製造業が中国に行ってしまっているなかでも，アメリカは高等教育で優勢を維持している．アメリカ各地の大学がもたらしている研究とテクノロジーの成果や大学院卒の高技能労働者たちは，知識産業がこの国に集積しつづけている重要な要因だ――3つだけ挙げれば，シリコンバレーや製薬業や石油サービス産業がより低い労働コスト目当てに国外に逃げ出さずにアメリカ国内にとどまっている理由の一つは，ああいう高技能労働者の存在にある．高等

ラクすぎビジネスシューズは「革靴のように見えるけど、圧倒的に軽くて疲れにくい、まるでスニーカーのような履き心地」を目指して開発された商品だ。デザインは全3種類あり、サイズはそれぞれS（25.5センチ）、M（26.5センチ）、L（27.5センチ）を用意した。 軽量かつ伸縮性の高い合成皮革をアッパー（靴の底を除いた上の部分）に使用。靴底は軽くて弾力のあるEVA素材としている。EVA素材は樹脂素材の一種で、サンダルや長靴などによく使われている。こうした工夫で、一般的なビジネスシューズより軽い261グラムを実現した（Mサイズ、片足の重量）。月足氏は「一般的なビジネスシューズは400～500グラム、一般的なスニーカーは300～350グラムです。履いた瞬間に『軽い』と感じてもらえるように、スニーカーより軽くしました」と説明する。

はじめに まず↓の記事を見てない方はぜひ見てください！ 自分にとってはこの記事には「えっ、ナニコレ！」なテクニックが多く、特に解説もなかったのでいろいろ調べてたら休日が消えてました... なのでその時間の供養もかねて、自分が知らなかった部分を中心に、僭越ながら元記事の解説を書いてみたいと思います。 ちなみに、以下が元記事のコードそのままを実装したものです。たしかに掲載コードだけで要素がグリグリ動きますね。 See the Pen js-drag-move-original by www-tacos (@www-tacos) on CodePen. 初耳1: $img まずコードのここ <img id="$img" src="https://js.cx/clipart/ball.svg" width="40" height="40"> <script> $img.onpointermove

Stable Diffusion Forgeを表示した様子。基本的な操作は既存のStable Diffusion WebUI AUTOMATIC1111とほぼ同じ 画像生成AI「Stable Diffusion」用の新しいユーザーインターフェース「Forge」が2月6日に登場しました。開発したのは、これまで「Controlnet」や「Fooocus」などStable Diffusion関連の様々な重要技術を開発してきたillyasviel（イリヤスベル）さん。何よりインパクトが大きいのは、グラフィックボードのVRAM容量が小さい安価なPCでも最新版のStable Diffusion XL（SDXL）が動かせることです。 RTX 40シリーズが求められたSDXL SDXLは、2023年8月にStablity AIが発表した画像生成AI。高画質な出力ができる一方、コミュニティーサイトで話題にな

これ面白くて、未来が自分の後ろ側にあった時代には矛盾がなかったんですよ 我々現代人は普通「未来が前、過去が後ろ」なのが当たり前だと思ってますが、昔は過去が前、未来が後ろにあったんです 全く日本独自のことではなく、古代ギリシャやソマリ語など世界の地域/言語であった/あることらしいですが https://t.co/3iG9Uaqgae pic.twitter.com/hkoAEAJjB0— 重藤小藤太 (@Kotouta_Sige1) February 18, 2024 この言説は正しいのだろうか。この場合、過去に書かれた文学などにおいてどのような用法があったかを確認すればいいだろう。というわけで『源氏物語』から「先」が未来をあらわしている箇所を引用する。 わが御世もいと定めなきを、ただ人にて朝廷の御後見をするなむ行く先も頼もしげなめることと思し定めて、いよいよ道々の才を習はさせ給ふ。 「私の

広野 萌 @hajipion 日本語おしゃべり特化AIアプリ「Cotomo」すごすぎる。1秒以内に返答がくるのと前の話を覚えてるのが、本当に生きてるみたい。 ↓こちらは現金派のCotomoちゃんを論破しようして逆に論破されるキモ男 早口でどもってても聞き取れてるし、オチが天使すぎる👼 声がたまに @harukana_8 に似てるのも良い pic.twitter.com/jhX3X6Giev 2024-02-24 16:54:21 リンク App Store ‎Cotomo（コトモ：音声会話型おしゃべりAI） ‎・1人で運転している時。 ・推しのキャラを設定したAIと喋りたい時。 ・恋愛や仕事、将来の話、家族の話。他愛もない話をダラダラしたい時。 ・友達には少しだけ話しにくい、嬉しかったことや、モヤモヤがある時。 ・晩酌のお供に。 ・深夜、ふと誰かに話したくなった時。 そんな時、Cotom

まず、大慌てでリンク集を作成する（今後も、新作が発表されたら追加していきます） 【2024年3月現在　　11話まで更新】 固定用ツイートです。『風雲児たち』の二次創作『識りたがり重豪』というマンガを描いてます。蘭癖大名にして薩摩の借金五百万両の当事者だった島津重豪の物語です。 ニコ漫 : https://t.co/JOcoZ3PncI pixiv : https://t.co/gAzFRfScKY fanbox : https://t.co/0L8dIHjiW0— 桝田道也＠近世大名は城下を迷路化なんてしなかった (@mitimasu) June 1, 2023 １ mitimasu.fanbox.cc ２ mitimasu.fanbox.cc ３ mitimasu.fanbox.cc ４ mitimasu.fanbox.cc ５ mitimasu.fanbox.cc ６ mitimasu

『自分と違う価値観の人を見下すのは、学びを追求する者の姿勢としてあってはならないという話』についてのまとめ

Transformer 深層学習モデル以前の言語モデルの課題 言語モデルでやりたいことは、「今まで生成した単語列を元に、次の単語を予測する」ことで、その単語は今まで生成した単語列を条件とし、次にある単語がくる条件付き確率を求め、その確率が最大のものを選ぶということだった。（LLM資料p.8参照） ただ、これだと単語列が長くなったときや、類義語の処理に課題が生じてしまっていた。 ニューラル言語モデル しかし、計算したい条件付き確率をNNで推定することにより、対処できた。 Encoder-Decoder型のRNN（Recurrent Neural Network)が最も基本的なモデルにはなるが、これでは長文に対応できなかった。（勾配消失＆単語間の長距離依存性の把握が困難） RNNが勾配消失するのは、活性化関数のtanhが1未満の値を取るため、BPTT時に掛け算されるとだんだん値が小さくなってし

これは全社会人が読んで得をする書籍ですが、特に「パソコンが得意ではない社会人の方」が読むと一番効用が大きいように思いました。 また、私自身IT業界で働いていて世間一般的には「パソコンが得意な人」だと思いますが、それでも知らなかった使い方もたくさんあり学びが多かったです。 この書籍の推しポイントやりたいことベースで書いてある 日常のあらゆる面倒なことに手が届く パソコン触りたての人がつまづきそうなポイントへのフォローが丁寧 （例：ChatGPTはShift Enterで改行できる、など） 試行錯誤のうえのプロンプト（＝AIに対しての指示）が載っているので出力が安定している （※ ChatGPTをはじめとしたLLMは同じ入力でも毎回出力変わります。また、ちょっと言葉が足りなかったりするだけで意図しない出力が返ってきますがそのあたりへの気配りが非常に丁寧です） 著書の専門性が高い（Kaggle

人気のメモアプリEvernoteが2023年12月4日、無料アカウントのサービス内容を大幅に改訂しました。従来、無料アカウントでも最大10万ノート、250のノートブックを利用できましたが、12月4日以降は50ノート／1ノートブックへと削減されます。 Evernote側は、ほとんどの無料ユーザーはこのしきい値を下回っていると説明していますが、アップロード容量などに制限はあるものの、無料でもほぼ無制限と呼べるほどに使えていただけに、今回の変更により他のサービスへの乗り換えを検討しているユーザーも多いようです。 そこで今回は、Evernoteの移行先として有力なサービスをいくつか紹介したいと思います。いずれのサービスも無料プランが用意されているので、まずは自分の使い方に合っているかどうかを確認してみることをお勧めします。 Notion：多機能すぎる万能ツール メモと呼ぶには、あまりにも多機能すぎ

本章では、二項検定を学びます。二項検定は、本書で学ぶ統計手法の中では、最も使用頻度が低い手法です。しかし、統計学の入門に最適な学習項目です。理由が3つあります。第一に、高校1～2年で学んだ数学だけで、この手法の原理を完全に理解できます。統計手法はたくさんありますが、唯一この手法だけは、全て手作りの計算で実行できます。第二に、面倒な検定統計量の計算を必要としません。第三に、二項検定には、検定の論理の全てが詰まっています。こうした理由から、読者のお父さんやお母さん、もしくは、お爺ちゃんやお婆ちゃんの世代では、二項検定は、高校の数学の教科書で解説されていました。この「とても分かりやすい」という長所を、活用しない手はありません。本書では、統計学の学習を、二項検定から始めます。本章では、当時の大学入試の頻出問題をさらに簡単にした例題を使って、学びます。… 本書の使い方 統計学を学ぶ心がけ／予備知識／

やっぱりドナルド・トランプ前大統領（７７）は強かった。いよいよ開幕したアメリカ大統領選で、返り咲きを目指すトランプ氏が共和党指名候補争いの序盤２戦で連勝し、破竹の勢いを見せつけている。既に「事実上の共和党候補」だとの見方を疑う声はほとんどない。法や民主主義を軽視する言動で問題視されながらも、なぜ熱狂的な人気を集めるのだろうか。ポイントは、トランプ氏の「行儀の悪さ」だ。（共同通信ワシントン支局＝比嘉杏里、武井徹） ※この記事は記者が音声「共同通信Podcast」でも解説しています ▽マラソンレース、心身ともにタフさ必要 大統領選は、二大政党の民主党と共和党が候補者を絞り込む「指名争い」と、各党の指名候補が対決する「本選」の２段階で進む。トランプ氏は２０２２年１１月に出馬を表明しており、選挙戦は長期にわたるマラソンレースだ。この間、一挙一動が耳目を集め続けるため、人並み外れた体力や精神力が必要

プレゼンにおけるスライド作りや文章も、ChatGPTと相談しながら作成することで効率的に準備を進めることができます。文章やデータに至るまで、説得力のあるプレゼンにするために、ChatGPTはどのような提案をしてくれるのでしょうか？　AI活用コーチとしても活躍する谷口恵子氏の著書『AI仕事革命 ‐ChatGPTで仕事を10倍効率化‐』（リチェンジ）より、ChatGPTを活用したプレゼン資料の作成方法をみていきましょう。 プレゼン資料の構成もChatGPTなら可能 ChatGPTと相談しながら、プレゼン資料の骨子を作りましょう。いきなりプレゼン資料を作り始めるのではなく、まずは目的に合わせて構成をしっかり作っておくと、プレゼンの流れがスムーズになり、情報を整理された形で伝えられます。 また、聞き手がプレゼン全体の目的や内容を把握しやすくなり、関心を引きやすくなります。重要なポイントを効果的に強

皆さん、OpenAIが公式のGPTsを開発をしていることはご存じですか？ 実は、 OpenAI 謹製のGPTsにも有用なものがたくさんあります。 本記事ではOpenAIが手がけるGPTs、全22個をご紹介していきます。 GPTsの基本ついておさらいしたい方は以下の noteをご覧ください！ それでは、早速見ていきましょう！ 1. Data Analyst(データ分析)ファイルを入力するだけで、データ分析や視覚化をサポートします。データをより深く理解するための強力なツールです。 以下は、ニューヨークの不動産情報に関するファイルを入力した例です。「要点をまとめて」という簡単な指示で、データ分析から要点をまとめるところまで一気に行ってくれます。 2. Web Browser(ウェブ検索)インターネットから検索して、情報収集やリサーチをサポートしてくれるGPT。普通のChatGPTもブラウジング能

9つに分けて行ってきた当企画もいよいよ最終回。最後は架空の苗字を取り扱う。中には代表的な幽霊苗字もあるため、後半でその概要と共にまとめて触れることにする。こちらだけでも読んで頂ければありがたい。 また、存在しないゆえに苗字と絡めて書けることもあまりなく、基本的に文章も短い。あくまでおまけ程度に留めている。 陸八魔読み:りくはちま 陸八魔アル存在しない。存在するわけがない。 ブルアカにはいるかいないか絶妙な塩梅の苗字が多いのだが、これは苗字の造詣がなくとも先陣を切ってまずいないと断言できるだろう。 恐らく由来は旧約聖書に登場するベリアルだと思われる。ベリアルはグリモワールの『ゴエティア』においていわゆるソロモン72柱の"68番目"に位置する悪魔であり、悪事を好む性質。ここにアルと似通った性質がある。 ちなみに「魔」がつく苗字は「破魔(はま)」「降魔(ごうま)」の2種類が実在。 前者は「浜」の

神奈川県立高校の入試出願システムで、Gmailへメールが届かない問題が再発しました。 令和6年1月24日14時掲載(第1報(新)) 本日より募集期間となりましたが、@gmail.comのメールアドレスのみを登録している志願者に、出願システムからのメールが遅延している、あるいは届かない不具合が発生しています 神奈川県公立高等学校入学者選抜インターネット出願システムの稼動状況について 以前、出願システムから送信されるメールにYahooメール、Gmailに届いたメールより、送信者ドメイン認証などは正しい事を確認できていました。 Gmailに届くようになった、障害解消後の神奈川県立高校入試のインターネット出願システムのメールを調べてみた 今回、Gmailに届かないメールに 迷惑メールとして判定される要素が無いか、 mail-testerのサービスを利用して診断した結果を共有させて頂きます。 迷惑メ

最近の話ですが、以下のようなニュースが話題になっているのを見かけました。 データサイエンス系の学部は文理融合の学びを掲げ、文系の受験生も集めるため、受験科目に「数学」を含まない入試方式を設ける大学も少なくない。河合塾によると、私立大のデータサイエンス系学部・学科における昨春の一般選抜のうち、数学を選ばずに受験できる大学は約半数もあった。 要は「数学不要」のデータサイエンス学部が出てくるようになったというお話で、各種SNSでは論議を呼んでいるようです。界隈によってはほとんど「嘲笑」に近い評が流布していることもあり、少なくともデータサイエンス業界におけるこのニュースの受け止められ方としてはかなり冷ややかだという印象があります。 とは言え、冗談でも何でもなく「全国津々浦々どこに行っても大学の新設データサイエンス学部の広告を見かける」*1というのが既に常態化している昨今では、これに類する話題は今後