DeepSeekがやっていると噂の蒸留というやつを、ローカルLLMで今すぐやってみる 前編
前提 この記事では、「Symbolic Knowledge Distillation: from General Language Models to Commonsense Models」という論文で提案されている 記号知識蒸留 を、ローカルLLMで日本語で実験する。 詳細 知識蒸留 (Knowledge Distillation) とは、大きなモデル (教師) から小さなモデル (生徒) に知識を転送する手法である 具体的には、LLMの蒸留と言えば、大きなモデルが出力する確率分布（ソフトターゲット）を利用して、小さいモデルを学習させる手法が用いられていた しかし、本論文では、「象徴的」な知識蒸留として、単に数値的な蒸留ではなく、 テキスト (symbolic knowledge) の形で知識を抽出し転送すること を提案している 必要な知識と開発環境 ollamaとPythonとLang
仕事に集中している時に割り込みが入って生産性が落ちる状態を表す「注意残余」という概念、もっと浸透してほしい
相沢陽菜 @fetus_hina コーディングとかしてるエンジニアは一旦集中が外れると頭の中のメモリが飛んで一時間分くらい平気で損することがあるのを理解して言うんならどうぞ、ってかんじ x.com/nekomimi999/st… 2025-01-31 17:51:02 ぐれさん @grethlen いきなり話かけられるなどして脳に割り込みが入ると、しばらく生産性落ちる状態を表す "注意残余" (attention residue) という言葉がございまして。プログラミングの文脈だけじゃなく、頭脳労働一般を指せるので、もっと流行ってほしい。 2025-01-31 21:42:30
エイドリアン・ニューウェイ F1コスト上限でモータースポーツに「隠れた代償」
エイドリアン・ニューウェイは、コスト上限には隠された代償が伴っており、F1はもはやモータースポーツ界で「最も報酬の高い業界」ではなくなったと明かした。 レッドブルからアストンマーティンに正式に移籍するまであと1か月となった技術の第一人者は、チームがペナルティを科せられることで、その余波として主要な人材がモータースポーツの他の分野で別の仕事を見つけたり、また、卒業後にF1で働くことを目指す若者たちを阻むことにもなっているとセンセーショナルな主張をしている。 2021年に導入されたF1の予算制限は、グリッドの前方と後方のチーム間のコース上での差を縮小することを目的として、チームの支出を制限するものである。 エイドリアン・ニューウェイは、コスト上限はF1にとって明らかに有益なものであるが、上限違反に対する処罰にはより大きな欠点があると述べている。 「コスト上限に関しては、チームのコストを管理する
「弱者男性」は有害？ 外国人への「日本語お上手ですね」はほめ言葉？ SNSで“正論を振りかざす”人々へのモヤモヤ | 文春オンライン
『モヤモヤする正義 感情と理性の公共哲学』（ベンジャミン・クリッツァー 著） 「文化とか信仰が違っても落としどころを見つけるために、敢えて自分の信仰とか文化を抜きにして、妥協点を探りつつ、コミュニケーションし合うことで理性的な見解が形成されるような社会を目指すというのがこの本を書いた目的です」 現代のリベラリストの代表格であるジョン・ロールズのいうこの〈公共的理性〉こそが今最も必要とされている規範であると語るのは『モヤモヤする正義』の著者ベンジャミン・クリッツァー氏だ。日本人は〈日本人特権〉を考えることはめったにないが、京都生まれ、京都育ちの著者は、さまざまな特異な経験をする。 本書にはキャンセル・カルチャー、ポリティカル・コレクトネス、マイクロアグレッション、アファーマティブ・アクション、トーン・ポリシングなど、一見知っているようだが理解しているとは言い難い理論や概念が、著者の人生経験も
こいつは本物だ!o3-mini あまりに凄いので緊急ハッカソン開催決定!｜shi3z
ついに予告通りo3-miniが公開された。 何より特筆すべきはそのコーディング能力の高さ。 ちょっと触っただけでも、マインクラフトクローンを爆速で書いてくれたり、3Dのマリオっぽいゲームを自動生成したり、僕が長年頭を悩ませていてついに作れなかった四次元球のポリゴン表現や四次元フラクタルのリアルタイム描画など、サンプルコードが存在すらしていないような難問を次々と解決してしまう。もう面倒だから結果だけ見てくれ マイクラもどき ちゃんとブロックを追加したりできる3Dマリオっぽいゲーム。ちゃんとジャンプして床を渡ることができる。ステージは自動生成四次元球体の三次元断面のポリゴン表現 オレには一生書けないと思っていたその驚異的な性能については、もう動画で解説したので無料部分だけでも見てくれい それで、この凄すぎるo3-miniを使いこなすのに人間一人の力では無理があることを悟ったので、明日の午後から
サンワダイレクト USBハブ付きUSB Type-C充電ケーブル 400-HUBC34
サンワサプライが「USBハブ付きUSB Type-C充電ケーブル」という、一回読んだだけだとピンとこないケーブル、400-HUBC34を発売しました。要はUSB Type-Cの充電ケーブルにUSB Type-Cポートを2つ追加したもので、「他にもあるような…、でも言われてみると見たことがないような…」製品です。個人的にはかなり気に入ってしまったのでご紹介します。 まず、充電ケーブルとしてはPD100W（ケーブルが8Wを消費するので、実際の給電能力は最大92Wになります）対応しますので、ノートPCや一部の超急速充電対応のスマホにも使えます。 また、USB PD充電できるのは1ポートだけですが、他の2つのポートもUSB PD非対応ながら充電用として使えるので、最大3台のデバイスを同時に充電できます。なので、お手持ちの急速充電器のポートが足りなくなっても安心です。 この画像の右側に注目です。この
「Switch 2」転売対策か、本人確認義務化への対応か？ 任天堂、公式ストアで海外クレカなど取り扱いを終了
任天堂は1月30日、日本国内向けの「ニンテンドーeショップ」「My Nintendo Store」で、海外で発行されたクレジットカードなどの決済を終了すると発表した。理由は「不正利用防止」としているが、ネット上では「Nintendo Switch 2」の転売対策ではないかといった憶測を呼んでいる。 国内の公式オンラインストアで利用できなくなるのは、海外で発行されたクレジットカードと、海外で開設されたPayPalアカウント。これまで利用していたユーザーに対しては、他の決済手段を利用するように呼び掛けている。 今回の措置について任天堂は「不正利用防止の観点から」としか説明していない。このためネット上でユーザーの見方は2つに割れているようだ。 1つはオンライン決済における本人確認義務化への対応。経済産業省は、クレジットカード決済の不正利用増加を受け、オンラインストアなどを運営する事業者に対し、4
デジタル一眼とスマホカメラの“現在地” いろいろなシチュエーションで比較してみた
デジタル一眼とスマホカメラの“現在地” いろいろなシチュエーションで比較してみた：荻窪圭のデジカメレビュープラス（1/4 ページ） デジカメレビューのページでこんなことをいきなり言うのもアレだけど、ここ1～2年のスマホカメラ（フラッグシップクラスに限るけど）の画質には目を見張るものがありますな。 デジカメレビューとスマホカメラレビュー（ITmedia Mobileで連載中）の両方を担当してる身としては、いろいろと感じることもあるので、デジタル一眼とスマホカメラのどっちが上なの？ いや、どっちが上とか下とかあるの？ という話をしてみたくなった。 スマホの一番の特徴は連写+合成技 デジタル一眼とスマホカメラ。レンズを通した光をイメージセンサーで受け取って、その信号をデジタル化して画像を生成するという流れは同じだけれども、それぞれが進化した結果、大きな違いを産むに至った。 ちょっと大げさだけど、
「DeepSeekの利用は危険か」詳しくない人や詳しい人向けのレベル別の解説がわかりやすい→「次元構造的解説にしてるのが面白い」
安野貴博 @ 新刊『1％の革命』が2/6発売予定です！ @takahiroanno ソフトウェアエンジニア。起業家。SF作家。34歳・妻と二人暮らし。 開成→東大工学部/松尾研→外資コンサルBCG→スタートアップを2社起業→SF作家/著サーキット・スイッチャー他 安野たかひろ事務所公式X→@annotakahiro24 （連絡はtakahiroanno2024あっとgmailまで） takahiroanno.com 安野貴博 @ 新刊『1％の革命』が2/6発売予定です！ @takahiroanno 【DeepSeekの利用は危険か】 LV.1 あんまり詳しくない人向けの答え: 利用規約的に入力したデータが裏でどう使われるかわからないので入力内容には注意してね。ぶっちゃけ精度はChat GPTのo1とそんな変わらないからそっち使った方が無難だと思うよ。出力にも政治的なバイアスがあると言われて
『推しの子』はほんとうにひどい結末だったのか？ 全力で再考してみた。｜海燕（オタクライター）
「メリーバッドエンド」という言葉があります。ネットで調べてみると、こんな意味。 広く物語において使われる表現形式。 物語を解釈する観点（パースペクティブ / perspective）や受け取り方次第で意味が変化する結末の総称・俗称を指す。 「メリーバッドエンド」の言葉自体は一般的に、物語の登場人物の誰か（多くの場合主要人物）にとっては幸福な結末だが、当人以外の周囲から見ると悲劇的な結末に見えてしまうシチュエーションに対して多く用いられる。 それ以外のエンディングを指して「メリーバッドエンド」と呼ぶのも定義的に間違ってはいないが、そう評する作品、人物は少なく、ビターエンドなどの別の表現で呼びならわされる傾向にある。 この記事のなかでは、先日、「圧倒的大不評」で完結を見た『推しの子』もまたこの「メリバ」の例のひとつに挙げられています。 しかし、『推しの子』はほんとうにメリバなのでしょうか？ そ
鶴巻和哉監督、新作ガンダム『ジークアクス』の制作秘話 衝撃の裏話を披露
サンライズとカラーの共同制作の「ガンダム」シリーズ最新作『機動戦士Gundam GQuuuuuuX（ジークアクス）』。テレビシリーズの放送に先駆け、一部話数を劇場上映用に再構築した劇場先行版『機動戦士Gundam GQuuuuuuX -Beginning-』の大ヒット記念舞台あいさつが2日に都内で行われ、シュウジ・イトウ役の土屋神葉、監督の鶴巻和哉氏、シリーズ構成・脚本の榎戸洋司氏が登壇した。 【動画】『ジークアクス』制作秘話を明かす鶴巻和哉監督&榎戸洋司氏 庵野秀明氏の裏話も 本作は「エヴァンゲリオン」シリーズを手掛けるスタジオカラーとガンダムシリーズを手掛けるサンライズによる新たなガンダムシリーズ。日本テレビ系列にて放送を予定している。2021年公開の『シン・エヴァンゲリオン劇場版』をはじめとする『ヱヴァンゲリヲン新劇場版』シリーズにて監督を務めた鶴巻和哉氏が本作の監督を務め、シリーズ
『機動戦士Gundam GQuuuuuuX』で再注目 45年前の小説版『機動戦士ガンダム』で描かれた驚きの展開とは？
『機動戦士Gundam GQuuuuuuX』で再注目 45年前の小説版『機動戦士ガンダム』で描かれた驚きの展開とは？ 『機動戦士ガンダム』シリーズに連なる最新作『機動戦士Gundam GQuuuuuuX』の放送が決まり、劇場先行版『機動戦士Gundam GQuuuuuuX -Beginning-』も公開されて、ガンダムファンもそうでない人も興奮のまっただ中にいる。2022年に登場した完全新作の『機動戦士ガンダム 水星の魔女』とはまた違った驚きが繰り出されたからで、そこからシリーズの生みの親、富野由悠季監督が執筆した小説版『機動戦士ガンダム』に熱い注目が集まっている。なぜか？ TVアニメとは違うストーリーを歩んだ、小説版『機動戦士ガンダム』 1979年11月から1981年3月にかけ、ソノラマ文庫から全3巻で刊行された小説版『機動戦士ガンダム』は、ネットが存在せずアニメの情報には雑誌くらいでし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
恵方巻きは伝統じゃないとか縁起物じゃないとかはどうでもよくて『海苔巻き一本を渡すだけで夕飯とすることが許される』という事に意味がある
https://x.com/mamiananeko/status/1884842527511183518
暗黒メモ「中居インパクト」｜白饅頭
