LLMのファインチューニング で 何ができて 何ができないのか｜npaka
LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ
宇宙RPG『Starfield（スターフィールド）』は「数十時間遊んでもバグがほぼ起こらない」とのプレイ報告が出る。本当に“Bethesda史上もっともバグが少ない”ゲームになりそう - AUTOMATON
Bethesda Softworksは9月6日、『Starfield』の発売を予定している。本作の先行プレイをおこなった人たちの証言から“バグの少なさ”が示されているという。海外メディアInsider Gamingが伝えている。 『Starfield』は、『The Elder Scrolls』シリーズや『Fallout』シリーズの開発で知られるBethesda Game Studios（以下、Bethesda）が手がけるRPGだ。本作では人類が太陽系外に進出している2330年の世界を舞台に、プレイヤーは希少なアーティファクトを求める宇宙探検家集団コンステレーションの一員として、広大な宇宙の星々を冒険する。 本作には100以上の星系に1000以上の惑星が存在し、プレイヤーはすべての惑星について、好きな場所に着陸して探索できるという。惑星によっては高度に発展した都市があり、多彩なクエストも用意
自作キーボードのスイッチソケットを、クリームはんだとヒートガンで実装する - @74thの制作ログ
自作キーボードには、スイッチを直接実装する代わりに、ソケット部品を実装してスイッチを交換可能にすることが行われます。 私の作っているキーボード Sparrow62v2 もソケットに対応しています。 しかし、2022年くらいから、新設計のソケットが出回るようになりました。ソケットの金属部分に直接はんだごてを当てるのが大変になりました。 上:従来 下:新設計 なぜこのような設計になったのかはわかっていません。コストなのか、機械実装でマウントしやすいのか、不明です。 これに対して、手でのはんだごてでの実装もできなくもないですが、ヒートガンを使ってみました。 クリームはんだを乗せる ヒートガンで実装する場合には、線状のはんだではなく、クリームはんだを使います。 注射器の容器に少量はいったクリームはんだを、aliexpress で買って使っています。 ja.aliexpress.com また、これを
Announcing Python in Excel: Combining the power of Python and the flexibility of Excel.
(6/10/24) UPDATE: Python in Excel is gradually rolling out to Enterprise, Business, Education, and Family and Personal users running Current Channel (Preview) builds on Windows. This feature is rolling out to Excel for Windows, starting with Version 2406 (Build 17726.20016). Since its inception, Microsoft Excel has changed how people organize, analyze, and visualize their data, providing a basis f
Prompt Engineering Guide – Nextra
Prompt Engineering Guide プロンプトエンジニアリングは、言語モデル（LMs）を効率的に使用するためのプロンプトを開発および最適化する比較的新しい学問分野です。プロンプトエンジニアリングのスキルを身につけることで、大規模言語モデル（LLMs）の能力と限界をより理解することができます。 研究者は、プロンプトエンジニアリングを使用して、質問応答や算術推論などの一般的なおよび複雑なタスクのLLMsの能力を向上させます。開発者は、LLMsやその他のツールとのインタフェースとなる強固で効果的なプロンプテクニックを設計するためにプロンプトエンジニアリングを使用します。 プロンプトエンジニアリングは、プロンプトの設計と開発に限らず、LLMsとのインタラクションおよび開発に役立つ幅広いスキルと技術を含みます。これは、LLMsとインタフェースすること、ビルドすること、能力を理解すること
Prompt Engineering Guide – Nextra
Prompt Engineering Guide Prompt engineering is a relatively new discipline for developing and optimizing prompts to efficiently use language models (LMs) for a wide variety of applications and research topics. Prompt engineering skills help to better understand the capabilities and limitations of large language models (LLMs). Researchers use prompt engineering to improve the capacity of LLMs on a
近況報告：無職になりました - IT戦記
みなさんお元気ですか？僕は少しだけ元気ではありません。じんわりとした夏の暑さを感じながらブログを書いています。 実は、数ヶ月前にスマートニュースという会社を退職しました。 しばらく無職 しばらくは就職せずに無職でいようかなと思っています。 すぐに再就職した方がいいんだろうな〜。とは思うのですが少し疲れたかも。 いい時代になったものだ 最近は AI の進化も素晴らしく、昔ソフトウェアで出来なかったことがどんどんできるようになってるなって感じます。 Rust とか、ちょうど欲しかった感じのプログラミング言語もあるし、 ChatGPT は完璧ではないけど何か新しいことを始めるときに素晴らしい洞察を与えてくれる。 時代は確実に良くなってる。そんな時代に「自分は働いていないくていいのか」と少し不安になるけれど、自由気ままにコードを書く、そんな時間が今あってのもいいのかなって思ってます。 オフトピック
佐賀空港経由でサガン鳥栖戦を観に行くのも意外に楽しいよ！アウェーサポにおすすめしたいグルメ＆観光まとめ【ごはん、ときどきサッカー 特別編】 - ぐるなび みんなのごはん
©浦正弘 私の故郷・佐賀県には「サガン鳥栖」というJリーグのチームがあります。ホームスタジアムは「駅前不動産スタジアム」、略して「駅スタ」。 元々JR鳥栖駅の操車場跡地に建てられたスタジアムなので、駅から近くてとても便利!!しかも、九州最大の都市、福岡市のJR博多駅からJR鳥栖駅までは快速で約30分。ところがそこに悲劇があります。 サガン鳥栖の試合を見に来た他のチームのサポーターは、ほぼ福岡空港経由で来て、試合後は福岡に戻って泊まってしまうんです。 佐賀県出身者としては、この状態を見過ごすわけにはいきません。そう思って、いろんなチームのサポーターに「どうして佐賀に行かないの？」って聞いてみました。最も多かった理由は—— 「佐賀に何があるか分からない」 ですよね…（涙）。 たしかに福岡は素晴らしい街です。しかし、福岡にはない佐賀の魅力というものが存在するのも事実でございます。 たとえば… 人
Slack用emoji入力キーボードを作ってみる - Pepabo Tech Portal
カラーミーショッププロダクトチームでウェブアプリケーションエンジニアをしているyamotoです。 GMOペパボ株式会社では仕事道具としてキーボードにこだわりを持つ方が多く、Happy Hacking KeyboardやKinesisと言った市販の高級キーボードや、最近ブームとなっている自作キーボードを作成して業務を行っている人が多数在籍しています。私もHappy Hacking Keyboardや自作キーボードを使って業務を行なっています。 これまではキットを購入して自作キーボードを作っていましたが、何台か作っていると自分でも設計からやってみたいという思いが出てきました。と言っても基板設計を1から行って、基板を発注するだけの知識がありませんでした。 今回はマイコンとキースイッチを配線して、QMK Firmware(以下QMKと呼ぶ)という自作キーボードで多く使われているファームウェアをビル
Patterns for Building LLM-based Systems & Products
Patterns for Building LLM-based Systems & Products [ llm engineering production 🔥 ] · 66 min read Discussions on HackerNews, Twitter, and LinkedIn “There is a large class of problems that are easy to imagine and build demos for, but extremely hard to make products out of. For example, self-driving: It’s easy to demo a car self-driving around a block, but making it into a product takes a decade.”
最終日を迎えた「RTA in Japan SUMMER 2023」を振り返る。直接寄付だけで860万円が集まり，今冬の開催も決定
最終日を迎えた「RTA in Japan SUMMER 2023」を振り返る。直接寄付だけで860万円が集まり，今冬の開催も決定 編集部：早苗月 ハンバーグ食べ男 2023年8月10日より開催されていた「RTA in Japan SUMMER 2023」が，本日（8月15日）をもって最終日を迎えた。 「RTA in Japan」は，RTA（Real Time Attack：実時間に基づいたタイムアタック）をフィーチャーしたチャリティイベントだ。配信や関連グッズから得た収益から税金を差し引いた額が，“国境なき医師団”へ寄付される。なお今回は，全種目終了の時点において，直接寄付だけで860万円が集まったとのこと。 今回の会場となったのは東京・麹町のnote place。ライブ配信がTwitchで行われ，アーカイブがTwitchおよびYouTubeで公開されている。出走タイトルは約100本で，過
【入門】要件定義
はじめに 最近プロジェクトマネジメント関連の仕事をする機会が増え、(駆け出しですが)要件定義や設計関連の業務もするようになったので、私の経験を基に要件定義の具体的なプロセスや考え方について、まとめていきます。 この記事の対象者 要件定義の基本や思考プロセスを学びたい人 エンジニアからプロジェクトマネジメントをやりたい人 ビジネスサイドとエンジニアサイドのコミニュケーション能力を向上させたい人 具体的な事例を通して要件定義を学びたい人 前提 紹介する内容はあくまで一例であり、プロジェクトやチームの状況に応じて調整が必要 あくまで自分(駆け出しPM)の経験に基づいた内容を言語化しています プロジェクト規模は10名〜20名のWebアプリ開発を想定しています システム開発の全体像 一般的なシステム開発のプロジェクトは下記のフェーズで進んでいきます。 ※ コンサルの領域だと要件定義の前に企画構想とい
「とにかく、たっくんよりも良い結果を…」伊藤匠四段のライバルが奨励会を目指さなかった理由とは | 観る将棋、読む将棋 | 文春オンライン
現役最年少の棋士・伊藤匠四段（19）が、新人王戦で優勝するなど活躍している。さらにABEMAトーナメントでは、「最年少+1」で同い年のチームメイト藤井聡太三冠とともに優勝を果たした。その際にネットで大きな話題となったのが、2人が小学校3年生のときに参加した「第9回小学館学年誌杯争奪全国小学生将棋大会・3年生の部」の上位3人の写真だ。 準優勝は伊藤四段、3位は藤井三冠、そして優勝して真ん中に写るのが川島滉生さん（19）。伊藤四段と同じ「三軒茶屋将棋倶楽部」で腕を磨いてきた幼馴染だ。プロは目指さないと自分で決めたという川島さんに、伊藤四段との激しいライバル争いや「あの写真」の思い出について、なぜ奨励会試験を受けなかったのかを聞いてみた。 川島滉生（かわしま・こうせい）さん。2002年生まれ。神奈川県横浜市出身。私立攻玉社中学高校卒業。2018年、高1で全国高等学校将棋選手権男子個人の部優勝。現
「自分の付加価値は何なのか」を考え続けていく必要がある 及川卓也氏が思う「エンジニア」と「生成AI」の関係性
及川卓也氏に聞く必要な“エンジニア力”の身につけ方 「自分の付加価値は何なのか」を考え続けていく必要がある 及川卓也氏が思う「エンジニア」と「生成AI」の関係性 米国OpenAI社が公開した「ChatGPT」が盛り上がりを見せている中、議論されがちなのは“AIの脅威”。それではエンジニアやプログラマーにとって、AIは脅威なのでしょうか？それとも新たな相棒なのでしょうか？ 今まで多くのエンジニア組織をまとめてきた及川卓也氏に、エンジニアとChatGPTの関係についてうかがいしました。 ChatGPTに対してプログラマーができること ーー最近の話でいうと、ChatGPTのような生成AIが出てきて、なんか「エンジニアの仕事も取られるんじゃないの？」とか、エンジニアもプログラミングをやっていて、ChatGPTももちろんプログラミングをするというのはあるとは思うんですけど、そういう意見も一部はあるの
ゼルダTotKで「普通」の挙動を実現するための特許がいろいろ出願されている件 - naoya2kの日記
「ゼルダの伝説 ティアーズ オブ ザ キングダム」(ゼルダTotK)を購入して遊んでいるのだが、ヌルくだらだら遊んでいるために一向に終わる気配がない。 (京都の地名の元ネタを探したりしているからという説もある。「カスケイオマの根」は烏丸御池なのだろうとか) そうこうするうちに時間が経ち、任天堂の特許を検索してみるとどう見てもゼルダTotKに関するものが大量に出願されていた。その数31件。ヤバい。 そんなわけでざっと概要などを斜め読みした結果をまとめたものが下記の表である。左端の列の連番で2が抜けているのは、ここにあった特開2023-104988はゼルダに関係のなさそうなものだったからである。 今年7月10日から、8月4日までに公開となった任天堂の特許。ほぼTotKのものだった スクラビルドの特許が3件。ウルトラハンドとそれで組み立てた道具の挙動などに関するものが3〜6件、今回あまり目立って
ChatGPT - LLMシステム開発大全
私の今まで経験してきた全てのLLMノウハウを詰め込んだ、LLMシステムの開発ガイドです。 初めてLLMシステムを開発したいと思った時でも、精度改善や運用に行き詰った時でも、何かしら役に立つと思います。 現在200ページ超。 今後も随時更新していきます。 2023/7/28 体裁修正、余計…
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「NAT」「NAT越え」「NATタイプ」ってなーに？
れきちず
https://jp.indeed.com/career-advice/career-development/product-naming
Microsoft、「Python in Excel」を発表 ～Windows向けベータ版でテスト開始【6月18日追記】／Windows版「Excel」のCurrent (Preview)チャネルに順次配信中
