LLMのファインチューニングで何ができて、何ができないのかまとめました。 1. LLMのファインチューニングLLMのファインチューニングの目的は、「特定のアプリケーションのニーズとデータに基づいて、モデルの出力の品質を向上させること」にあります。 OpenAIのドキュメントには、次のように記述されています。 ファインチューニングは、プロンプトに収まるよりも多くの例で学習することで、Few-Shot学習を改善します。一度モデルをファインチューニングすれば、プロンプトにそれほど多くの例を提供する必要がなくなります。これにより、コストを削減し、低レイテンシのリクエストを可能にします。 しかし実際には、それよりもかなり複雑です。 LLMには「大量のデータを投げれば自動的に解決する」ような創発的な特性があるため、ファインチューニングもそのように機能すると人々は考えていますが、必ずしもそうではありませ

忙しい人のためのこの記事のまとめ。 処理水放出が、計画上は安全なのはわかる。 今のところ安全なのもわかる。 でも、これまでの東京電力と日本政府の「廃炉ロードマップ」の進捗や、汚染水の管理状況を見てたら、 「2051年までには放出は終わります！」 「それまで安全に管理します！」 なんて言われても信じられない人がいて当然なのでは？ そもそも東電の計画通りに進むものなら、今頃は処理水は増えてないはずだったのに。 風評被害対策は必要だけど、そのためにはまず東京電力が 「ちゃんと計画通りに進みます」 というところを見せることが先決。 現状ではもはや他に処分方法がないんだろうけど、それはあくまで政府と東京電力の手落ち、日本の国内問題で、諸外国には何の責任もない。 そして、たとえ計画通りに進んだとしても、「安全な処理水放出」を受け入れることに、周辺地域や周辺国には何の利益もない。 そう考えると、疑ったり

Remix + Cloudflare Pages/WorkersをベースにD1とKVと組み合わせた構成で作るアプリの解説は巷に結構あるが、それらに加えてQueueやR2なども合わせた参照実装みたいなものが見当たらなかったので作った。 このアプリの機能は下記。 Googleアカウントを用いたOAuthログイン セッション管理にKV,ユーザー管理にD1を使う はてブのようなブックマーク機能(基本的なCRUD) URLとコメントを入力してD1へデータ登録できる URLの先のページからOGPを取得して登録 QueueのProducerとConsumerを使って非同期にタイトルと画像を取得 取得した画像はR2にアップロードする URLごとにブックマーク数を管理する Durable Object(DO)を使う。 Cron Trigger ついでに追加。アプリ的には不要だがせっかくなので設定だけしておく

Magic Moment の @aqlwah です。 私たちが開発している Magic Moment Playbook では、インフラにGoogle Cloudを活用しています。 このたびGoogle Cloud Japan様よりご招待をいただき、特別トレーニングプログラム「Google Cloud Innovators Gym Japan」に参加してきましたので、そのレポートをお届けしたいと思います。 Google Cloud Innovators Gym Japan とは 「Google Cloud Innovators Gym Japan」（以下、G.I.G.）とは、Google Cloudが主催しているGoogle Cloud利用者向け技術スキル習得プログラムです。 3回のオンラインセッションと無料のCoursera講座を用いて学習を進め、Google Cloud認定資格の取得（な

概要 LLMに関心があり、ChatGPTやtransformerの仕組みを理解したいと思っていたところ、雰囲気を掴むのにこちらの動画がとても参考になりました。 動画の内容としては、以下のコーパスを学習して、直前の数文字から次の1文字（単語ではないことに注意）予測機を作成するというものです。 この動画で完成するコードは以下で、225行しかなくとても読みやすいです。 また短いですがtransformerのエッセンスが詰まっていて勉強になりそうです。 このコードを読み解くことでGPTやtransformerがどのように動いているのか、ざっくり理解してみようと思います。 ちなみに完成するとこんな感じの文字列が生成されます。ぱっと見文章っぽいですね。 first Scitizen: He's enough; but he cannot give his friends. MARCIUS: Do yo

個人開発でサービスを作り始めて、気がついたら２年も経っていました。 気軽な気持ちで作り始めたのですが、思いの外色々なことに手を出してしまったので、 利用した技術などをまとめてみます。 作ったもの YouTubeのライブ配信風の画面に向かって話しかけると、 音声を認識してAIがスーパーチャットを送ってくれる、 その名も「AIスパチャ」です。 良かったら遊んでみてください。 作るきっかけ YouTubeでひろゆき氏の配信を見ていた時に、 「私もひろゆきさんみたいに質問回答の配信をやってみたいです。 けれどいざ配信をしてみても視聴者が少なく、質問なんて全くきません」 といった質問がありました。 確かに、ひろゆき氏のように、何千人も視聴者がいて、ガンガンとスパチャが送られてきたらそりゃ楽しいですが、 普通の人はまずスパチャなんて送られません。 そもそも実際にYouTubeライブをやることのハードル

信託型と呼ばれるストックオプション（株式購入権）の税務処理を巡り、上場新興企業13社が源泉所得税の返還を求める訴訟を検討していることが日本経済新聞社の取材で分かった。国税庁は5月、信託型の権利行使で得た利益に対して給与として課税する見解を示した。導入企業に追加の税負担などが生じるため不満が広がっている。信託型を導入済みの上場85社を対象に聞き取り取材と書面調査を実施した。人工知能（AI）コンサ

Metaは、コードもしくは自然言語によるプロンプトから、コードの生成およびコードに関する自然言語の説明を生成できる大規模言語モデル「Code Llama」を公開しました。 Code Llamaは、先月（2023年7月）にMetaが発表した大規模言語モデル「Llama 2」をベースに、コードに特化したデータセットでさらに訓練したバージョンだと説明されています。 対応するプログラミング言語はPython、C++、Java、PHP、JavaScript、Typescript、C#、Bashなどを始めとする主要な言語。 GPUで処理できるサイズやPython特化のモデルも Code Llamaは3つのサイズ、7B、13B、34Bが提供されています。 7Bモデルは1つのGPUで処理できる一方で、34Bモデルは最善の結果を返し、より良いコーディング支援を可能にする能力があります。 一方、7Bおよび13

はじめに どうも。BASEで開発をお手伝いしている 林(@intele) です！ 今回はBASEという大きなプロダクトでドメインを移行した話を、エンジニア目線で、振り返りながらお話したいと思います。 何をやったか BASEで使用しているドメインを thebase.in から thebase.com へ移行を行いました。 ただ、BASEではサブドメインを多用しているため、移行するドメインは thebase.in だけではなく、複数のサブドメインを含め、移行しました。 なぜ移行する必要があったか ****.thebase.in というサブドメイン運用されているショップで広告の効果計測ができなくなったため Apple が推進する App Tracking Transparency(以下ATT) の影響を受けて、Facebook広告の計測手法が変更され、効果計測ができなくなってしまったため ATT

TOPインタビューエンジニア不足は「業界全体」の問題。LayerX松本CTOに聞く「自走できるエンジニア不足」から脱する方法 日本CTO協会 理事　株式会社LayerX 代表取締役CTO 松本 勇気 東京大学在学時に株式会社Gunosy入社、CTOとして技術組織全体を統括。またLayerXの前身となるブロックチェーン研究開発チームを立ち上げる。2018年より合同会社DMM.com CTOに就任し技術組織改革を推進。大規模Webサービスの構築をはじめ、機械学習、Blockchain、マネジメント、人事、経営管理、事業改善、行政支援等を歴任。2019年日本CTO協会理事に就任。2021年3月よりLayerX 代表取締役CTO就任。開発や組織づくり、及びFintechとPrivacy Techの2事業の推進を担当。2023年、LayerX LLM Labsを立ち上げ所長に就任 多くの企業がエンジ

【Unit4 ブログリレー5日目】 こんにちは。Unit4 Eng の西川です。JavaScript が好きですが、今回は JavaScript ではなく、最近やった Spring Boot + Flyway を利用しているシステムから別の DB への接続を増やした時の話をしたいと思います。 非常に可愛いうちの猫です 動作環境 背景 Spring Boot で複数の DB に接続する 概要 application.yaml の記載 Configuration ファイルの作成 Flyway を複数の DB に適用する baselineOnMigrate を適用する Configuration ファイルの作成 テスト用の Configuration ファイルを作成 終わりに We're hiring! 動作環境 今回のプロダクトで利用している Spring Boot と Flyway のバージ

概要 ローカルLLMで最近話題の「CodeLlama-34B-Instruct-GGUF」をtext-generation-webuiから動かし、「ローカルLLMでもファインチューニングなしでプロンプト指示できる」感覚を体験してみる。 メイン読者ターゲット ご家庭にGPUがある人（CPUでも良いが遅い） 最適化だったり正しい理解ができてるかは別として、とりあえず動かしたい人 導入から書くので、推論スピードだけ確認したい人は下まですっ飛ばしてください。 導入 text-generation-webuiの導入 以下からclone 自分はpyenv+venv派なので python -m venv .venv でactivate。 あとは基本的にinstallationに従えば良い。 数少ないポイントとして、使ってるGPUやOSによってtorchが変わること、昔のGPUだとbitsandbytes

エンジニアには「意思決定のバッターボックス」に立ってほしい。エムスリーVPoEばんくし氏に聞く、印象に残る技術選定Top3 「エンジニアが技術的な意思決定に携わること」は、キャリアにおいて重要な意味を持ちます。特定の技術がどのような思想のもとに作られており、利点や欠点は何か。そして、その技術が自社の求めるニーズに合致しているかなど、複数の観点に基づき決断を下す必要があります。ひとたびその技術を導入すれば、長年にわたってメンテナンスし続けることも確定します。こうした経験を通じてエンジニアは多くのことを学び、成長するのです。 では、各企業で活躍する著名なエンジニアたちは、これまでどのような技術的な意思決定に携わってきたのでしょうか。今回はエムスリー株式会社のVPoEである河合俊典（ばんくし）さんに、キャリアのなかで印象に残る意思決定について聞きました。 エムスリーが目指すのは「全員CTOレベル

人質となったはずの被害者が誘拐犯やテロリストに共感し、その犯人と強い絆を感じることがあるとしたら…。 そんな不思議な心の動き、それが「ストックホルム症候群」と呼ばれる現象です。この不可解な心理状態の背後には、人間の感情や生存本能が複雑に絡み合っています。 しかし、この現象を最初に経験したとされる人物の体験には、誤解があるとも指摘されており、専門家の中にはストックホルム症候群の存在自体を疑問視している人もいます。 本記事では、そんなストックホルム症候群の謎について、この問題の起源となった実際の事件を振り返りながら迫ります。

「匂い」は人間の記憶や感情と強く結びついていることが知られており、嗅覚の喪失がパーキンソン病やアルツハイマー病の初期兆候である可能性も指摘されています。カリフォルニア大学アーバイン校の研究チームが行った実験では、毎晩さまざまな香りを嗅いだ高齢者は認知能力が劇的に向上することがわかりました。 Frontiers | Overnight olfactory enrichment using an odorant diffuser improves memory and modifies the uncinate fasciculus in older adults https://doi.org/10.3389/fnins.2023.1200448 Sweet smell of success: Simple fragrance method produces major memory boo

これは環境学者の間では一般論 どこの国も国力を落としたく無いから政治家は議論しないが、 そのかわり人間の未来なんてもう残りわずかしかない 2100年とか地球は普通に人間が住むのに適した環境は失われている

最近「おれってガベージコレクションを勉強するにあたってめちゃくちゃ恵まれた環境にあるのでは？」とふと思い立ち、ベージコレクションの勉強を始めました。 ガベージコレクションの勉強を始めるにあたって、とりあえず「The Garbage Collection Handbook (first edition)」の邦訳である「ガベージコレクション 自動的メモリ管理を構成する理論と実装」を読むことにしました。 この記事では、読み終わってうれしいので、雑に感想を書きなぐっています。表記が「GC」だったり「ガベージコレクション」だったりするのは雑に書いたからです。 前提知識 ガベージコレクションの事前知識はほとんど不要で、何をしてくれるものか大まかにわかっていれば良い程度だと思います。つまり、ヒープに確保した領域を明示的に解放しなくても、何かのアルゴリズムでいい感じにやってくれる仕組み、ということを知って

8/26(土) は湘南.pm #1でした。初開催おめでとうございます！主催のid:papix ありがとうございました!! そこで話したことを書いてみます。 意識高めの題ですが、まずはじめに私は翻訳は全くの素人です。英語が得意だから、英語ドキュメントを翻訳してみようと思ったわけではないです。私の人生、翻訳にご縁があるとは思っていませんでした。 Perlの公式ドキュメントを和訳するようなワーキンググループを一年運営した話をしてみたいと思います。 一年やってみて良かったと思いますし、技術コミュニティに貢献する手として、みなさんの頭の片隅にでも残ったら良いなと思って話します。 こばけんと言います！エンジニア組織開発責任者をしたり、開発生産性の可視化サービスを作ったり、技術コミュニティ活動したり、起業の準備をしています。 そして、この場をお借りして、お知らせをさせてください！ 2024年2月10日(

みなさんSREしてますか？ サービスなどの品質を維持していくために切っても切り離せないSREですが、 日本でもSREという言葉が定着しつつあるかと思います。 このSREについて書いていきたいと思います。 SRE NextのCFP忘れてたのでその代わりに・・ SREってインフラですよね？ 非常によくあるケース、というか多分ほとんどがこうなっていると思います。 もちろん会社としてインフラのことを指しても問題はありませんが、 SREとはどういうものなのか、正しく認識して今一度現状を振り返ることで さらに良い活動に繋がることが多いと思います。 なんのこっちゃ、という方も多いかもしれません。 SREはエラーバジェットなどの話が必ず出てきますので、 モニタリングや監視などが必ずセットにはなっていきます。 ですが、この部分が強調されているのかどうしてもインフラエンジニアでしょ、 というのが定着している場

Reviewed by @azu #44 給料―あなたの価値はまだ上がるを読んだ。 原著はFair Pay: How to Get a Raise, Close the Wage Gap, and Build Stronger Businessesという書籍。 日本語のタイトルは給与交渉の話(個人)に見えるけど、実際に面白かった部分は報酬哲学や公平な給与をどう実現するかという話(組織)だった感覚がある。 なので、読んだ後に原著がFair Payというタイトルだったのみて納得した。 給料はあなたの価値なのかと合わせて読むと面白い本だと思う。 透明性が上がると結果的に格差は減ることが知られているが、透明性だけでは説明力が足りないなーと前から思ってた。 この本ではそこに"誠意ある給与(Pay Sincerity)"という概念を出していた。この概念の話が良かった。 賃金を増加させた時の試算 アメリ

Appleは、同社の有名な顔認証システム「Face ID」をMacBookに導入しようとしているかもしれません。それが実現されれば、これらのデバイスのセキュリティが大幅に強化される可能性があります。今回の推察は、Face IDの利点とAppleのラップトップシリーズへの組み込みの可能性について詳述する、最近付与された特許から生じています。 今回の特許出願では、コンピューターの多面的な機能とそこに内蔵される機密データの保護の必要性を強調しています。これに対して、AppleはMacBookのセキュリティを強化するために、Face ID等の認証システムの統合を検討しています。 ただし、Face IDソリューションを導入しながら、MacBookの洗練されたフォームファクターを維持することが課題となります。Appleはこの懸念を認識し、「光パターン認識モジュール」を提案しています。このモジュールは、

みなさんこんにちは、イノベーションセンターの @Mahito です。普段は社内のエンジニアが働きやすくなることを目標に、コーポレートエンジニアとしての活動やエンジニア向けイベントの企画・運営をしています。 今回は、本 NTT Communications Engineers' Blog を2年間運営してきたノウハウについて共有できればと思います。先日 はてなブログ DevBlog Meetup #1 に登壇させていただく機会があり、ブログ運営に関していくつかお話しさせていただいたのですが、イベント当日に言えなかったことや言ったことの補足などをできればと思います。 目次 目次 開発者ブログのこれまでと目的 運用のノウハウ・意識していること 執筆者の確保・継続・インセンティブ設計 1. 定期的にブログの取り組みを社内に紹介することで取り組みに興味を持ってもらう 2. ニュースリリースを見て、技

ChatGPTを筆頭にした「大規模言語モデル(LLM)」と呼ばれるAIが話題に上らない日はない。このAIが得意なタスクには「プログラムの自動生成」が挙げられるが、Metaからプログラム生成に特化したCodeLlamaが商用利用可能なオープンなライセンスでリリースされた。そこで実際に使ってみよう。 CodeLlamaで素数判定のプログラムを自動生成させたところ プログラミングは大規模言語モデルが得意とするタスク リリースからわずか2ヶ月で1億ユーザーを達成した「ChatGPT」の公開から本稿執筆時点で8ヶ月が過ぎた。筆者も業務でChatGPTをはじめ、Github Copilotなど、大規模言語モデル(LLM)関連サービスを使わない日はないくらいだ。 特に「プログラミング」は、間違いなく大規模言語モデルが得意とするタスクであり、GitHub Copilotを利用している多くの人がその利便性を

2023/08/26(土)に開催された Frontend Nagoya #11
のセッションで使用したスライド資料です。