2024年5月26日のブックマーク (11件)

  • LLMを効率的に再学習する手法(PEFT)を解説 | DOORS DX

    POINT 特定の目的や事業ドメインに即してLLMを用いるためにはFine Tuningが必要 数千億パラメーターを持つLLMをFull Fine Tuning(Full FT)によって再学習するのは時間的にもコスト的にも現実的ではないため、効率的な再学習アプローチの検討が必要 ChatGPT*1がリリースされて以来、大規模言語モデル(LLM)が世界中から注目を集めています。 ChatGPTやBERTなどのモデルは、膨大なテキストから一般的な言語知識を獲得し、さまざまなタスクに対応できる能力を持っています。例えば、ChatGPTやAlpaca*2などのLLMは、要約、翻訳、分類、生成などの多くのタスクを行うことができます。 しかし、LLMをそのまま利用するだけでは、特定の目的や自社のビジネスに適した性能を発揮するとは限りません。LLMが学習しているのはWEB上で得られるデータやデータ化され

    LLMを効率的に再学習する手法(PEFT)を解説 | DOORS DX
  • Gemini for Google Workspace prompt guide

    Do your best work with Gemini for Workspace Gemini for Workspace helps you work smarter, not harder, increasing productivity and saving time so you can focus on higher-impact work. This guide explores different ways to quickly jump in and gain mastery of the basics to help you accomplish your day-to-day tasks. Explore foundational skills for writing effective prompts organized by role and use case

    Gemini for Google Workspace prompt guide
  • 学生の頃インディーゲーム作ってて賞とか取ってましたていう新卒のエンジニアの子がいたんだけど会社でうまくいかなかった話→「ゲームに限らないな…」

    BuchioGames @BuchioGames 業はソシャゲのD/P/Mgr。個人的にもUnityゲーム制作をやってます。 I'm a Japanese solo indie game developer. スマホ向け2.5D + 3Dアクションゲーム『SNO』体験版配信中 固ツイのリンクからDLできます! lit.link/BuchioGames BuchioGames @BuchioGames 数年前、学生の頃インディーゲーム作ってて賞とか取ってましたていう新卒のエンジニアの子がいたんだけどこれが当にうまくいかなかった 企画に納得いかない、ということが多々あったのだ 大規模開発になると企画、エンジニア、デザインと明確に分業し、それぞれの決定が重視される つづく BuchioGames @BuchioGames その子に関して僕が感じ取ったのはゲームを一作り切る力を持っている俺

    学生の頃インディーゲーム作ってて賞とか取ってましたていう新卒のエンジニアの子がいたんだけど会社でうまくいかなかった話→「ゲームに限らないな…」
    door-s-dev
    door-s-dev 2024/05/26
    単なるミスマッチの話として読んだのだが、会社側が悪いと考える人も結構いるようで意外だった/分業されてるようなサイズの会社でチーム開発に向かない人が居場所を見つけるのは難しい気がするのよね
  • pyenvを初心者に薦めるのはもうやめよう - methaneのブログ

    Pythonのパッケージ・プロジェクト管理ツールはまだ乱立状態にあって、どれを使えばいいのかわからないから慣れたpyenv+pipを使おうという判断をする人がいるかもしれない。その判断自体は別に否定しないけれども、初心者に教える時にpyenvを教えるのはもうそろそろやめてほしい。 Pythonをソースからビルドするので、コンパイラや依存ライブラリを事前に揃えないといけない。依存ライブラリが足りないと中途半端なPython環境もできうる。 デフォルトで最適化オプション(PGO+LTO)が付いてないので、最適化ビルドしたPythonより~5%程度遅い Windowsで使えない Rye, pdm, Hatch などは python-build-standalone と呼ばれるビルド済みPythonをインストールする機能があるので、これらの欠点が存在しない。 Pythonをインストールするところま

    pyenvを初心者に薦めるのはもうやめよう - methaneのブログ
    door-s-dev
    door-s-dev 2024/05/26
    これ使っとけばOKみたいなのがなくて辛いのは変わらんねぇ
  • Retrieval-Augmented Generationシステムの改善方法の紹介 - AITC - ISID | AI トランスフォーメンションセンター コラム

    こんにちは、AI製品開発グループのファイサルです。 この記事では、Know Narrator Searchで使用されている文章参照手法、Retrieval-Augmented Generation(RAG)の精度向上方法について紹介します。 はじめに ChatGPTを始めとした大規模言語モデル(LLM)の登場により、AI業界、特に自然言語処理分野で多くの素晴らしい応用先が提案されるようになりました。 LLMは素晴らしい技術であることは間違いないですが、同時に幻覚(Hallucination)という問題を抱えています。 このHallucinationという問題は、LLMが事実と異なる情報をあたかも真実であるように回答するというもので、LLMの発表当初から指摘されていました。 この問題を解決するために、さまざまな手法が存在しますが、よく用いられるのが「Retrieval-Augmented G

    Retrieval-Augmented Generationシステムの改善方法の紹介 - AITC - ISID | AI トランスフォーメンションセンター コラム
  • API Gateway不要!? Lambda関数URLでのAPI構築について考える

    Lambda関数URLで、HTTPリクエストを介して直接Lambda関数を呼び出すことが可能になりました。 これまで、Lambda関数をAPI経由で実行するためにはAPI Gatewayを使用する必要がありました。しかし、Lambda関数URLの登場により、API Gatewayを使わずにLambda関数を直接実行できるようになりました。 Lambda関数URLを使うと、API Gatewayのセットアップや管理の手間を省けます。また、API Gatewayが引き起こす遅延やコストも削減できます。 ただし、API Gatewayには多くの利点もあります。 この記事では、Lambda関数URLの利用方法とその利点、注意点について詳しく解説します。Lambda関数とAPI Gatewayのどちらを選ぶか迷っている方は、ぜひ参考にしてください。 Lambda関数URLとはLambda関数URLは

    API Gateway不要!? Lambda関数URLでのAPI構築について考える
  • 総務省 | 安全なパスワードの設定・管理 | 国民のためのサイバーセキュリティサイト

    安全なパスワードの設定・管理 企業・組織におけるパスワードは、ユーザ名と組み合わせることで企業・組織内の情報資産へのアクセスの可否を決める重要なものです。パスワードの重要性を再認識して、適切なパスワード管理を心がけましょう。 他人に自分のユーザアカウントを不正に利用されないようにするには、推測されにくい安全なパスワードを作成し、他人の目に触れないよう適切な方法で保管することが大切です。 安全なパスワードの設定 安全なパスワードとは、他人に推測されにくく、ツールなどの機械的な処理で割り出しにくいものを言います。 理想的には、ある程度長いランダムな英数字の並びが好ましいですが、覚えなければならないパスワードの場合は、英語でも日語(ローマ字)でもよいので無関係な(文章にならない)複数の単語をつなげたり、その間に数字列を挟んだりしたものであれば、推測されにくく、覚えやすいパスワードを作ることがで

    総務省 | 安全なパスワードの設定・管理 | 国民のためのサイバーセキュリティサイト
  • UI Density

    Interfaces are becoming less dense. I’m usually one to be skeptical of nostalgia and “we liked it that way” bias, but comparing websites and applications of 2024 to their 2000s-era counterparts, the spreading out of software is hard to ignore. To explain this trend, and suggest how we might regain density, I started by asking what, exactly, UI density is. It’s not just the way an interface looks a

    UI Density
  • Linux as the new developer default at 37signals

    For over twenty years, the Mac was the default at 37signals. For designers, programmers, support, and everyone else. That mono culture had some clear advantages, like being able to run Kandji and macOS-specific setup scripts. But it certainly also had its disadvantages, like dealing with Apple's awful reliability years, and being cut off from seeing how half our Basecamp customer base saw by defau

    Linux as the new developer default at 37signals
  • わずか40秒の運動で身体に起こる劇的変化 – 早稲田大学 研究活動

    ― 強度の工夫で短時間でも大きな運動効果 ― 発表のポイント わずか40秒の高強度間欠的運動で、全身および筋肉の酸素消費量ならびに大腿部(太もも)の主要な筋肉の活動が大きく増加することを発見した。 高強度運動の反復回数と、酸素消費量の増加は必ずしも比例しないことが判明した。 研究をきっかけに、トレーニング効果をもたらす『最少量』の解明が進み、日のみならず、世界の運動実施率の向上に繋がることが期待される。 概要 早稲田大学スポーツ科学学術院の川上 泰雄(かわかみ やすお)教授、国立スポーツ科学センターの山岸 卓樹(やまぎし たかき)研究員らの研究グループは、トレーニング効果を生み出す『最少量』のメカニズムについて、強度の工夫によって、短時間であっても大きな運動効果をもたらし得ることを発見しました。健康増進や疾病予防のための運動の重要性は、これまでもメディアなどでたびたび取り上げられていま

    わずか40秒の運動で身体に起こる劇的変化 – 早稲田大学 研究活動
  • Seven Failure Points When Engineering a Retrieval Augmented Generation System

    Software engineers are increasingly adding semantic search capabilities to applications using a strategy known as Retrieval Augmented Generation (RAG). A RAG system involves finding documents that semantically match a query and then passing the documents to a large language model (LLM) such as ChatGPT to extract the right answer using an LLM. RAG systems aim to: a) reduce the problem of hallucinat