2023年に読んだ本 - 思索日記
週1冊程度は読んできたけど紹介するほど良かった本が10冊なかった。しかし1と2はいきなり殿堂入りするくらい良かったので、今更だけど紹介。今回紹介するのは5冊です。*1 1. いつも時間がないあなたに 欠乏の行動経済学 昨年の記事「知識の資本主義」で扱った。 tomato10.hatenablog.com たまには自己啓発本でも、と思って読んだらゴリゴリの行動経済学本だった。一周して自己啓発的な示唆が多分に含まれており、それでこういうタイトルになっていると思われる。タイトル詐欺。認知資源やお金や時間の欠乏は、「メリットもあるがデメリットのほうが大きい」ということを丁寧に教えてくれる。”欠乏”と一言でまとめて考えられることに着目するのすごい。多忙と貧困の共通点なんてよく気がついたよね。。 昨年前半、仕事が忙しすぎて目が回る状況だった。自分は体調を崩してしまい先に離脱してしまい、そのときにこの本
LLM開発のための環境構築
はじめに 株式会社Elithの大森一祥です。AIテックカンパニーの一員として、お客様の課題をAIを駆使して解決しています。 大規模言語モデル(LLM)が人間と匹敵する性能を発揮することもあり、弊社には多岐にわたるプロジェクトの依頼が寄せられています。最近は、情報漏洩のリスクを回避するため、独自のLLMの開発を希望されることが多いです。このような案件では、一般に公開されたモデル(ローカルLLM)を利用します。 ローカルLLMを活用して課題を解決する方法として、以下の4つが挙げられます。 プロンプトエンジニアリング：LLMに特定の出力を生成させるための入力文の工夫する手法 RAG：外部の文章データベースから、質問に類似した文章を取り出しLLMの入力として用いる手法 インストラクションチューニング：ユーザの指示に沿った出力を生成することを目的としたチューニング手法 継続事前学習：LLMモデルに対
【llama.cpp】誰でもできるgguf変換
tinyLlamaとかを使うときに4bit量子化したいときが誰しも一度はあると思うので、備忘録を描いておく。 llama.cppを導入し、convert.pyを実行、最後にquantize.exeを実行すればOKです。 cmakeの導入 これを参考にcmakeを使えるようにしてみてください llama.cppの導入 llama.cppをクローン git clone https://github.com/ggerganov/llama.cpp cd llama.cpp makeをする。自分はcmakeでやった mkdir build cd build cmake .. cmake --build . --Release cd .. モデルの変換 モデルのダウンロードをする。今回は「yuiseki/tinyllama-ja-wikipedia-1.5T-v0.1」を用いる。 cd models
変更履歴を記録する
Version 1.1.0 # Changelog All notable changes to this project will be documented in this file. The format is based on [Keep a Changelog](https://keepachangelog.com/en/1.1.0/), and this project adheres to [Semantic Versioning](https://semver.org/spec/v2.0.0.html). ## [Unreleased] ### Added - v1.1 Brazilian Portuguese translation. - v1.1 German Translation - v1.1 Spanish translation. - v1.1 Italian
それでも私が<wbr>でなくinline-blockで改行調整をする、たった1つの理由
inline-block を使う理由、それは 入れ子構造を作れることにより、改行位置の優先順位をつけられるから！ 詳しくは以降で説明します。 （前提）そもそも改行調整ってなんの話？ このタイトルを見て記事を開いた方であれば知っていると思いますが、一応説明です。 スペースで単語が区切られる欧文とは違い、日本語は単語の区切りがないので、改行すべき位置を機械的に判断できず、不自然な位置で改行されてしまうことがあります。そこで、見た目を整えるため、改行すべき位置を指定するための手法が必要になります。 他に詳しい記事がいくつもありますので、詳細はそちらを参照してください。 代表的な改行調整の手法 <wbr> 要素 <wbr>要素は、改行してよい位置を表す要素です。 親要素に対して word-break: keep-all; を指定して基本的には改行されないようにすることで、<wbr>要素がある位置で
GaLore - 家庭用ハードウェアでの大規模モデルの学習｜npaka
以下の記事が面白かったので、簡単にまとめました。 ・GaLore: Advancing Large Model Training on Consumer-grade Hardware 1. GaLore「GaLore」は、「NVIDIA RTX 4090」などの家庭用GPU上で、Llamaなどの最大7Bパラメータを持つモデルの学習を容易にします。これは、学習プロセス中のオプティマイザの状態と勾配に従来関連付けられていたメモリ要件を大幅に削減することによって実現されます。 2. オプティマイザ状態でのメモリ効率オプティマイザ状態は、特にAdamのような適応最適化アルゴリズムでは、モデルの学習中のメモリフットプリントの重要な部分を占めます。「GaLore」は、オプティマイザによって処理される前に、勾配を低次元の部分空間に投影することでこの問題に対処します。これにより、これらの状態を保存するため
Slack で集約チャンネルの作り方
前回に引き続き、Slackオートメーションプラットフォームの紹介です。 今回は複数のチャンネルの内容を1つのチャンネルに集約して、時系列で確認できるようなワークフローを作っていきます。(具体的には、全てのtimes(分報)チャンネルでの投稿を指定したチャンネルに集約してくれるワークフローです) Trigger 集約したいチャンネルに作成したSlackアプリを追加するだけで、trigger に設定することができます。他の trigger と同居してるSlackアプリの場合は、channel_ids にも追加して、指定のチャンネルだけで今回の trigger が動くようにすると良さそうです。また、1つの trigger ファイルで指定できる channel_id は 20個までなので、20個以上のチャンネルを集約したい場合は、複数の trigger ファイルに分けるなどする対応が必要です。 i
セキュリティ強化して弊社は万全だ！と思っていたら数年後に事件が起きてしまった話→なんという金の無駄…
たか＠IT土方 @ta_ka159R9 自作PC関連・DIY家具・EOS M6 Mark2・アニメ(銀英/新作系・SF系)・ゲーム(PCオンライン系/FF14)ついて適当につぶやきます。また、重度の妹病を発動することありｗ 一応、元留学生で既婚の社会人(どっかの会社の社内SE)です~。比較的、五月蠅いかも？ たか＠IT土方 @ta_ka159R9 弊社で起きた事・・。 ①WAFを導入！セキュリティーも万全！ ②数年後・・アタック発生！WAF入れていなかった？ ③WAFから危険だから修正しろと言うアラートが何年も前から表示されていたらしい？ ④そのアラートをもとに対応する人もログを監視するチームもありませんでした！ ⑤社長ガチギレ！ 2024-03-22 16:18:23
WSL2でSakana AIを試してみる｜ngc-shj
「進化的モデルマージにより日本語数学LLMとして構築したEvoLLM-JPは、数学のみならず、日本語の全般的な能力に長けている」らしいEvoLLM-JPを試してみます。 追記（2024/3/22） 10Bのモデルですが、torch_dtypeを"auto"からtorch.bfloat16に変更すると、推論のスピードが改善しました。 モデルEvoLLM-JPは、3種提供されています。今回は３つとも試します。 - 大規模言語モデル SakanaAI/EvoLLM-JP-v1-10B : MICROSOFT RESEARCH LICENSE TERMS SakanaAI/EvoLLM-JP-v1-7B : MICROSOFT RESEARCH LICENSE TERMS SakanaAI/EvoLLM-JP-A-v1-7B : Apache License, Version 2.0 ※画像言語
ユーザーローカルが生成AIの「ChatGPT」と「Claude」による自動要約ツールを無料提供 | Web担当者Forum
AI(人工知能)・ビッグデータ分析技術開発のユーザーローカルは、手軽で高速に文章の要約が可能な「ユーザーローカルAI自動要約ツール」の提供を始めた、と3月21日に発表した。利用者は複数の生成AIの大規模言語モデル(LLM)から選択して文章要約でき、文書の種類や、要約結果の長さも指定できる。ログインは不要で無料で利用できる。 米国OpenAIの「ChatGPT」で「GPT-3.5」と「GPT-4」だけでなく、米国Anthropic(アンスロピック)の「Claude」で最近発表されて話題の「Claude 3」にも対応した。「日報」、「レポート」、「ニュース記事」、「コールセンターなどの会話ログ」、「議事録」、「物語」など文章の種別を指定すると、より高品質な要約結果が得られる。 AI自動要約ツールに入力されたテキストは、ChatGPTやClaude、ユーザーローカルのAIトレーニングに利用される
『技術書の読書術』を読んで覚えておきたいテクニック - Qiita
はじめに 今回紹介する本 「技術書」の読書術 達人が教える選び方・読み方・情報発信&共有のコツとテクニック ITエンジニア本大賞という企画でこの本のことを知り、 技術書のインプットが足りてないなと思う時期だったため、改めて技術書の読み方を学んでみようと思い読んでみました。 本書の構成を簡単にお伝えすると以下の３部で構成されております。 第１部 選び方 第２部 読み方 第３部 情報発信＆共有 各部ごとに２人の著者それぞれが章を受けもってそれぞれ書かれている感じで、１冊の本なのですが、読書術を２人の視点から学べるお得な本となっております。 この本は次のような方におすすめできると思いました。 これから技術書を読み始める人 技術書を読んでいるがまだ数冊、読み方など考えたことがない 自己流でこれまで読んできているが他の人がどのように読んでいるのか知りたい この記事では「第２部 読み方」について特に印
CSS から React コンポーネントを生成する MistCSS
CSS から React コンポーネントを生成する MistCSS 2024.03.23 MistCSS は CSS in JS になぞらえた JS from CSS というコンセプトで、CSS から React コンポーネントを生成するツールです。ピュアな CSS を記述できるので、学習コストが低い、パフォーマンスに影響がないといったメリットがあります。 昨今のフロントエンド開発では、CSS の手法が多様化しています。特に React での開発では以下のような手法があげられます。 グローバル CSS（エントリーポイントで 1 つの CSS ファイルを読み込む） CSS Modules CSS in JS Tailwind CSS CSS の手法に新たな選択肢が加わりました。それが MistCSS です。MistCSS は CSS in JS になぞらえた JS from CSS というコ
Pull Requestのレビュー負荷を軽減し、開発生産性を向上するためにチームで取り組んだこと - ZOZO TECH BLOG
はじめに こんにちは。WEARフロントエンド部Webチームの藤井です。私たちのチームでは、WEARのWebサイトのリプレイスと新規機能の開発を並行して進めています。これらの開発を推進する中で、Pull Requestのレビュー負荷を軽減し、開発生産性を向上させるための取り組みを行なってきました。本記事では、その中で効果的だった取り組みについてご紹介します。 目次 はじめに 目次 背景と課題 レビューの体制の薄さ スコープの広さ 仕様把握の負担 対応内容についての説明不足 処理の複雑性 仕様の抜け漏れ 動作確認の手間 課題解決に向けた取り組み レビュー体制の見直し Pull Requestを小さくする Issueを小さくする Pull Requestの粒度について明文化する 機械的なチェックの拡充 ESLintルールの拡充 Visual Regression Testの拡充 Pull Req
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【2024年】React, Tailwind CSSでメルカリクローンサイトを作ろう【入門】
「才能の民主化」をめぐる議論 - 西尾泰和のScrapbox