ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
人と向かい合おう！エンジニアリングマネジャーに限らずおすすめできる「エンジニアリングマネジャー入門」を読んだ - kakakakakku blog
2024年7月14日に出版された新著「エンジニアリングマネジャー入門」を読んだ📕 本書は「人と向かい合う」ことにフォーカスしていて，エンジニアリングマネジャーがどんなことを日々考えて，どんなことに日々対処しているのかという実践的なノウハウがまとまっていた．著者が Google をはじめとした多くの組織で実践してきた体験談がベースになっているからこその説得力も感じられる一冊だった💡 エンジニアリングが好きな私たちのための エンジニアリングマネジャー入門 作者:サラ・ドラスナー日本能率協会マネジメントセンターAmazon 本書は翻訳を担当された @iwashi86 さんに送っていただいた❗️活動量の多さと影響力の広さに驚きです🎉 出版おめでとうございます〜 ＼( 'ω')／ 7月14日に出版される「エンジニアリングマネジャー入門」を翻訳された iwashi-san に送っていただきました
エンジニアの成長における過去と現代の違い | 外道父の匠
自身の過去の成長過程と現在の環境を思い浮かべたときに、得やすいもの得づらいものの違いを強く感じ、良好な成長のために一考してみた次第です。 といっても既にある Tweet のセルフまとめに、思い出と昔話なポエムを追加したようなチラ裏回です。 時代の変遷によるステータス変化 要約すると、現代は技術力の向上に必要な環境と既定路線があって向上速度が早いのに対し、昔（2010年以前とか）は頭を悩ませまくって乗り越えるべき壁が大量にあったおかげで解決力は相当鍛えられたよねってところ。 個人的には誰であれ、今！自分が！解決しないと！詰んでしまう!! てかもう詰んでるだろコレ!!!! って状況でひたすら悩んでから、寝て起きたら解決したよぉ！みたいのを体験してほしいし、一度は死の淵まで行ってこいって思っている — 外道父 | Noko (@GedowFather) July 17, 2024 これについて、
生成AI検索は「道案内」ではなく「種明かし」──日本新聞協会、著作権侵害の可能性を指摘
日本新聞協会は7月17日、Web検索と連動してAIが回答を生成するサービス（以下、生成AI検索）について、著作権侵害に該当する可能性が高いとする声明を発表した。 生成AI検索は、米Googleや米Microsoft、米Perplexityなどが提供している。新聞協会はGoogleのサービスを例に挙げ、利用者が求める情報をネット上から探し出し、それを転用・加工したコンテンツを提供していると説明。著作権法に規定された「軽微な利用」とは到底いえない、長文の回答を提供するケースが多数みられるとしている。 「軽微利用」の規定（第47条の5）は、1）検索対象の情報の所在提供（URLの表示など）等に付随した利用である、2）検索目的に照らして必要な限度内で、かつ、軽微な範囲の利用にとどまっている、3）著作権者の利益を不当に害していない、という条件を全て満たすことで、許諾なしに他人の著作物を利用できる。 新
2023-24年のKaggleコンペから学ぶ、NLPコンペの精度の上げ方
LLM関係のコンペがかなり多かったですね。 ベースラインノートブック 最近はほとんどのコンペがHuggingfaceのTrainerを使って学習が行われます（テーブルデータにおけるscikit-learnのような立ち位置です）。ChrisのNotebookは非常にシンプルにまとまっているのでぜひ参考にしてください。 分類（＋RAG） 回帰、分類 固有表現抽出 NLP・精度上昇で検討すること データを増やす LLMによるデータ生成 + ラベリング（CommonLit2 1st, DAIGT 1st, LLM Sci Exam 5th, PIIDD 1st） LLMによるデータ生成は必ずしも効果があるとは限らない データ生成方法も現状はベストプラクティスはない Mistral, Mixtral系列でデータ生成がよさそうな感じはする なお、LLMがラベル付けできないタスクでは厳しい印象です TT
自動テストを考慮したテスト設計 〜概念〜 - Qiita
テスト設計において何を考えてますか？ テスト設計の時、何を考えていますか？テスト対象の機能のこと。テストすべき観点のこと。テスト技法を適用すること。期待値を明確にすること。テスト条件を満たす手順や環境を定義すること。最終的にテストケースに落とし込むこと。色々と考えることはあると思います。 テスト設計のWhatとHow これら考えていることは大きくWhatとHowに分けることができます。Whatというのは、「何をテストするか？」を考えることです。一方、Howというのは、「どのようにテストするか？」を考えることです。普通テスト設計で考えることと言えば、何をテストするか、いわゆるテスト観点を抽出したりすることが大事と思われがちですが、Howのどのようにテストするかも同じくらい必要です。これは、これまでの経験上そうしていたといったことや、過去のプロジェクトのやり方を流用するなどして暗黙的になってい
ブラウザ開発者ツールのネットワークタブに表示されない情報送信手法 - Qiita
はじめに はじめまして、セキュリティエンジニアのSatoki (@satoki00) です。今回はブラウザの開発者ツールのネットワークタブから隠れて、Webサイト内の情報を送信する手法をまとめます。所謂Exfiltrationというやつです。中にはCSPの制限をBypassするために用いられるテクニックもあります。CTFなどで安全に使ってください。 前提 発端はWeb上でテキストの文字数をカウントできるサイトが閉鎖する際の話です。カウント対象のテキストデータがサイト運営 (やサイトを改竄した攻撃者) に盗み取られていないかという議論が巻き起こっていました。「盗み取られていない」側の主張は、ブラウザの開発者ツールのネットワークタブにリクエストを送信した形跡がないというものでした。ここで ブラウザの開発者ツールのネットワークタブに表示がなければ外部へデータを送信していないのか？ といった疑問が
「稲作」のメタファーで「現在・未来」の「ゲイン・ペイン」に注目したら、とても前向きにふりかえりできた - Money Forward Developers Blog
こんにちは、クラウド会計の開発チームでスクラムマスターをしているasatoです。 自作のふりかえりフレームワークがいい感じに機能したので紹介します 🙌 その名も「稲作（Rice Cultivation）」です。 背景 私はスクラムマスターとして、チームのふりかえりをファシリテーションする機会が多いです。当然のようにお気に入りのふりかえりフレームワークがあります。その辺は、個人のブログで語っています。 ブログでも語っている通り、私は「象・死んだ魚・嘔吐」が好きです。メタファーが想像力を掻き立ててくれます。 象🐘：誰も言わないので言いにくいと感じているが、大きな障害物だと思っているもの（英語の慣用句 “Elephant in the room” より） 死んだ魚🐟：今はそこまで気にならないが、放置すると大きな障害物になりそうなもの 嘔吐🤮：その他、自分の中でモヤモヤしているもの い
古典ドメインモデリングパターンの解脱 - 大吉祥寺.pm - kawasima
2024年7月13日の大吉祥寺.pmで発表した「古典ドメインモデル(パターン)の解脱」のスライドログです。 この2冊で書かれているドメインモデルパターンを「古典」の対象にします。 ドメインモデルパターンは「複雑さに対処するため」と述べています。が、古典では次の2点が課題となっていると考えます。 これら2点について個別に見ていきます。 まずドメインモデルパターンから。 Patterns of Enterprise Application Architecture(以降PofEAA)ではこのように定義されています。 PofEAAのドメインロジックの章で使われている「収益認識」の例を取り上げます。 ContractやProduct, RecognitionStrategyなどといったクラスが作られて、これらのインタラクションでビジネスロジックが実現されると説明されています。 では、これらのドメイ
セキュアなAWS環境の設計についての解説【2024年版】 - サーバーワークスエンジニアブログ
こんにちは！イーゴリです。 AWS にとって、クラウドのセキュリティは最優先事項です。(AWS公式ページ) AWS環境のセキュリティ対策としてAWSサービスを解説するよりも、まずはAWS環境の最適な設計について考える必要があります。AWS Well-Architected Frameworkを考慮しながらの設計を推奨します。AWS Well-Architected Frameworkを全部詳しく読むことをおすすめしますが、この記事では個人的に一番重要だと思う点について記載します。 とてもざっくり説明しますと、AWS Well-Architected Frameworkとは、クラウドシステムの最適な設計方法を提供するAWSのガイドラインで、6つの柱があります。この記事では基本的に「セキュリティ」の柱を技術的観点から見てみたいと思います。 AWS Well-Architected Framew
【マンガ】1万人を接客した美容部員に「男性が清潔感を出すコツ」を聞いたら、目からウロコだった→最初にどこを手入れする？
マンガ家。2003年少女誌『LaLa』（白泉社）でデビュー。著書に『片桐くん家に猫がいる』『子育てビフォーアフター』（新潮社）、『鬼を飼う』などがある。『ヤングキングアワーズ』（少年画報社）にて『横浜黄昏咄咄怪事』を連載中。メイクは好きだが、キラキラ美容部員さんのいるコスメカウンターは怖かった。アラフォーになり、「顔面迷子」状態の日々。 X（旧Twitter）：https://twitter.com/keitoyo 続メイクがなんとなく変なので友達の美容部員にコツを全部聞いてみた 「結局、今のメイクでいいのかわからない」「メイクは楽しくなってきたけど、あれ、またワンパターンになってきたかも……」顔面迷子だったマンガ家が、再び友達の美容部員に聞く！「基礎を学んだら次は応用」ではなく「基礎、そして基礎以前に戻れる」一冊。 バックナンバー一覧 現役美容部員のBAパンダさんが、幼なじみのマンガ家吉
『ＲＲＲ』ガチ勢集結！塚口サンサン熱狂の１日潜入レポ » Lmaga.jp
２０２４年７月、開業７１年を迎えた映画館「塚口サンサン劇場」（兵庫県尼崎市）。ここで２０２２年１０月２１日の公開から１年８カ月、異例の連続上映をしているインド映画がある。人気映画監督Ｓ.Ｓ.ラージャマウリが、イギリス植民地時代のインドを描いたアクション超大作『ＲＲＲ』だ。 しかし同館での１年８カ月にわたるロングラン上映が、惜しまれつつ７月１１日に終了する。７月６日に直前のスペシャルイベントとして昼夜２回のマサラスタイルの応援上映がおこなわれ、その模様をインド映画ファン（『ＲＲＲ』マサラ上映４回目、宝塚版『ＲＲＲ』を５回観た編集Ｚ）がレポートする。 ■ マサラ上映「塚口ナートゥ」…とは一体？ 「塚口ナートゥ」としてファンに知られる同館での『ＲＲＲ』マサラ上映は、拍手、歓声、指笛での応援はもちろん、鈴などの鳴り物、紙吹雪やクラッカーなどの飛び道具の使用もＯＫ。ダンスシーンは立ち上がって一緒に踊
エンジニアリングマネージャとして入社した最初の取り組みとして、エンジニア全員(およそ100人)と1on1をしました - だいくしー(@daiksy)のはてなブログ
はてなにエンジニアリングマネージャとして入社して2ヶ月と少し経ちました。 マネージャとしての「最初の100日」もいよいよ終盤です。 note.com 入社して最初の取り組みとして、およそ100人のエンジニア全員との1on1を実施しました。 なぜ全員とやろうと思ったか イギリスの人類学者であるロビン・ダンバーによって提唱された「ダンバー数」というものがあります。 これは、人間が安定的な社会関係を維持することができる人数の認知的な上限について提案された数字です。大雑把に説明すると、人間が相互に認識しあって社会関係を築ける人数はおよそ150人程度、というものです。 要するに1つの組織でお互いに顔見知りの状態で活動ができる集団の人数上限が150人前後であるということです。 このエントリを書いている時点で、はてなのエンジニアはおよそ100人ほどいます。つまり、はてなのエンジニア組織は、まだダンバー数
【総額350万】高額請求がきたエンジニアの失敗から学べること - Qiita
はじめに 成功よりも失敗を学ぶ方が再現性が高く成果を出しやすい これは私がアウトプットをする上で常に心がけていることです。 あなたは普段自分の経験や体験を記事として発信しているでしょうか？ おそらく多くの人ができていないはずです。 今回は私が過ごしてきたエンジニア人生4年の中で、特に大きかった失敗談をまとめて紹介していきます。 それぞれの失敗談の詳細はリアルタイムに記事を投稿しているので、ぜひ気になった方は最後にリンクを載せていますので確認いただけると良いかと思います。 この記事はQiita Engineer Festa 2024 〜しくじりエンジニア！私みたいになるな！～の登壇内容を記事にまとめたものになります。 失敗こそアウトプットせよ 「成功よりも失敗を学ぶ方が再現性が高く成果を出しやすい」という言葉の通り、成功は人それぞれバックグラウンドが違っていたり、運も絡んでいるので再現性は低
JR東が「社内のアレ教えてAI」ツール内製 RAG活用、全社導入へ
JR東日本は7月11日、RAG（検索拡張生成）を活用した生成AIシステムを全社的に導入すると発表した。10月から全社で試用を開始する予定。社内規定・文書を検索する作業の効率化を目指す。 RAGは、大規模言語モデルに社内データベースの情報を参照させることで、機密情報や専門知を基にした回答を可能にする仕組み。社内で分からないことがあったときに質問できるAIチャットbotの開発などに用いられ、LINEヤフーや日清食品なども導入やその検討を進めている。 JR東は23年10月、RAGを用いない生成AIチャットサービスを内製し、導入。24年6月には全社に展開した。RAGを使った内製ツールも23年11月から導入しており、得られた意見を取り入れた上で全社展開するという。
Dockerがわからない人へ。これ1本で0から学べる丁寧なDocker入門 - Qiita
はじめに 私のエンジニアとしての初仕事はDockerでした。辛かったのをいまでも思い出します みなさんこんにちは、Watanabe Jin(@Sicut_study)です。 みなさんはエンジニア始めたての時にどんなことで苦労したでしょうか？ GitHub Docker Kubernetes AWS など色々あるかと思いましたが、「環境構築」というのは多くの人がつまづく箇所かと思います。 プログラミングの勉強をするにはそもそもの開発環境がないとできないことも多いです。 またAWSなどのクラウドを利用してデプロイをするときにも再度登場して苦しめられます。 今回はそんな初心者には考え方や使いどころがわかりづらいDockerについて例え話を活用しながら説明していきたいと思います。 Dockerが難しいと思うのは、「概念がよくわからない」「説明を読んでも使いどころのイメージがつかない」というのがある
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLのロックの種類とその競合
【大原雄介の半導体業界こぼれ話】 Raspberry Piに取って代わられた「Mbed」の終焉と、「PIC64」によるRISC-Vの夜明け
言うことが毎回二転三転して、その度にこちらを責めてくる人が会社にいるんだけど、同僚（外国人）が「Gaslightじゃんこんなの！Gaslightって単語知らないの？」て言われて、初めて知った。（日本語でもある）
Linux コンテナの歴史を追うとコンテナの仕組みがわかる / Dai Kichijoji pm
