ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
CentOS後継として「Rocky Linux」と「AlmaLinux」が人気な訳
関連キーワード Linux | Red Hat Enterprise Linux | OS | Red Hat（レッドハット） | IBM（アイ・ビー・エム） Red Hatは、OS「Linux」のディストリビューション（配布パッケージ）を提供する「CentOS」プロジェクトを通じて、「Red Hat Enterprise Linux」（RHEL）の無償版である「CentOS Linux」を提供してきた。ところがIBMが2019年にRed Hatを買収した後、IBMはCentOS Linuxを廃止する方針を発表し、代わりとなる「CentOS Stream」を打ち出した。この事実は、「Linux」を活用していた企業に衝撃を与えた。 CentOS Streamは、小さな更新を小まめに提供する「ローリングリリース」方式を採用している。この方式はアップデートの公開スケジュールが固定されていないため
Linux Performance
static, benchmarking, tuning: sar, perf-tools, bcc/BPF: bpftrace, BPF book: Images license: creative commons Attribution-ShareAlike 4.0. This page links to various Linux performance material I've created, including the tools maps on the right. These use a large font size to suit slide decks. You can also print them out for your office wall. They show: Linux observability tools, Linux static perfor
Windows、Linuxなど機器問わず感染するマルウェア「Chaos」が世界に拡散中 | Gadget Gate
テクノロジー ソースコードには中国語 Windows、Linuxなど機器問わず感染するマルウェア「Chaos」が世界に拡散中 Image:Jozsef Bagota-Shutterstock ネットワーク企業Lumen Technologiesのサイバーセキュリティ部門Black Lotus Labsが、WindowsやLinux、FreeBSDなどのエンタープライズサーバーから、SOHO向けのネットワーク機器まで、広範なデバイスを標的にするマルウェア「Chaos」を発見したと発表した。 この悪質なソフトウェアはLinuxボットネット「Kaiji」をベースとした機能を含んでおり、その亜種とも見られている。またGo言語で書かれたソースコードには中国語が含まれており、中国のC2（C&C：Command & Control）インフラによって操作されているとのこと。 Chaosは、遅くとも4月16
アプリケーションの巨大化で重要性を増す“hugepage” TLBヒット数を上げるLinuxのメモリ管理機能
Kernel/VM探検隊はカーネルや仮想マシンなどを代表とした、低レイヤーな話題でワイワイ盛り上がるマニアックな勉強会です。堀口氏からは「hugepage」の概要とカーネルコミュニティの開発動向について。 TLBの利用効率を上げるhugepage 堀口直也氏：「Linuxのhugepageの開発動向」について発表します。まず簡単に自己紹介です。私は堀口直也と申します。OSSコミュニティでの開発を軸に技術調査や評価、サポーターに従事しています。これまではカーネルコミュニティで、メモリ管理のコミュニティを中心に10年以上カーネル開発をしてきました。ここ数年はブロックチェーンのHyperledgerプロジェクトにも参加していて、ここでもOSSコミュニティで活動しています。 本日のLT（ライトニングトーク）は最初に「hugepage」の概要を話して、そのあとカーネルコミュニティの開発トピックについ
Windowsユーザーに贈るLinux超入門(55) インストール済みのLinuxをWSL 1からWSL 2へ変える方法
Ubuntu 20.04 LTSの実行環境をWSL 1からWSL 2へ変更 前回は「Windows 10 version 2004」にアップデートされた環境でWSL 2を有効化する方法を取り上げた。Windows 10 version 2004には仮想環境技術をベースとした新しいWSLが搭載されており、特にストレージI/O性能が向上すると言われている。WindowsでLinuxを使うユーザーとしては、ぜひとも使いたい機能だ。 「Windows 10 version 2004」へアップデートする前の段階でLinuxをインストールした場合、そのディストリビューションはWSL 1で動作する。Windows 10 version 2004から追加されたWSL 2を利用するには、WSLのデフォルトバージョンを2に設定して一旦ディストリビューションをアンインストールしてからインストールし直すか、wsl
Windows Subsystem for Linux 2(WSL 2)をセットアップしてみた | DevelopersIO
しばたです。 先日新しい開発機(Windows 10)が会社より支給されたのでデータ移行と環境の再セットアップをしています。 せっかくの機会ですのでOSを最新のWindows 10 May 2020 Update (2004)に更新し、Windows Subsystem for Linux (以後WSL) 環境を最新のWSL 2にしたのでその際の手順をここに記録しておきます。 手順 公式な手順はDocsにばっちり記載されています。 基本的にはこの手順を参照すれば問題ありません。 やってみた それでは早速やっていきます。 0. 前提条件 WSL 2を利用するには現在最新のWindows 10であるWindows 10 May 2020 Update (Ver.2004、ビルド19041)以降である必要があります。 古いWindows 10を利用している場合はまずアップグレードが必要となります
完全なLinuxがWindows 10上で稼働する？ 「WSL 2」とは
完全なLinuxがWindows 10上で稼働する？ 「WSL 2」とは：Windows 10 The Latest MicrosoftがBuild 2019でWSLの強化版「WSL 2」を発表した。WSL 2は、現行のWSLと何が違うのかだろうか。Microsoftの開発者向けBlog「Devblog」で公開された情報から、WSL 2の概要を解説する。 連載目次 2019年5月に米国シアトルで開催されたMicrosoftの開発者向けイベント「Build 2019」で、現在のWindows Subsystem for Linux（WSL）を強化した「WSL 2」が発表された（Microsoft Devblog「Announcing WSL 2」「WSL 2 Post BUILD FAQ）。本稿では、発表されたWSL 2のアーキテクチャを紹介しつつ、その特徴や現行のWSL（以下区別のためにW
「RTOSとは何か」を理解できる7つの特徴
組み込み機器をどう動かすかを考える際、選択肢として浮上するのが「RTOS（Real Time Operating System）」である。このRTOSとは何であり、なぜ必要か、どのような特長を持つのか、組み込み向けLinuxとはどう違うのか、解説する。 RTOSの存在意義 組み込み機器と一口で言ってもどのあたりをターゲットにするのかで議論は変わるが、8bit～32bit程度のマイコンを利用した比較的スタンドアロンに近い組み込みシステムを議論の対象とした際、頻出する言葉が、「RTOS（Real Time Operating System）」である。 それぞれのマイコンベンダーが開発環境に合わせ、最低限のデバイス用ライブラリや標準的なランタイム（文字列操作など）を提供してくれるのが通例であり、これだけでもシステムは構築できる。であるからして、こうしたシステムでは必ずしもOSが必要とは限らないの
CentOS8 (Minimum) インストールしてとんでもなかったこと一覧
-NオプションについてCentOS7のls (8.22)のmanpageを見ると、実は載っているが微妙に異なる。 -N, --literal print raw entry names (don't treat e.g. control characters spe‐ cially)CentOS8のls (8.30)はこうだ。 -N, --literal print entry names without quotingmanpageには以前のバージョンから-Qや--quoting-styleなどのオプションはあるが、そもそもメタ文字をクォートする動作そのものについては何の説明もない。いつどのタイミングか分からないが、メタ文字の扱いが突然変更になったようだ。 -Nによる動作の違いを比較してみると、 クォートされたファイルを含むと、有無を言わさずすべてのカラムにパディングが入るようだ。 とり
Linuxはどのようにしてパケットのroute選択をするのか
TL;DR マッチするrouteのうち一番specificな(netmaskが長い)routeを選択する netmaskの長さが同じrouteが複数ある場合、metricが小さいrouteを選択する metricが同じrouteが複数あった場合、最後に追加したrouteを選択する 例えば以下のサブネットのrouteがあった時、10.1.1.2のrouteは2になる。 1. 10.0.0.0/8 metric 0 2. 10.1.0.0/16 metric 100 3. 10.1.0.0/16 metric 101 詳細 大体は↑に書いてあるルールの通りで問題ないと思うけど、せっかく勉強したので詳細も書いておく。 TOS TL;DRでは省略したが、metricチェックの前にTOS(Type of Service)のチェックが入る。TOSの設定をしていないrouteとTOSを設定していてそのパ
Kubernetesがクラウド界の「Linux」と呼ばれる2つの理由
Kubernetesがクラウド界の「Linux」と呼ばれる2つの理由：これから始める企業のためのコンテナ実践講座（3）（1/3 ページ） 大量のコンテナ管理や負荷分散を実現する「Kubernetes」について概要から本番活用の仕方まで解説する「これから始める企業のためのコンテナ実践講座」第3回は、Kubernetesがクラウド界の「Linux」と呼ばれている理由とともに、Kubernetes内部の仕組み、機能を紹介します。
Amazon EchoとRaspberry Piで部屋の照明を制御する #おうちハック - ちぎっては投げるブログ
この記事は、おうちハック Advent Calendar 2017の6日目の記事です。 qiita.com おうちハックと私 一人暮らしを始めてから、部屋を好き勝手いじれるようになったこともあり、スマートホームに憧れていろいろと自作してみた時期がある。 実際に作ってみたもの 朝に天気予報を喋ってくれる 朝になると電気をつけてくれる 朝に出かけると電気を消してくれる 帰ってくると電気をつけておかえりなさいと言ってくれる ごみの日に今日は燃えるごみの日だよ、と教えてくれる ハムスター監視システム お喋り系は、喋るだけでなく対話もやってみようと思い、マイクからGoogleの認識エンジンに投げるスクリプトまでは作ったが、うまく運用できていない。 また、ハムスターを飼っているので、夜中にちゃんと活動しているのか？を監視するシステムを作った。（ハムスターは夜行性） 上記のシステム群は、全部Raspbe
素晴らしきファイルシステムのデータ管理
ファイルシステムが一体どうやってデータを管理しているのか？ 単純な例を挙げながらその仕組みを詳しく解説しよう 私たちは普段、携帯電話やデジタルカメラで何げなく画像データなどを保存していますが、それらのデータが一体どこに・どんなふうに管理されているのか、あまり意識することはないと思います。これもファイルシステムが、あなたのデータ管理をすべて引き受けてくれているおかげです。 前回「ないと困る!? ファイルシステムのありがたみ」では、ファイルシステムのない世界をご紹介し、そのありがたみについて再認識しました。今回は、そのありがたいファイルシステムが一体どうやってあなたのデータを管理しているのかについて、単純な例を挙げながらその仕組みを解説したいと思います。 メタデータ ファイルシステムは、あなたのデータの配置状況をメモ書きして忘れないようにしておく必要があります。例えば、前回の例にあった記事1～
logmon でかんたんにログ監視 - Qiita
logmon は IBMの作成したログ監視用perlスクリプトです。 1ファイル100行程度のスクリプトですが、十分実用的です。 インストール githubにIBMのオリジナルにパッチをあてたものものがアップされているので、こちらを使うと楽ちんです。 $ git clone https://github.com/moomindani/logmon.git $ cd logmon $ sudo ./setup.sh 参考: CloudWatchとlogmonでEC2 Linuxのログを監視する | mooapp 設定 設定ファイルは、/etc/logmon/logmon.conf です。 書式は、下記のような感じになります。 設定ファイルは1つですが、下記の設定を複数記述することで複数のログを監視することもできます。
マイクロソフトは「Windows Subsystem for Linux」を強化し、Windowsを「WindowsとLinuxのどちらのバイナリも開発、実行できるプラットフォーム」にするつもりだ
仮想マシンを使わず、Windows 10でそのままLinuxバイナリが実行できる機能として「Bash on Windows」が発表されたのは1年前のマイクロソフトのイベント「Build 2016」でした。 Bash on Windowsでは、Bashシェルを実現するためにWindows 10上でなんのカスタマイズもされていない本物のUbuntuとBashが実行されています。つまりWindows上で素のLinuxバイナリが実行されているのです。 このLinuxバイナリの実行を支えている仕組みのなかでもっとも重要なのが、WindowsのNTカーネル上でLinuxカーネルをエミュレーションする「Windows Subsystem for Linux」（WSL）です（ちなみにWSLは1MBに満たない小さなコードでできているそうです）。 Windows Consoleに対しても、Linuxのターミナ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux コンテナの歴史を追うとコンテナの仕組みがわかる / Dai Kichijoji pm
平成生まれのためのUNIX&IT歴史講座 ～1990年代前半編～
特定ディレクトリを除いて cp(コピー) する - 飛光よ、飛光よ
TensorFlowを中心とした機械学習環境をUbuntuで構築 - Qiita
