ローカルLLMとRAGで自分の外部記憶を強化しよう - VA Linux エンジニアブログ
はじめに 自宅PC編 会社サーバ編 感想等 執筆者：佐藤友昭 ※ 「ディスアグリゲーテッドコンピューティングとは何か?」連載記事一覧はこちら はじめに 作業ログや検討メモ、参照した定型論文や書籍、ネット上の記事、視聴した講演やウェビナーのメモ等、日常を記録する情報は日々増えていく。これらの情報はできれば後に役立てたいと思うが、筆者の場合、なかなか上手くいかない。自分の外部記憶を紐解いてみると、記録したことすら忘れてしまっている項目が大半である。本稿では、ローカルLLMとRAGを用いて自分の外部記憶にいろいろと質問できるようにする方法を入門的に紹介する。決してベストプラクティス的な内容ではない。 自宅PC編 まずは、普段自宅で使用しているLinux PCを実験台として使えそうか試してみてから会社のサーバに適用してみることにする。 第一の要件は、ローカル環境で動作することである。情報の性質によ
ShellScriptで自動化を楽にしたい時に知っておいても良いこと | sreake.com | 株式会社スリーシェイク
はじめに こんにちは、皆さん。今日は、シェルスクリプトを使った高度な自動化のベストプラクティスとパターンについて解説します。これらは、ちょっとした知識で実行でき、作業を大幅に効率化できるTipsです。シェルスクリプトは、特にUNIX系システムでの自動化タスクに欠かせないツールです。適切に使用すれば、複雑なタスクを効率的に、そして信頼性高く実行できます。 トイルとは、反復的でマニュアルな作業のことを指します。これには、例えば、手動でのシステムのスケーリングや、エラーのトラブルシューティング、ルーティンなメンテナンス作業などが含まれます。トイルを特定し、それを自動化することで、エンジニアはより創造的なタスクやプロジェクトに焦点を合わせることができます。 トイルを判別する方法としては、以下のような基準が挙げられます： 手作業であること 完全な手作業だけでなく、「あるタスクを自動化するためのスクリ
SSH接続を10倍速くするたった3行の設定 - Qiita
今回は、SSH接続を劇的に高速化する方法をご紹介します。たった3行の設定を追加するだけで、接続時間を10分の1に短縮できます。しかも、2回目以降の接続では認証も自動的に行われるので、パスワードやパスフレーズの入力も不要になります。 要点 .ssh/configファイルのHost *セクションに以下の3行を追加するだけです。 詳しい説明 1. ControlMaster auto この設定で、1つのSSH接続で複数のセッションを共有できるようになります。新しくSSH接続を確立するたびに認証情報を入力し直す手間が省けて、接続がぐっと速くなります。具体的には： 初回の接続時のみ認証が必要 2回目以降は既存の接続を再利用するため、認証プロセスをスキップ パスワードやパスフレーズの入力が不要になり、接続がほぼ瞬時に完了 2. ControlPath ~/.ssh/mux-%r@%h:%p Contr
systemdにバグ．/home以下のファイルが全削除される可能性あり - pyopyopyo - Linuxとかプログラミングの覚え書き -
systemdのバージョン256に /homeディレクトリ以下のファイルを削除してしまうバグがあったそうで，修正版の 256.1 がリリースされています． systemdのissuesによると，一時ファイルを一括削除する systemd-tmpfiles --purge コマンドが /home以下を不要ファイルと誤判定して削除するそうです tmpファイルを消すだけのコマンドと見せかけて，home以下も消すという邪悪なバグなので注意が必要です． 心配な人は systemd のバージョンを確認しておきましょう systemdのバージョンの確認方法 以下のコマンドを実行してsystemdのバージョンを確認します $ systemctl --version バグ有り，/homeが消える可能性がある場合 １行目にsystemd 256 (256-1)と表示されます．バグあり版です．何かの拍子に/ho
いま知っておきたいLinux─WebアプリがOSのプロセスとしてどのように見えるか？ を運用に生かす｜ハイクラス転職・求人情報サイト AMBI（アンビ）
いま知っておきたいLinux─WebアプリがOSのプロセスとしてどのように見えるか？ を運用に生かす Webアプリを動かして負荷をかけると、OSのプロセスという観点ではどのように見えるのでしょう？ それを通して運用やトラブルシューティングではどういったことが分かるのでしょう？ Linuxカーネルの開発者でもある武内覚（sat）さんによる解説です。 こんにちは、sat（@satoru_takeuchi）と申します。 コンピュータが誕生してから現在まで、最終的にエンドユーザが意識するアプリケーション開発はどんどん楽になっています。先人たちのたゆまぬ努力の結果、アプリ開発者はOSや、そのさらに下にあるハードウェアのことをほとんど意識することなく開発ができるようになりました。 しかし、「作ったアプリが、OSレベルでどのように動いているか？」が今一つピンと来なくて、モヤモヤしていないでしょうか。それ
C言語をマスターしたい人はGCCのバージョン14を使いましょう - pyopyopyo - Linuxとかプログラミングの覚え書き -
C言語（C++を含む）を習得したい人，ポインタを勉強したい人はgcc-14を使いましょう．難しいところは gcc-14 が丁寧に解説してくれます C言語の難しいところ 例を示します．C言語で記述された，たった６行のソースコードです int main() { int buf[10]; buf[10] = 0; return 0; } このソースコードには問題があります．初見でわかるでしょうか？ : : : 問題があるのは buf[10]=0 の部分です．C言語でやりがちなミスですが，これがバグやセキュリティホールの原因になります． C言語が難しい理由は二つあります．この手の問題を見逃しやすい点と，この手の問題を理解することが難しい点の二つです gcc 14 に解説してもらいましょう 上記の６行のソースコードをgcc14を使ってコンパイルしてみます ソースコードのファイル名は test.c と
Ubuntu 24.04 LTSの日本語Remixについて | Ubuntu Japanese Team
2024年6月10日 長年にわたりISOイメージ形式で配布してきた「Ubuntu日本語Remix」ですが、Ubuntu 24.04 LTSではリリースしないことに決定しましたのでお知らせします。 理由は以下の通りです。 新しいインストーラー採用に伴うカスタマイズ難易度の増加 Ubuntu 24.04 LTSから新しいインストーラーが導入され、ISOイメージのファイル構成が変更されました。この変更により、ISOイメージをカスタマイズすることが難しくなりました。 多言語ライブ環境の非対応化 Ubuntu 24.04 LTSの公式ISOイメージは英語以外のライブ環境に対応しておらず、日本語ライブ環境を実現するためには大きな変更が必要となりました。 Ubuntu日本語RemixのISOイメージの主な利点は、日本語ライブ環境が使えること、およびインターネット未接続状態でも日本語のデスクトップ環境をス
Windows Subsystem for Linux（WSL）のGUI設定画面が間もなくリリース、メモリの自動縮退機能は正式版に
Windows Subsystem for Linux（WSL）のGUI設定画面が間もなくリリース、メモリの自動縮退機能は正式版に マイクロソフトは、Windows上でLinuxの機能を利用できるWindows Subsystem for Linux（WSL）のGUIによる設定画面を開発中であることを明らかにしました。 また、現在実験的機能となっているメモリの自動縮退機能が正式版になることも明らかにしました。 WSLのGUI設定画面が登場 これまでWSLの設定は「.wslconfig」ファイルによって行う必要がありました。 間もなく、この設定ファイルと互換性のあるGUI設定画面が登場予定です。これにより、WSLのメモリサイズ、プロセッサ数、スワップサイズやスワップファイル、セーフモードでの起動など、これまで設定ファイルを書き換える必要があった設定をGUIから容易に行えるようになります。 メ
さくらインターネット、さくらのクラウドで「Red Hat Enterprise Linux Server」提供開始、月額約1万4000円。サポート窓口も対応
さくらインターネットは、さくらのクラウドで「Red Hat Enterprise Linux Server」の提供を開始すると発表しました。また、同社にて技術的な問い合わせを受け付けることも可能としました。 「Red Hat Enterprise Linux Server」はRed Hatが有償ライセンスで提供しているエンタープライズ向けのLinuxOSです。 さくらのクラウドでは、Red Hat Enterprise Linux Server 8および9を月額14,014円（税込み）のライセンス料金で提供。ディスクにインストールされている状態で料金が発生するため、サーバを起動していなくても料金が発生するとしています。 利用可能となるのは、さくらのクラウドの東京第2ゾーンで、下記のスペックのコア専有プランとなります。 2コア4GB 4コア8GB / 16GB 6コア32GB 8コア16GB
Linux 6.8リリース、メインラインのGitオブジェクト数はまもなく1000万に | gihyo.jp
Linux Daily Topics Linux 6.8リリース、メインラインのGitオブジェクト数はまもなく1000万に Linus Torvaldsは2024年3月10日（米国時間）、「Linux 6.8」の正式版を公開した。通常のカーネルサイクルと同様に開発期間に約2ヵ月、7本のリリース候補版を経ての公開となる。 Linusはリリースにあたって「いくつかの作業に行き詰まりはあったが、リリースを予定より遅らせる理由は何もない。Linux 6.8はすべての点で平均的なリリースで、新しいファイルシステムやアーキテクチャの採用はない。目立つことといえば、Gitオブジェクトの数が1000万未満となる最後のメインラインカーネルになることくらいかな。オブジェクトの数は999万6,000個に達しており、linux-nextツリーではすでに超えている。もっともすばらしくキリが良い数字という以
Web版VSCodeがDockerコンテナをWASM環境で起動、Webブラウザ内ローカルマシンとして利用可能に。拡張機能「vscode-container-wasm」登場
Web版VSCodeがDockerコンテナをWASM環境で起動、Webブラウザ内ローカルマシンとして利用可能に。拡張機能「vscode-container-wasm」登場 WindowsやMacなどのデスクトップPCでVisual Studio Code（以下VSCode）を利用して開発をする場合、同じローカルマシン上でDockerコンテナのLinux環境を起動し、VSCodeのターミナルで接続して操作することは、開発環境としてよくあることだと思います。 これと同じことをWebブラウザ版のVSCodeでも実現する、すなわちWeb版VSCodeが同一Webブラウザ上にWebAssembly化したDockerコンテナを起動し、Web版VSCodeからローカルマシンとして接続し利用できる、実験的実装を実現したVSCodeの拡張機能「vscode-container-wasm」が登場しました。 V
awkの使いかた - Qiita
基本的にワンライナーで使うことを想定してメモ。（長くなる場合はスクリプトの形で記載する。） awk の良いところ Linuxでテキストデータをちゃちゃっと処理できる。 ほとんどのLinux OSで標準で使える（プレインストールされているので，自分でインストールする必要がない）。 WindowsのMingwや，Macでも標準で装備されているので互換性や移植性が高い（スクリプトだけコピーして持っていれば，だいたいどこでも使える）。 書き方は，Cと似ているので覚えやすい。 コンパイルが不要。 codingが簡単なので，作業時間が短く済む。 基本 awkはテキストファイルを，行ごとに処理を行う。 それぞれの要素（列）に対しての処理をcodingすることが基本となる。 それぞれの要素に関しては，以下で紹介するような組み込み変数で指定する。 例えば，テキストファイル内の1列目の全数値データに対して，2
最新のRHEL9.3系に対応した「Linuxサーバー構築標準教科書（Ver.4.0.0）」LPI-Japanが無料公開。独習で仮想マシンやLinuxの導入、WebサーバやDNSサーバなど構築
Linux技術者認定「LinuC（リナック）」などを実施する特定非営利活動法人エルピーアイジャパンは、実習を通してLinuxサーバー構築の知識を学べる学習用教材「Linuxサーバー構築標準教科書」バージョン4.0.0の公開を発表しました。 「Linuxサーバー構築標準教科書」はクリエイティブ・コモンズ・パブリック・ライセンス「表示 - 非営利 - 改変禁止 4.0 国際 （CC BY-NC-ND 4.0）」の下で公開されており、PDF版とEPUB版は無料でダウンロード可能です（Kindle版と製本版は有料で提供されています）。 独学で読み進められサーバの動作原理やプロトコルを理解 Linuxサーバー構築標準教科書の内容は現時点（2024年2月）で最新のLinuxディストリビューションであるAlmaLinux 9.3、すなわちRed Hat Enterprise Linux 9.3系を前提と
お気に入りのコマンドラインツールを淡々と紹介する
めちゃくちゃ良い記事でした。 「OSS は使っていることを公言するだけでも貢献になる」と songmu さんが言っていたので、私も貢献したいと思います。 僕も貢献したいのでよく使うコマンドラインツールを紹介していきます。 特定のプログラミング言語等に依存するツールは省いています。 actionlint - GitHub Actions の Workflow ファイルの静的検査 GitHub Actions の Workflow ファイルの静的検査ツールです。 かなり精度が高く、色々な設定ミスを検知してくれます。 エラーメッセージも見やすくて助かります。 aicommits - コミットメッセージを自動生成 変更内容を元に自動でコミットメッセージを AI が生成してくれるツールです。 コミットをする前にちゃんと確認してくれるのも安心感があって良いです。 cLive - ターミナル操作を自動化
WSL2のubuntuのディレクトリをWindowsのエクスプローラーで操作する
はじめに 私はローカルの開発環境としてWindows10＋WSL2を使っています。 LinuxからWindowsのディレクトリを操作する場合は「/mnt」にWindows側の各ドライブがマウントされているので簡単に操作ができます。 Linux：/mnt/c（Cドライブ） ただし、WindowsからLinuxのディレクトリを操作する際はWinSCPなどで接続していたため不便を感じてました。実はWSL2のディレクトリはWindowsのエクスプローラーから使えます。これを使うとWSLがより便利になるので紹介したいと思います。 検証環境 Windows10 ＋ WSL2/ubuntu 20.04 WindowsからWSL2のディレクトリへの接続方法 エクスプローラーのアドレスバーに「\\wsl$」を入力する ※末尾に「$」が入っているためネットワークの一覧に表示されないのですが「wsl」は存在して
Ubuntu 22.04 LTS サーバ構築手順書
0 issue "letsencrypt.org" 0 issuewild "letsencrypt.org" 0 iodef "mailto:yourmail@example.jp" §OS再インストール さくらVPSのコントロールパネルから、OSを再インストールするサーバを選ぶ。 www99999ui.vs.sakura.ne.jp §OSのインストール操作 Ubuntu 22.04 LTS を選ぶ。 OSインストール時のパケットフィルタ（ポート制限）を無効にして、ファイアウォールは手動で設定することにする。 初期ユーザのパスワードに使える文字が制限されているので、ここでは簡単なパスワードにしておき、後ですぐに複雑なパスワードに変更する。 公開鍵認証できるように公開鍵を登録しておく。 §秘密鍵と公開鍵の作成 クライアントマシン側で生成した公開鍵を ~/.ssh/authorized_k
【2021年】 技術書好きプロエンジニア達が紹介する40選 - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは、技術広報のyayawowoです。 皆様、お気に入りの技術書はありますか？ 今回は、弊社主催で開催している「おすすめの技術書LT会」にて、エンジニア/デザイナーの皆さんに紹介いただいた技術書を一挙公開します！ おすすめの技術書 LT会 - vol.1 おすすめの技術書 LT会 - vol.2 積読が増える可能性がある、エンジニア/デザイナーが厳選した技術書が盛り沢山…お読みになる際は覚悟ください！ ラクス開発メンバーが選んだ技術書は以下をご確認ください。 ・開発メンバーが選ぶ、おすすめの技術書【2020年度】 - RAKUS Developers Blog | ラクス エンジニアブログ 入門シリーズ 『C++プログラミング入門（湯田幸八）』 『ドメイン駆動設計入門』 『実践SQL教科書』 『ソフトウェアデザイン 2021年3月号』 『独習C 新版』 『PHPの絵本 第2版 Web
Docker Desktop、Appleシリコン上でx86-64バイナリをほぼネイティブな速度で実行可能にする「Rosetta for Linux」が正式版に
Docker Desktop、Appleシリコン上でx86-64バイナリをほぼネイティブな速度で実行可能にする「Rosetta for Linux」が正式版に WindowsやMac上に簡単にDockerコンテナ環境を構築できるツール「Docker Desktop」の最新版「Docker Desktop 4.25」がリリースされました。 Docker Desktop 4.25 is here! GA of Rosetta for Linux, an optimized installation on Windows, simplified Docker Scout settings, and so much more!https://t.co/KsPyxvpOOe — Docker (@Docker) October 31, 2023 x86-64バイナリをほぼネイティブな実行速度で Do
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux コンテナの歴史を追うとコンテナの仕組みがわかる / Dai Kichijoji pm
「/usr」は「User」の略にあらず？ Linuxのディレクトリ構造を解説したチャートが話題に／Windowsユーザーも知っておくとWSLを壊さずに済むぞ【やじうまの杜】
