機密情報も安心？ローカル実行可能なLLMでvscode開発環境を作る - Qiita
はじめに 皆さん、コーディング支援AIは使用していますか？ GitHub CopilotやCursorが人気ですが、機密情報取り扱いの問題もあり、業務への導入に二の足を踏む企業も多いようです。 そこで今回は、サーバーにデータを送信せず、完全オフラインで実行可能なオープンソースLLMを使用した開発環境を構築する方法を紹介します。 既に優秀な記事がいくつか出ておりますので、オープンソースLLMの比較は行いません。 ローカルで動くLLMを使用した開発環境の作り方 今回使用する環境は以下です。 OS: Ubuntu 22.04 LTS CPU: AMD Ryzen 5 5600u Memory: 16GB 1. llama.cppをインストールする llama.cppは、CPUのみでLLMを動かすことができるライブラリです。(詳しい説明はこちら) 通常、LLMを動かそうとすると高性能のGPUが必要
NeovimとVSCodeと私 - Qiita
TD;LR VSCodeとNeovimを使った開発環境の構築について記載します。 背景 簡単に私のテキストエディタ遍歴を書いておくと以下のとおりです。 2003年頃: 中学2年生のときにTeraPadというテキストエディタに出会う。この頃はウェブサイトを作ったり、フリーで配布されていたPerlで書かれたCGIを少し編集したりするのに使っていた。 2004年ごろ： viに出会う。この頃は自宅サーバを稼働させ始めて、SSHでログインしてファイルを編集するのに使っていた。プログラミングはもっぱらTeraPadで行っていた 。 2009年頃: Vimに出会う。この頃、vimrcを編集することを知り、素viと比較して格段に使用性が向上した。しばらく経ってからEmacsに出会う。Emacsはこの当時からOSと呼ばれているぐらいに機能が充実しており、すぐに改宗した。それ以降はずっとEmacsを使っている
3年ぶりに neovim の設定を刷新してみた - Qiita
はじめに neovim の設定を3年以上サボっていたので、久しぶりに整理しました。 バージョンが古くなっていたり、新しくリニューアルされたプラグインがあったので、更新ついでに改めてプラグインの使い方をおさらいしてみました。 そして、新しく購入した MacBook のローカル環境を汚したくなかったので、コンテナイメージを Docker Hub にアップロードして、開発に利用しています。 プラグインの紹介を見るよりも使ってみたいという方がいれば、ぜひプルしてみてください。 環境 Chip: Apple M2 macOS: Ventura 13.2.1 neovim: v0.8.2 Package Manager Shougo/dein.vim 自分が長らく愛用している Shougo さん作のパッケージマネージャーです。 Fuzzy Finder Shougo/ddu.vim 以前使用していたフ
Android でもとりあえず Ubuntu のデスクトップ環境を使いたい（Termux 版） - Qiita
はじめに 先に公開した Android Studio を使うための最低限のデスクトップ環境の構築方法を記載します。 日本語入力もありませんが、その代わり最短で構築できると思います。 → デスクトップ環境で日本語入力の設定手順を記載しました。 Android でもとりあえず Ubuntu のデスクトップ環境を使いたい（Termux 版 - デスクトップ環境で日本語入力） 注意点 デスクトップ環境（LXDEやXfce）のインストールは数時間かかります。 時間を確保してから実施するほうが良いと思います。 インストール Play ストア で Termux と XSDL をインストールしてください。 Termux は Linux という OS の一種が動作する環境になります。 Android も OS ですので、OS の上で OS が動作するという、ちょっとややこしい環境になります。 XSDL はデ
Svelteのすすめ - Qiita
この記事は社内勉強会用に作成したものです。 Svelte 公式サイト 目次 Svelte とは？ 特徴 記述方法 Svelte とは？ JavaScript フレームワーク フレームワークだがコンパイラーであるという特異性も備えている 実行前にコードを最適化したJavaScriptにコンパイルする = 軽い、速い ReactやVueは実行時にコードを解釈する = 重い、遅い 開発者へのアンケート結果 最も愛されている Web フレームワーク(2021) 開発者が最も満足しているフレームワーク(2020) 最も学習したいフレームワーク(2022) 特徴 Write less code No virtual DOM Truly reactive Write less code 少ないコード量で書ける 全てのコードにはバグが存在する可能性があります(All code is buggy)。したがっ
【Rundeck】RundeckからAnsibleを実行すると思ったより捗りそうだった話 - Qiita
はじめに なにかにささやかれてしまった結果抗えなかった。 Ansible nginxのAnsible 先日チューニングしていたnginxのAnsibleを作った。 記事にしてなかったが現在すごく雑にawscliでインスタンスを立てるJobをランチャーとして使っている。 もう少しリッチにしたいのだが方向性が決まっていない為、ホスト管理の方法が絶賛迷走中。 よって巷ではあまりみない[IPアドレス],というホスト指定で実行するPlaybookとなった。 インスタンス作成 - defaultTab: nodes description: EC2のインスタンスを作成します。 executionEnabled: true id: 5ff10465-99ec-4e76-9458-72925c447eef loglevel: INFO name: インスタンス作成 nodeFilterEditable:
ウルトラワイドなディスプレイを作業環境にする - Qiita
この記事は「マイスター・ギルド：暑中見舞！夏のアドベントカレンダー2020」7日目の記事です。 ウルトラワイドサイズの言葉の定義としては16:9より横長なものを指すようです。動画編集をはじめとするコンテンツ制作系での利用や、没入感を求めるゲームでの利用で利点があるとされています。 在宅勤務の割合が高くなって数か月、オフィスではFHDディスプレイ2枚+ノートPC(FHD）の3画面で作業していましたが、自宅のウルトラワイドサイズ1画面で作業する事が多くなりました。どちらが作業効率が良いかと言うと、ざっくりとはどちらも変わらないという所です（細かい使用感はもちろん変わってきますが）。 私が使用しているウルトラワイドは32:9のサイズで、軽く湾曲したタイプです。OSはWindowsです。行う作業としては主にコーディングです。 ちなみにうちの代表が過去に4Kディスプレイで作業するとどうかというブログ
Ruff with VSCodeのススメ - Qiita
はじめに この記事はミロゴス Advent Calendar 2023 13日目の投稿です。 Pythonの開発環境はどのようにされていますか？ 私はPythonをLambdaのランタイムによく使用し、Poetryでバージョン管理しながらVS Codeで開発しています。 VS Codeでの警告から、開発環境の設定を見直したので、それについて書いていこうと思います。 見直しの背景 複数人で開発する際には、LinterやFormatterを統一し、書き方を合わせていく必要があります。しかし、メンバー間で一行に対する文字数などに設定の差異があったり、設定をミスしてうまく機能しなかったことがありました。 設定を合わせるために、プロジェクトのレポジトリに.vscode/settings.jsonやextensions.jsonを配置し、共有していました。settings.jsonにはpython.l
AIネットワークにおけるGPUと光モジュールの比率と需要の分析 - Qiita
市場では、光モジュールとGPUの比率を計算するための複数のアプローチが存在し、一貫性のない結果をもたらしています。これらの違いの主な原因は、さまざまなネットワーク構造に実装される光モジュールの数の変動に由来しています。必要な光モジュールの正確な数量は、いくつかの重要な要因に主に依存しています。 ネットワークカードモデル 主に2つのネットワークカードが含まれており、ConnectX-6（200Gb/s、主にA100と使用される）とConnectX-7（400Gb/s、主にH100と使用される）です。 同時に、次世代のConnectX-8 800Gb/sが2024年にリリースされる予定です。 スイッチモデル 主に2種類のスイッチが含まれており、QM 9700スイッチ（32ポートOSFP 2x400Gb/s）があります。合計64チャンネルの400Gb/sの転送速度と、合計51.2Tb/sのスルー
SSDを簡単に消去するコマンドを作ってみた - Qiita
SSDを簡単に消去するコマンドを作ってみた 更新情報 2024-02-16 「ドライブのfrozen」と「本当に消去できているのか」を追加 ストレージの消去コマンド 最近になってSSDやHDDのストレージには、セキュアイレース(Secure Erase)という書き込まれているデータを消去する制御コマンドがあることを知りました。FreeBSDやLinuxにはこの制御コマンドを発行するコマンド(FreeBSDではcamcontrol, Linuxではhdparm)が用意されています。書き込み済データを完全に消去できるのであれば、廃棄時に機密情報の漏洩を心配をする必要が無くなります。 消去そのものは制御コマンドを送るだけなのですが、そのためには事前に指定した手順でストレージ側を消せる状態にする必要がありOSのコマンドをそのまま使うだけでは微妙に手間です。そこでこれらの手順をまとめて、データ消去を
VSCode Serverがなくなって本体に統合されていた - Qiita
先日、VPS上にVSCode Serverをインストールしようとしたところ動かなくなっており、詳細を調べているうちにこのスレッドにたどり着きました。 ここをみると、どうもVSCode Serverの機能はRemote Extensionに統合されたので、もはや提供されなくなったようです。（setup.shでダウンロード可能なバイナリが無くなっている） じゃあどうすればいいのか？ サーバ上でVSCodeを動かして、ブラウザでエディタを立ち上げたい、iPadで開発したいという皆さんは、引き続きVSCode本体で簡単に実現することができます。 サーバ上に普通のVSCodeをインストールして、code tunnelと打ち込むだけで、github.devのドメインでトンネルがホストされてブラウザ上でもローカルのVSCodeとも接続可能な状態になります。 daemon化して常時起動したい それも簡単で
htmxとは何なのか？ その背景にある思想について - Qiita
先日、Qiitaに投稿された一つの記事が注目を集めました。 元記事では、htmxというJavaScriptライブラリが英語圏で認知を獲得しているとして、インストールの仕方から使い方について公式のドキュメントの全体にわたって簡単に説明が行われています。 さまざまなプラットフォームでこの記事に対する反応を観察してみると、どちらかというと懐疑的な見方のほうが優勢のように見受けられます。ただ、多くのコメントは誤解に基づいているように見受けられました。「JSが要らない」といった元記事のミスリードによるところも大きそうですが1、なぜhtmxが大きく支持を得つつあるのかを理解するには、背景情報を含めて理解することが必要です。 htmxは、最近の複雑化するフロントエンド技術に対する単なる逆張りではありません。これまで30年ほどのあいだウェブ上のシステムを支え続けた「ハイパーメディア」の持つ強力さに今一度目
huggingface/TRLのSFTTrainerクラスを使えばLLMのInstruction Tuningのコードがスッキリ書けてとても便利です - Qiita
huggingface/TRLのSFTTrainerクラスを使えばLLMのInstruction Tuningのコードがスッキリ書けてとても便利です自然言語処理huggingfaceLLMInstructionTuningSFTTrainer はじめに huggingfaceにはTRL（Transformer Reinforcement Learning）というライブラリがあります。これは、LLMをチューニングする際の、Instruction Tuning、報酬モデルの学習、PPOによるLLMのチューニング、をフルスタックで提供してくれるライブラリです。 今回はその中でもSFTTrainerに焦点を当てて使い方を詳しめに解説していきます。 SFTTrainerでできること 以前、huggingfaceのtransformersに紐づくTrainerクラスの紹介をしました。 https://
redis-pyでRedis Clusterから全件取得する - Qiita
タイトルの通り、redis-pyというPythonライブラリを使ってRedis Clusterから全件取得する記事です。 方針 全マスターノードでSCAN 全スロットでCLUSTER COUNTKEYSINSLOTでKEY数を取得しCLUSTER GETKEYSINSLOTでKEYを取得 の2種類の方針があると思っています。 今回は後者のやり方になります。 環境 Python 3.7.10 redis-py 4.3.4 hiredis 2.0.0 $ python --version Python 3.7.10 $ pip list | grep redis hiredis 2.0.0 redis 4.3.4 from redis.cluster import RedisCluster, ClusterNode nodes = [ {"host": "host_name_1", "port
10年モノのインフラを3年がかりでカイゼンした - Qiita
CI いちおうJenkinsが立ってました。失敗して赤くなってるジョブが大半で、かといって誰が治すわけでもなく、よくわからないけど失敗したり成功したり、とにかく不安定でした。 CloudWatchのメトリクスで眺めて、EBSのIOPSクレジットの枯渇から激遅になって、Jenkinsジョブのタイムアウト設定で失敗になる、まで明らかにしました。その時の対処は、IOPSクレジット上限サイズの1TBのSSDのEBSを付けることと、同時並行で動けるJenkinsジョブ数に上限を設けることで、落ち着くようになりました。 とはいえ「Jenkinsおじさん」問題があるので、CIをどうにか民主化する必要があります。SaaSから検討して、TravisCIとCircleCIが最終候補になって、トラブルシュートをSSHでできるのを決め手に、CircleCIを導入しました。 8月末にCircleCI1.0が死んだと
リーダブルSQL[より良いSQLを書くためのシンプルで実践的なテクニック] - Qiita
はじめに 最近エンジニア界隈では「リーダブルコード」が話題なっていますね。 リーダブルコードでは、このような定理が紹介されています。 「コードは他の人が最短時間で理解できるように書かなければいけない。」 Dustin Boswell リーダブルコード P.3 より引用 SQLでも同じことが言えそうです。 リーダブルなSQLを書いてないと結婚できない時代が今まさに到来しようとしています。 皆さん、クソSQL1を読んだことがありますね？ クソSQLを書いたことがありますね？ 僕は、あります。 そこで、本記事ではどうしたらリーダブルなSQLが書けるかというアイデアを紹介します。 処理の流れの順に上から読めるようにする 人間のメンタルモデルは、問題やタスクを小さなステップに分割し、それぞれを順番に実行することに適しています。 サブクエリを使ったSQLでは、処理の流れは上から下ではなく、ネストされた
![リーダブルSQL[より良いSQLを書くためのシンプルで実践的なテクニック] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/9e4b50cb826dc76ffa5a15a97343ab36cac44503/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JUUzJTgzJUFBJUUzJTgzJUJDJUUzJTgzJTgwJUUzJTgzJTk2JUUzJTgzJUFCU1FMJTVCJUUzJTgyJTg4JUUzJTgyJThBJUU4JTg5JUFGJUUzJTgxJTg0U1FMJUUzJTgyJTkyJUU2JTlCJUI4JUUzJTgxJThGJUUzJTgxJTlGJUUzJTgyJTgxJUUzJTgxJUFFJUUzJTgyJUI3JUUzJTgzJUIzJUUzJTgzJTk3JUUzJTgzJUFCJUUzJTgxJUE3JUU1JUFFJTlGJUU4JUI3JUI1JUU3JTlBJTg0JUUzJTgxJUFBJUUzJTgzJTg2JUUzJTgyJUFGJUUzJTgzJThCJUUzJTgzJTgzJUUzJTgyJUFGJTVEJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1jMjEwYmIwZGRkMTc0MmI1ZGU1OGMxMTQ5ODJiNDI3ZQ%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTcxNiZ0eHQ9JTQwemFja2V5MiUyMGluJTIwJUU2JUEwJUFBJUU1JUJDJThGJUU0JUJDJTlBJUU3JUE0JUJFTSUyNkElRTMlODIlQUYlRTMlODMlQTklRTMlODIlQTYlRTMlODMlODkmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zMiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTYyNDU1MjZkZTUzZTdlOGQ0NDI5MTJhY2FlNWI2MjM4%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D564d0bbe76f00558f53eda62333d7309)
Kubernetes で Pod が使用できる Secret を制限する方法 - Qiita
Pod が使用できる Secret を制限する方法 Kubrenetes では、ServiceAccount リソースに kubernetes.io/enforce-mountable-secrets アノテーションを true で設定することで、その ServiceAccount で実行する Pod が secrets フィールドで指定された同一 Namespace の Secret しか使用できない (マウントできない) ように制限する機能 1 が提供されています。 apiVersion: v1 kind: ServiceAccount metadata: name: test-sa annotations: kubernetes.io/enforce-mountable-secrets: "true" secrets: - name: mountable-secret-1 - nam
1100万行・32GB超の巨大CSVファイルの基本統計量を4GBメモリマシンで算出する - Qiita
はじめに この記事は，Kaggle Advent Calendar 2022第6日目の記事になります。 本記事では、 32GB超のCSVデータの基本統計量を、小規模マシンでも省メモリかつ高速に計算するテクニック について解説します。 Kaggleコンペに限らず、 マシンスペックが低いため、大きなデータセットを満足に処理できず困っている 毎回行うファイル読み込みが遅いので、もっと高速化したい ⚡ といった悩みや課題を抱えている方の参考になれば幸いです。 モチベーション データ分析業務やKaggle等のコンペティションで初めてのデータセットを扱う場合、いきなり機械学習アルゴリズムを行うことはまず無く、最初にデータ観察を行うのが一般的です。 テーブルデータであれば、各カラムの基本統計量（最小値、最大値、平均、分散、四分位数）などを計算・可視化し、データクレンジングの要否や特徴量設計の方針などを検
streamlitの仕組み調査 - Qiita
pythonで手軽にWebアプリケーションを作れるフレームワークstreamlitの仕組みについて調べてみました。（誤解がありましたら、どうぞご指摘ください。） 周辺の業務で使うことが結構増えて来たため、何か性能で問題になった場合や拡張が必要な場合にも対応出来るようにと調べてまとめました。 githubのコードと公式のドキュメントを参考に調査しています。 https://github.com/streamlit/streamlit アーキテクチャ streamlit は Python(tornade)+React(typescript)で実装されています。 streamlitでは、次の2つのパートがあります。 web server : streamlitのpythonアプリケーションコードをブラウザに表示するためのフロントエンドのHTML+jsをインスタンス化して通信するために使用します。
こうやってNotionで論文管理しています - Qiita
追記（230611） たくさんの方に記事をご覧いただき、まことにありがたく存じます。 自分でもびっくりするくらい時間がかかりましたが、 PDFの論文情報を自動でNotionに追加するツールについての記事を書きました。 ぜひあわせてご覧ください。 TL; DR ↓こんな感じで、Notion使って論文管理してます。 ↓ページリンク機能で、論文間にリンクを貼れるのが便利です。 ↓ページリンク機能を使えば、自分用先行研究リストも便利にまとめられます。 論文管理ソフト、なに使ってる？ 普段から学術論文を読んでいる人の多くが、なんらかのツールを使って論文を管理しているかと思います。 あなたは何を使っていますか？ Zotero？Mendeley？EndNote？Paperpile？ どれも優秀なソフトウェアだとは知りつつ、私はあえてNotionを使っています。 Notionは様々な機能と拡張性を備えた万
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
