はてなブックマーク

はじめに どうも、レガシー組込みエンジニアの@yagisawaです。 組込みエンジニアでもChatGPTはやっぱり気になる！ってことでどんな事ができるのかちまちま調査をしています。やはり独自データについてQ&Aできるのは、属人化を防ぐ意味でもかなり有用だと思い調査を進めたところ、LlamaIndexでそのようなシステムが構築可能という情報に辿り着きました。 しかし他の方が書かれているブログのコードを見てみると、当然のように と書かれています。試しに1500行ぐらいのAsciiDocファイルを突っ込んでみたら20,132トークン消費しました。使ってるモデルはtext-embedding-ada-002-v2なので$0.008分ぐらいで大したことはないのですが、貧乏性なので本格運用したら結構お金かかりそうだなぁと思ってしまいました 話戻ってLlamaIndexの仕組みについてです。細かい事は現

目的 以前RustでAES-256-CBC暗号化という記事を書きましたが、base64やaesなどのライブラリが新しくなったので書き直してみました。 前の記事ではRustで暗号化、復号化、Rubyで復号化でしたがRubyの暗号化も追加しました。 お互いで暗号化・復号化が正しく動作することを確認しました。 ivは暗号化した文字列の先頭16byteに配置しています。 コード [package] name = "crypt" version = "0.1.0" edition = "2021" [dependencies] aes = "0.8.2" base64 = "0.21.2" bytebuffer = "2.1.1" cbc = { version = "0.1.2", features = ["std"] } rand = "0.8.5" use aes::cipher::{KeyI

はじめに 突然ですが、みなさん、こんなことを考えたことはありませんか？ 「ChatGPT、とりあえず使ってるけど、なんとなく慣れてきて飽きてきたな〜」 と。そう、エンジニアという人種は新しいものが好きで手を出しても、飽きがやってくるのが一瞬なのです。 そこで！ この記事では、そんな自分と同じような境遇に立つ同士に向けて、ChatGPTの機能を拡張させたものや、ChatGPTとは異なるChatbot達を紹介していきます！この記事でみなさんがまた、新鮮な気持ちでChatbotに触れられればなと思います！ 弊社Nucoでは、他にも様々なお役立ち記事を公開しています。よかったら、Organizationのページも覗いてみてください。 また、Nucoでは一緒に働く仲間も募集しています！興味をお持ちいただける方は、こちらまで。 OpenAIから発表 iOS版ChatGPT なんとiOS版のChatGP

Supershipの名畑です。私の大好きなアニメイト池袋本店と言えばそのすぐそばには惜しまれながらも4月で営業を終えたハレスタ。ハレスタと言えば私の中では0.1gの誤算。0.1gの誤算と言えば「入場と同時に「受付で演奏を開始したら」バンギャはどんな反応をするか検証してみた」はここ最近で最も笑わせていただいた動画です。 はじめに 前々回の記事「Stable Diffusionでの画像生成をPythonとWeb APIで実装してみた記録」と前回の記事「Stable Diffusionにおける同一人物の別表情生成をPythonとWeb APIで試みた記録」に続いて、今回はStable Diffusionでアニメーション生成をしてみます。Stability Animationで紹介されているものです。Animation SDKを用います。 「画像生成AI「Stale Diffusion」開発元がテ

こんにちは。 株式会社クラスアクト インフラストラクチャ事業部の大塚です。 前回、前々回と私はKubernetesにArgoCDをデプロイしてみたりGitOps,CI/CD環境を構築したりしました。 今回はVSCodeとGitLabを連携させて、よりそれっぽい開発環境を作っていこうと思います。 用語 VSCode Microsoft社が提供しているコードエディタになります。 PCにデフォルトで入っているテキストエディタを凄く拡張させたものとでも思って頂ければいいのではないでしょうか？ サーバにSSHして使用することも可能なので、画面を良い感じに分割して上部ではファイルを編集して下部でサーバを操作して、みたいな使い方はあるあるな気がします。 環境イメージ 今回構築するイメージは以下です。 自分のPCにgitリポジトリをclone（≒複製）します。VSCodeでNodePortのyamlを作成

Python の import 部分って色々なスクリプトで使い回すこと多いですよね。 VScodeではよく使うパターン文をユーザースニペットというjsonファイル(Pythonならpython.json)にあらかじめ定義しておくことで、いちいち該当箇所をコピー&ペーストせずに使えて便利！ なのですが、、そもそもそのjson形式に整形するところ（文字列への"" や区切りの , を追加する）にちょっと煩わしさを感じていました。 そこで、登録したいパターン文を貼り付けるだけでVS Codeのユーザースニペットのjson形式に変換してくれるシェルスクリプトを作成しました（実際には ChatGPT に作ってもらいました笑）。 #!/bin/bash # prefix and description can be changed as you like prefix="my_snippet" desc

実装する処理 各ライブラリでエージェントの機能を実装し、色々と比較してみました。 ~前提条件~ 紫の対話可能なエージェントとユーザの対話により、ざっくりとした実行計画が既に作成済みのものとします。 そのため、青色のエージェントの処理(⑤)を「guidance・Semantic kernel・Langchain」で実装します。 今回、青色のエージェントには以下の3つの機能を持たせています。 Search: 社内資料の検索を想定した関数 Web: Web検索で外部情報を取得することを想定した関数 Answer: search, webで収集した情報とユーザの入力を基に回答を生成する関数 紫の対話可能なエージェントではユーザとの対話により、実行計画のベースを作ります。 こちらについてはまた別の記事でまとめようと思います。 最終的に以下のような出力が得られます。 この出力を青色のエージェントに渡し

PythonのGUIパッケージ「PySimpleGUI」の基本的な使い方について、主にイベントをテーマに紹介します。前編のこの記事ではPySimpleGUIだけでできることを扱います。後編では低レベルのフレームワーク「tkinter」を利用したイベント処理を扱う予定です。 1.環境について この記事のすべてのコードは以下の環境で動作を確認しています。 Windows11 Python：3.11.0 PySimpleGUI：4.61.0 ほとんどの内容はWindowsのPCに最新のPyhonと、pipでインストールできる最新のPySimpleGUIを用意すれば利用できると思います。ただし一部の内容は今現在、pipでインストールできるPySimpleGUIでは利用できません。詳しくは当該箇所で改めて説明します。 最初のウィンドウを作る PySimpleGUIはウィンドウという土台に、ボタンやテ

before_fork do require 'puma_worker_killer' PumaWorkerKiller.config do |config| config.ram = 1024 # total RAM available config.frequency = 5 # how often to check config.percent_usage = 0.98 # percent of RAM to use before killing config.rolling_restart_frequency = 12 * 3600 # 12 hours in seconds end PumaWorkerKiller.start end puma_worker_killer の設定値の解説 config.ram = 1024: アプリケーションが利用可能なRAMの総量 config

ターミナルにトークン付きのURLが表示されますので、ブラウザでアクセスします。 起動しました。 チャットインターフェイス 左パネルにチャットのボタンが追加されています。 Welcomeメッセージが表示されます。 language modelとembedding modelを選択します。 これで準備完了です。 チャットができます。 おお！ ノートブックについて質問できる ただチャットができるだけではありません。ノートブックのセルに対して範囲選択をすると、チャットエリアの下部にInclude selectionとReplace selectionが表示されます。 Include selectionだと選択したコードを含んだ形で質問ができます。 すっげー！ (DefaultActor pid=473) (DefaultActor pid=473) (DefaultActor pid=473) >

Introduction VSCodeでリッチな開発体験を得られるようになった！ Vimで素早くコード移動できるようになった！ ターミナルではカーソル or Deleteキー連打！ 例えばtest.pyを実行するとします。引数も必要でした。 typoした時にこんな操作をしていませんか？ どれだけ効率の良いコーディングをしても、実行にはターミナルの操作が必要です。 エディタでは効率を追求するのに、ターミナルは力技では勿体なくないでしょうか？ ターミナルでもショートカットがあります。 本記事では ターミナルとVim(挿入モード)で共通したショートカットを、 すぐ覚えて使えるものに絞って4(+2)個紹介し、 効率の良い操作で爆速にします。 これを機に力技を卒業しましょう！ ※Macユーザーは以下の記事を参考にしてください。 本記事が少しでも読者様の学びに繋がれば幸いです！ 「いいね」をしていただ

type GptRequest struct { Model string `json:"model"` Messages []struct { Role string `json:"role"` Content string `json:"content"` } `json:"messages"` } type GptResponse struct { Usage struct { PromptTokens int `json:"prompt_tokens"` CompletionTokens int `json:"completion_tokens"` TotalTokens int `json:"total_tokens"` } `json:"usage"` Choices []struct { Message struct { Content string `json:"conte

この中で私が特に気に入ったコマンドは dateround です。次点は dategrep です。この二つは特に強力で、awk やその他のコマンドを使って日時をこねくり回すような「無駄に難解なコード」を書かずに Dateutils のコマンド群だけで大抵のことはなんでもできてしまいます。専用のことをするには専用のコマンドを作ることが重要であることを思い出させてくれるでしょう。 Dateutils の重要な特徴と使用例 大抵のコマンドは機能の説明から想像できると思いますし、公式サイトにも例があるので詳細を一つ一つ説明することはしません。その代わりに「Dateutils の使いこなしに必要な考え方」が分かるような例をいくつか紹介します。 重要な注意点ですが Dateutils はロケールをサポートしていますが、原則としてシステムのロケール情報やユーザーの環境変数には依存していません。内部にロケー

はじめに GCPを、AWSからセキュアに操作するWorkload Identityという機能について、以前に何度か記事にしました。 その際、 認証情報が記述された構成ファイルを保存して 環境変数GOOGLE_APPLICATION_CREDENTIALSにファイルパスを記載する という方法で行っていました。 今回は、"ファイル保存&環境変数"という方法を使わず、コードの中で実現する方法になります。 概要 以下のページにサンプルがありました。 json_config_info = json.loads("<ファイルの中身の文字列>") # jsonの認証設定を読み込む credentials = aws.Credentials.from_info(json_config_info) # スコープを設定 ## スコープに設定する内容は以下より ## https://developers.goo

挨拶 こんにちは、Halcyonです。 本記事ではABC304のA~E問題をPythonで実装したものを解説しようと思います。 今回はゴリ押しこそしていませんが、公式解説とは違った解法で解いた問題があります。 ところで私はまだUnratedになったのを飲み込めていません。 パフォーマンス良かったのに…(後述) 何故E問題まで解説するのか？ E問題までを安定して解くことができれば水色コーダー前半程度のパフォーマンスを出すことができます。 この記事が初心者向けなのもあり、初心者でも緑や水色コーダーになれれば十分だと思い、そのボーダーラインであるE問題までを解説しています。(定期) 基礎を理解しよう！ A問題 First Player 問題文と制約 人$1$、人$2$、…、人$N$と番号付けられた$N$人が、この順番で時計回りに円卓に座っています。 特に、時計回りで人$N$の次の位置には人$1$

Introduction データセットを追加してリネームを繰り返していると、同一画像が複数枚混ざっていることに気が付きました。 効率的に取り除く方法としてimgsimというライブラリを用いて画像の類似度を測定しました。 過学習の原因となる同一画像の削除、似たような画像の分類等に役立てられます。 ※詳細は下記GitHubの方でご確認ください。 本記事が少しでも読者様の学びに繋がれば幸いです！ 「いいね」をしていただけると今後の励みになるので、是非お願いします！ 環境 Ubuntu22.04 Python3.11.1 imgsimとは 異なる画像の特徴ベクトル間の距離や類似度の差を計算します。 AugNetというディープラーニング学習パラダイムを用います。 差が0なら同一画像、値が大きくなるほど特徴量の異なる画像です。 AugNetとは 教師なし学習を使用して、画像の表現学習を行うための手法で

正直、最初はEmbeddingを活用した仕組みが一番いいかと思ったのですが、基本に返って要約を都度更新しながら使いまわす方式が一番使い勝手が良さそうという結果になりました。 いずれもどんな会話なのか、保持したい会話履歴の情報はなんなのかによるんですけどね。 以降は、それぞれの具体的な処理の流れとコードの抜粋の紹介です。 なお、今回検証はすべてメモリ上で行いベクトルDBなどは使っていません＆コードはポイントを絞っての抜粋となるのでご注意ください。 (1) 会話を都度ベクトル化して検索させる方式 ChatGPTは入力として過去会話の情報をいれることができますので、以下の図のように、前回の会話往復（入力と出力）を都度Embeddingしてベクトル化してベクトルDBに保存させます。ChatGPTの入出力の詳細についてなどは端折ってます。もしあまり知らないよ、ということでしたら色々参考情報はあると思

はじめに ハイブリッドワークで、 とりあえず朝はTeamsで挨拶しようぜ！ という 会社もあるのではないでしょうか。 打刻を打つ Teamsで連絡する なに、この二重作業 本当に嫌なので自動化チャレンジ 実現したいこと Teamsでの挨拶を手軽にする 「おはようございます。勤務開始します。本日は出社しています。」 「勤務終了します。」 とりあえずこのパターンで考えます。 「打刻」もできたらいいのですが、APIの領域ですね。 一旦割愛です。 Power Automateで出来ること Power Autmateはモバイルアプリが用意されています。 Android iOS Windows Phone モバイルアプリの画面 キャッチーなボタンですね。 私はiphoneユーザーなのでショートカットというiOSの機能も交えると、よりCool。 平日の朝、家で大体始める時間帯か、会社についたときにPow

1次元の場合でも flex-shrink, flex-grow が必要なら CSS Grid でもいいんじゃない？ 「１次元なら Flexbox, ２次元なら CSS Grid」 のように Flexbox と CSS Grid を使い分けると考えている人は多いのではないでしょうか？ じつは、１次元であっても、中身の文字列等の幅に関係ない(つまり 幅 が hug contents じゃない) 要素が含まれるときには、 Flexbox で書くよりも CSS Grid のほうが簡潔になる場合があります。 たとえば、「左側は幅固定で、右側はあまった幅を埋める (ともに中身に左右されない)」のように領域を左右に分ける場合です。 (CodeSandbox のプレビュー画面のサイズを変化させると、左側領域の幅は変わらず、右側だけが変わっていることが分かります。) 1. Flexbox で実装する fle

<!doctype html> <html lang="en"> <head> <meta charset="utf-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no"> <title>reveal.js</title> <link rel="stylesheet" href="dist/reset.css"> <link rel="stylesheet" href="dist/reveal.css"> <link rel="stylesheet" href="dist/theme/black.css"> <!-- Theme used for syntax highlighted code --> <link rel="

はじめに 初めまして。Raioです🙌 学生をしながら、放課後や休日はIT企業のエンジニアとしてアルバイトしています。 僕がエンジニアになるまでの過程を書いてみました。 宣伝 【個人開発で稼ごう】という本をAmazon Kindleに出版しました📚 是非、ご興味ある方は下のURLから読んでみてください👀 プログラミングを始めたきっかけ スマホの仕組みが気になった 僕はシステム開発にハマる前までは、ガジェットに興味があった。 四六時中、ガジェットについて調べていた。 ある日、ふと「スマホの仕組みってどうなってるのだろう」という疑問が頭の中に浮かんだ。 気になることはすぐ調べる性格なので、スマホを構成しているハードウェアについて調べた。 その日から僕は、「スマホに関わるシステムを作りたい」という考えになった。 IPadだけでWebサイトを作る 当然、PC一台も持ってない・プログラミングの知

TL;DR（この記事の要約） C# 7.0 で導入されたタプル（ValueTuple 構造体）は値型なので、代入などの際にコピーが発生する。 かつ、可変（ミュータブル）であり、変更がコピー元に波及しない。 しかし、以下の例のように関数やインデクサの戻り値がタプル（ValueTuple 型）であった場合、直接変更ができないようになっていた。 (int, int) func() => (10, 20); func().Item1 = 300; // コンパイルエラー はじめに C# 7.0 でタプルが導入されました。周回遅れどころか4周くらい遅れていますが、自分も使ってみたいと思い試してみました。 詳しい説明は他の記事に譲るとして、この記事ではタプルが値型 (ValueType) であることによって、どのような注意点が発生するかについて説明しようと思います。タプルについて知らない方は以下の記事

はじめに この記事では、GitHub ActionsからGitHub Pagesにデプロイする方法についてまとめている 今回、主に使用するアクションはGitHub Pages Action GitHub Pagesへのデプロイをサポートするサードパーティ製のアクション GitHub: https://github.com/peaceiris/actions-gh-pages 同様の機能を提供するアクションとしてupload-pages-artifactとdeploy-pagesも存在する こちらはGitHub公式のアクションだが、まだドキュメントが少ない印象 GitHub https://github.com/actions/upload-pages-artifact https://github.com/actions/deploy-pages 準備 まずはGitHub Pagesのデプ

Stable Diffusion web UIには様々なオプションがあり、起動時に付与することでより便利に使うことができます。 この記事では一部のオプションの説明と、オプションをどのように付与するかについて解説します。 よくある立ち上げ方 Google ColabやWindowsの場合、以下のようなコマンドで立ち上げることが多いと思います。 以下のオプションは解説記事などでもよく出てきますがそれぞれこのような意味があります。 --share web UIをGradioで起動して閲覧できるようにする --xformers 生成速度の向上 オプションの付け方 ①コマンドライン引数 起動時にコマンドライン引数として渡す python launch.py オプション1 オプション2 ...

概要 GPT-4 に全自動で Minecraft をプレイさせる論文 "Voyager: An Open-Ended Embodied Agent with Large Language Models" を紹介します。 Voyager は、継続的・段階的に複雑なタスクを学習し続けることができ、マップ開拓や新アイテム獲得の能力で既存手法に勝ると主張されています。 既存手法との違い LLM にツールや外部 API を与えて自律的に計画・行動させるアルゴリズムと言うと、ReAct, Reflexion, Auto-GPT などが特に有名です。 これらと Voyager の一番の差別化部分は、Iterative Prompting Mechanism および Skill Library と呼ばれるコンポーネントです。 Voyager はボットを操作するために Mineflayer という Java

これはJavaでポインタで使えるというネタから着想を得たプログラミングネタです。 厳密には 「コメントだけ書いてあるようにしか見えない」 です。 コメントだけしか書いていないのに「Hello, world!」と表示されるJavaプログラム % java --version openjdk 16.0.2 2021-07-20 OpenJDK Runtime Environment Microsoft-25298 (build 16.0.2+7) OpenJDK 64-Bit Server VM Microsoft-25298 (build 16.0.2+7, mixed mode) import java.util.*; public class Main { public static void main(String[] args) throws Exception { //\u000a

初めまして、情報戦略テクノロジーの濱崎と申します。 今回は、リモート環境での開発を楽にしてくれる、 Visual Studio Code Remote Development について紹介します。 概要 Visual Studio Code(以下、VSCode) の拡張機能であり、ローカル環境のVSCodeを通してリモート環境に接続し、VSCodeを利用した開発環境を展開します。 手元のVSCodeでリモート上のファイルを編集するのをはじめとして、端末(シェル)の操作からソースコードの実行、デバッガの利用まで出来てしまいます。 ターミナルを使いSSHを繋げてエディタを立ち上げてビルドコマンド叩いて…といった一連の作業を、全てVSCodeの画面の中で完結できるようになります。 こういった方にオススメです。 VSCode を使っていて 仮想環境orクラウドのLinuxOS上で開発してる方 Do