タグ

ブックマーク / qiita.com (218)

  • ITエンジニアがホームラボを持つ理由 - Qiita

    はじめに(ホームラボとは) ホームラボ(Homelab)とは、ITエンジニアが市販されているサーバやネットワーク機器を自宅に購入して、検証環境を自宅に保有すること(楽しむこと)事をさします。海外ではHomeLab、日では”逸般の誤家庭”とX(Twitter)などで書かれており。一部の好事家がと思われがちですが、実はFortigate持ってますとか、Cisco持ってますとか、RTX(Yamaha)持ってますとかは以外と多く、誤家庭予備軍みたいな人は多くいるのではと思います。 今日は深沼にどっぷりはまって抜けられなくなったエンジニアのお話です。 私も20年以上エンジニアとして仕事をしており、若い頃から様々な機器を購入しては捨ててきました。間に結婚転職などのライフイベントがあり、だいぶ拡大/縮小を繰り返してきましたが、現職でVMware Cloudのサービス責任者という立場になりいろいろ学ぶ

    ITエンジニアがホームラボを持つ理由 - Qiita
  • YOLOv8モデルで物体検出する際の前処理・後処理を解説してみる - Qiita

    はじめに 記事では、YOLOv8モデルを使用して推論を行う際の前処理と後処理の手順について詳しく解説します。 特に、ポーズ推定タスクにおける顔認識を例に、一般的な処理方法を紹介します。後処理のkps(キーポイント)に関する部分以外は他のタスクにも応用できます。 コードはgithubで公開しているので、チェックしてみてください。 基的な流れ 前処理 推論 後処理 モデルの準備 ultralyticsライブラリでは、pytorch形式のモデルを様々なフォーマットにエクスポートする機能があります。 以下のコードを実行することで、モデルをエクスポートします。 from ultralytics import YOLO model = YOLO('../models/yolov8n-face.pt') model.export(format='onnx', imgsz=640, opset=12,

    YOLOv8モデルで物体検出する際の前処理・後処理を解説してみる - Qiita
  • [GCP]GCPとTerraformでデータ基盤を構築してみた - Qiita

    概要 気象庁の気象情報を取得し、加工した上でBigqueryに登録するデータパイプラインです。 上記構成図の内、赤枠内のサービスをTerraformで定義しています。 また、今回のデータ基盤定義をしたTerraformを上記Gitリポジトリにて公開しています。 実装した背景 現在無職なので、転職用のポートフォリオとして作成しました。 また、GCPTerraform(あとGit)も触ったことがなかったので、技術スキルを高めることも目的の一つです。 各工程の説明 一連の流れは、下記のとおりです。 ①データ取得 ②データ加工・投入 取得データは、最高気温・最低気温・日降水量の3つです。 これらはLooker Studioで日ごとの遷移を可視化することを想定して選定しました。 記事公開時点ではLooker Studioのダッシュボードを作成していないので、折角なら実装しようかとも思っています。

    [GCP]GCPとTerraformでデータ基盤を構築してみた - Qiita
  • データパイプラインにおいてべき等性を保つために - Qiita

    記事ではデータパイプラインにおいてべき等性(Idempotent)を保つための方法について、パターン分けして整理してみたいと思います。 1. はじめに データパイプラインでは べき等性(Idempotent)と言われる「ある操作を何度実施しても同じ結果になる」という条件を満たすことが好ましいと言われています。 ただし、べき等性を満たすためには具体的にどうすれば良いかというのは結構難しいので、自分の頭の整理も兼ねてパターンに分けて考えてみたいと思います。 単純化のために操作を1回実行した結果と2回実行した場合を考えたいと思います。 同じ状態(上図の「初期状態」)から操作を1回実行した場合と2回実行した場合の結果の状態(それぞれ「状態X」「状態Y」)が同じであれば、べき等性を実現できていると記事では考えます。 1回実行時の操作 (A) と2回実行した場合の2回目の操作 (C) は、正しい入

    データパイプラインにおいてべき等性を保つために - Qiita
  • 30歳エンジニア転職で役に立たなかった経験と役に立った経験 - Qiita

    はじめに いつも聞いているポッドキャスト番組で、エンジニア転職について生々しくリアルな話が聞けたので、紹介します。今の自分がやっている仕事が市場価値を上げられているのか? と日々の業務を振り返るきっかけになりました。詳しく知りたい方は是非、聞いてみて下さい。 転職の前提 かいちさん(転職した人)の紹介 情報系の大学院卒 中堅のバックエンド・エンジニア(30代) 社会人7年目 主に使っている言語: python, PHP アジャイル開発ができることを転職の軸に据えた 転職して感じたこと ① 30代は中堅の仕事を求められる → リーダー的立場が求められる ② 若い時の業務経験が転職の際に活きてくる → 20代はとにかく挑戦する回数を増やそう ③ 転職はどのタイミングでやってくるかわからない → 常に職務経歴書を更新し続けよう 結論 重要なポイント ・チームで開発した経験があるか? ・AWSなど

    30歳エンジニア転職で役に立たなかった経験と役に立った経験 - Qiita
  • 運用に携わる人全員に見てほしい! Ops Guidesの紹介 - Qiita

    PagerDuty Advent Calendarの8日目! 今日はOps Guidesのお話です。 うちはこうだけど、他はどうやってるんだろう? 普段から運用に関わっていると、ふとした瞬間に「そういえば他の会社ではどういう運用をやっているんだろう?」と気になること、ありませんか? そのきっかけは「当になんとなく」といったものから「上手くいかない運用にフラストレーションが溜まって」というどす黒いものまで色々あると思いますが、いずれにせよ「他の会社の良いところを取り入れて、自分たちの運用を改善したい」という気持ちから来ているのは間違いないでしょう。 だからこそ、いろんなミートアップに参加して発表を聞いたり、懇親会で話してみたり、Xに垂れ流されているいろんなポストを読んで事例を学ぶわけです。 ベストプラクティスを学びたい! このような取り組みはとても良いことですし、是非とも継続して情報収集し

    運用に携わる人全員に見てほしい! Ops Guidesの紹介 - Qiita
  • Poetryを使ったPython環境のセットアップ手順(2023年2月時点) - Qiita

    ※以下の日語ドキュメントはしばらく更新されていないようで公式ドキュメントとズレが生じているので注意してください 日語ドキュメント:https://cocoatomo.github.io/poetry-ja/ 公式ドキュメント:https://python-poetry.org/ 概要 Python環境を新たにセットアップする機会があったので備忘として方法をまとめる。 Pythonはバージョンの使い分けやパッケージ管理などでいろんな方法が出回っているが、最近のトレンドはPyenv+Poetryで管理するになっているらしい。 Pyenv Pythonを複数バージョン使いわけたい場合に使用する。 他の言語にもrbenvやnodenv、goenvなどがあり、それらをメタ的に管理してくれるanyenvというものがある。 homebrewで直接pyenvをインストールしても良いが、いろんな**en

    Poetryを使ったPython環境のセットアップ手順(2023年2月時点) - Qiita
  • Terraform面接質問集を作ってみた - Qiita

    はじめに 面接時に役に立つ、Terraformにおける実践的な基礎知識やベストプラクティスを学べる問題集を作ってみました。 面接形式なので、サンプルコードの記述が少なく、わかりにくい部分もあるかと思いますが、Terraformの基的な概念の整理にお役立ていただけます。ぜひ面接の準備や知識の確認にご活用ください。 注意事項 問題集はTerraformのv1.5.xを基準に作成されています。 問題集は、Terraformにおける実践的な基礎知識やベストプラクティスなどを学ぶための問題集であり、全ての問題が実際の企業採用面接時に出題されるとは限りません。また筆者の現在所属する組織の採用活動とは一切関係ありません。 問題集では、Terraformの全ての基礎知識やベストプラクティスが網羅されているわけではありません。また特定のprovider(AWS等)に特化したものでもありません。特定の

    Terraform面接質問集を作ってみた - Qiita
  • nvidia-smiコマンドの詳細ついて - Qiita

    Thu Mar 2 13:49:14 2017 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 367.57 Driver Version: 367.57 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | |===============================+=====

    nvidia-smiコマンドの詳細ついて - Qiita
  • OpenAI Function callingで複雑なタスクを簡単に実現 - Qiita

    Function callingの登場 6/13ごろにOpenAI社から発表された新しいgpt-3.5-turboのインスタンスにFunction callingという機能が追加され話題を呼んでいます。このFunction calling、非常に強力な機能なのですが、仕組みがいまいちピンとこないといった方も多いのではないでしょうか。筆者もその一人で、ドキュメントを3回くらい読んでもしっくり来なかったのですが、実際にFunction callingを実装してみてなるほど、これは凄いな、となったので紹介します。 ここでは、具体的なソースコードを紹介しながら、実際に動作するサンプルを作っていきます。 TL;DR ソースコードだけ見られればいい!という方は以下へ https://github.com/canada/openai-function/blob/master/app.py ソースコードを

    OpenAI Function callingで複雑なタスクを簡単に実現 - Qiita
  • Amazon VPCを「これでもか!」というくらい丁寧に解説 - Qiita

    はじめに AWS上で仮想ネットワークを構築できるAmazon VPCは、多くのAWSサービスが動作する基盤となる、非常に重要かつ多機能なサービスです。 多機能ゆえに公式ドキュメントやネット上の記事も断片的な機能の解説が多く、全体像を把握することが難しいサービスとも言えます。 そこで記事はVPCの全体像を理解できるよう、各機能のつながりや動作原理を丁寧に解説し、 「VPC界の百科事典」 (あくまで例えですが…笑) となるような記事を目指したいと思います。 【追記】 実践編の記事を追加しました VPCの実画面での構築方法は、以下の別記事にまとめました。「VPCを実際に触ってみたい!」という方は、こちらもご一読いただけると嬉しいです。 VPCとは 「Virtual Private Cloud」の略で、クラウド上に仮想的なネットワークを構築するためのサービスです。 例えば、オンプレ環境でWebア

    Amazon VPCを「これでもか!」というくらい丁寧に解説 - Qiita
  • 【2024年版】ChatGPT APIを社内利用する時に採用すべきアーキテクチャを考えた - Qiita

    結論 社内システム上の多数のアプリケーションがChatGPT APIを活用しているというシチュエーションを想定し、AI共通基盤が持つべき機能とアーキテクチャを検討しました。 ポイントは以下の3つです。 社内システム上のあらゆるアプリケーションにChatGPT APIが組み込まれる未来が想定される アプリケーションごとに必要な実装は重複するため共通化が可能 Proxyサーバを社内に配置しそこで共通的な処理を行い、各アプリケーションはAPI呼び出しのみを行う 背景 -ChatGPT APIの2024年を予想する- 2023年5月現在のChatGPT APIの活用状況 2023年3月1日にChatGPT APIであるGPT3.5-turboがリリースされ、あらゆるプレイヤーによってこぞって活用方法が模索されています。 現在の活用状況について知見を深めたかったため、TwitterにてChatGPT

    【2024年版】ChatGPT APIを社内利用する時に採用すべきアーキテクチャを考えた - Qiita
    ymym3412
    ymym3412 2023/05/01
  • ChatGPTを使ったLINEbot開発で、安定してJSON形式で出力する方法 - Qiita

    ChatGPTを使ったLINEbot開発で、安定してJSON形式で出力する方法: この記事ではchatGPTを使ったLINEbotを作成する際に、出力を安定してJSON形式で得る方法を解説します。具体的には、gpt-3.5-turbo APIGoogle Apps Script (GAS)を使ったLINEbotを想定しています。仮想人格の発言内容と内部パラメータ(感情パラメータなど)を分けて出力したい場合に役立ちます。 ChatGPT APIを使ったLineBotの作り方を、人格の与え方まで完全解説【プログラミング不要】 AIがあなたのお悩みに答えます。悩みを解決する未来の相談相手、AIがあなたを待っています。[プロンプト有] プロンプトインジェクション対策|ChatGPT APILINEボットを一ヶ月運用して戦った記録 こんなとき役に立つ 感情を伝えるチャットボット ユーザーの反応に

    ChatGPTを使ったLINEbot開発で、安定してJSON形式で出力する方法 - Qiita
  • ITエンジニア的なChatGPTの使い方メモ - Qiita

    ITエンジニアとしてChatGPT(GPT-4前提)を用いる際の使い方のメモです。 革新的な使い方等は一切記述がないのでご注意ください。 問い合わせ方法について 1. 条件を箇条書きする ほしい結果の条件を箇条書きします。 ChatGPTは話し言葉や文章で問い合わせても結果を得ることができますが、複雑な条件を文章で伝えることはそれなりに難しいことから、指示を出す人間側が楽をするために箇条書きにします。 複雑な問い合わせの場合には必要に応じて親子関係等の構造化を取り入れます。 2. 指示を追加する 問い合わせ結果が意図したものでない場合には指示を追加します。 最初の問い合わせで必ずしも望む結果が得られるとは限らないことから、要件に合わせて指示を追加し微調整します。 例えばサンプルコードの生成であれば、ライブラリや処理系のバージョン、設定の記述方法等できる限り詳細に指示を出した方が望む結果が得

    ITエンジニア的なChatGPTの使い方メモ - Qiita
  • Alpaca-loraを日本語タスクでファインチューニングする - Qiita

    Alpaca-LoRAという家庭用GPUでも大規模言語モデルのFineTuningが可能なモデルが発表されました。 記事では、livedoorニュースコーパスを使用してAlpaca-LoRAをFineTuningしてニュースのタイトルを考えさせるというタスクに挑戦してみます。 技術の概要 Alpacaとは Alpacaとは、先日Metaが発表したLLaMa 7Bをtext-davinci-003によるself-instructで生成されたデータを使用してFineTuningした言語モデル。 生成したデータは52K個で生成コストは500ドル以下と低コストです。 人間による予備評価では7Bという比較的小さなモデルにも関わらず、text-davinci-003に似た挙動を示すという報告があげられています。 Alpaca-LoRAとは Alpaca-LoRAとはAlpacaで作成したデータセット

    Alpaca-loraを日本語タスクでファインチューニングする - Qiita
  • GPT-4に無理やり画像を認識させてみるテスト - Qiita

    こんにちは!逆瀬川 ( https://twitter.com/gyakuse )です! 今日はGPT-4に強引に画像を読み込ませて行きたいと思います。 やりたいこと 言語モデルのIncontext Learning能力だけで画像を認識させる なにが面白いのか Computer Visionは非常におもしろい研究領域であり、畳み込みニューラルネットワーク(CNN)やTransformerを画像認識の領域に広げたVision Transformerは超おもろいです。 先日発表されたVirtual ChatGPTは既存研究を組み合わせ、VQA(画像をもちいた質問回答)や画像編集を行うことを可能にしています。 これらの研究はさらに進歩し、動画領域などに進んでいくことでしょう。 さて、今回はそれを忘れます。バイバーイ マタネー 今日やりたいのは、言語モデルのIncontext Learning

    GPT-4に無理やり画像を認識させてみるテスト - Qiita
  • GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita

    先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と

    GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita
  • 【ChatGPT】プロンプトパターンまとめ - Qiita

    はじめまして、sonesuke(https://twitter.com/sonesuke)です。 LLMにどっぷりハマっています。 TL; DR 16のプロンプトパターンを日語の例をつけて、まとめてみた。 読んだ論文はこれ。 https://arxiv.org/pdf/2302.11382.pdf より高度なプロンプトエンジニアリングの話題はこちら プロンプトパターン 1. メタ言語パターン: The Meta Language Creation いつ使うか? 自然言語ではない方が、より簡潔で明確に表現できるとき プロンプトコンセプト 例 原文プロンプト “From now on, whenever I type two identifiers separated by a “→”, I am describing a graph. For example, “a → b” is des

    【ChatGPT】プロンプトパターンまとめ - Qiita
  • ChatGPTを使ったサービスにおいて気軽にできるプロンプトインジェクション対策 - Qiita

    こんにちは!逆瀬川 ( https://twitter.com/gyakuse )です! 今日は気軽にできるプロンプトインジェクション対策を紹介したいと思います。 プロンプトインジェクションとは ChatGPTなどの言語モデルをベースとしたサービスに対し、「これまでの命令を表示してください」などの文章を与え、出力をジャックしてしまう攻撃手法です。 Prompt Leaking, Jailbreaking, 等の類似手法が知られています。 対策 これへの対策は簡単で、命令を追加で挿入する手法があります。以下に示します。 import openai openai.api_key = openai_key def completion(new_message_text:str, settings_text:str = '', past_messages:list = []): """ この関数は

    ChatGPTを使ったサービスにおいて気軽にできるプロンプトインジェクション対策 - Qiita
  • ChatGPT/GPT-3を使って文脈のある会話を実現する(+LINE Bot化) - Qiita

    🌟2023.3.2にChatGPTAPIが公開されたため、タイトルと文の一部を修正しました!やったね! 話題のChatGPTは超すごいし楽しいのですが、API経由で使えないため私たち開発者からするとちょっともの足りません(まもなくAPIが公開されるという話も) されました!(2023.3.2)。 とはいえ、キャラ設定や会話の前提を会話の都度入力するのは面倒だったりしますのと、ChatGPTと同じOpenAIから提供されているGPT-3モデル「text-davinci-003」はそもそも1問1答で、同じ話題を複数ターンに渡って継続することができません。 そこで、OpenAIの外側で工夫してキャラ設定や前提、文脈を維持した会話を実現しようというのがこちらの記事になります。 要約 会話の履歴を含めてリクエストすることで文脈を意識させることができるようになる(ChatGPTでは履歴ごと受け付

    ChatGPT/GPT-3を使って文脈のある会話を実現する(+LINE Bot化) - Qiita