右も左もわからずの自分がやってみて面白かったとか、備忘録とかにした方がいいと思った物を記事にしたものなります。もし、必要な方にいらっしゃったら、この記事が役に立てたら嬉しいと思います。 pythonのキャリアが浅すぎる私。 とりあえず、なんでもいいから最小規模のWebアプリを作りながら勉強と思っていた。 APサーバーからDBに繋ぐためのIDとPWなどをベタがきでソースに書いておいたが、 これをどこかに格納する必要があると思った。 pythonでは何で管理しているんだろう🧐
warning: CRLF will be replaced by LF in hoge.png The file will have its original line endings in your working directory といった警告が git status でたくさん出てきた。改行コードの設定ということで検索すると、git config autocrlf false で直る、と出てくるのだがやってみても一向に改善しない。 落ち着いてよくメッセージを眺めると、警告の出ているファイルは画像(といくつかのオフィス文書)だ。つまり、テキストじゃないから無視して、と git に伝えられればいいはずだ。 ということで正解は attributes。 https://git-scm.com/book/en/v2/Customizing-Git-Git-Attributes .gitat
はじめに 本記事は、Microsoft AzureのAzure Bot Serviceを利用した、画像認識の方法を記載しています。 ※2021年9月時点での手順です(クラウドサービスのため変更されている可能性あり) 前提 LINEアカウントを持っていること 通常のLINEを利用できるもの もしLINEを使っていない場合は、アカウントの作成が必要 Azureアカウントを持っていること もしアカウントを持っていない場合は、こちらからアカウント登録 準備手順 LINE Messaging API LINE Developersにログイン こちらからLINE Developersサイトを開きます。 LINE Developersサイトの右上の「ログイン」ボタン(下記画像の赤枠部分)をクリックします。 「ログイン方法選択」画面に遷移します。 そして、「LINEアカウントでログイン」ボタン(下記画像の
初歩的な部分ですが、いざという時にアレって思ったので。 コンテンツをゴリッと移動する際等に、とある配下の全ディレクトリのパーミッションを確認したい場合って、卵を割ったらキミが2つ入ってたっていうくらい、たまにあると思うのです。 $ find ./ -type d | xargs ls -lad drwxrwxr-x 8 hayatomo hayatomo 4096 1月 22 07:05 2013 ./ drwxrwxr-x 4 hayatomo hayatomo 4096 12月 11 16:56 2013 ./BUILD drwxr-xr-x 10 hayatomo hayatomo 4096 1月 22 07:24 2013 ./BUILD/nginx-1.2.6 drwxr-xr-x 6 hayatomo hayatomo 4096 1月 22 07:24 2013 ./BUILD
動機 私は普段からmatplotlibを用いてグラフを描画しています。 作成できるグラフのクオリティには満足していますが、 頻繁に使う割に、必要なスクリプトが長い手続きがあります。 そういった手続きは、分析用の汎用モジュールとしてまとめて書いておくのが便利です。 この記事では汎用モジュールから幾つか抜粋してご紹介します。 汎用モジュールは以降plotTools.pyと表記します。 データの処理とグラフ描画はJupyter Notebookから実行することを想定しています。 0.プロット用データの準備 サンプルデータとして、Titanicを使います。 seabornにデータが同梱されています (plotにはseabornのAPIは使いません)。 import pandas as pd import numpy as np import matplotlib.pyplot as plt imp
この記事について Alfredでアプリが検索できるようになった方法を紹介する記事です。 自分で探した限りの日本語のページで見当たらなかった解決方法を記載してます。 背景 AlfredでSlackやらVScode等のアプリを立ち上げようにも以前までは問題なかったのに、いつからか検索結果に表示されないようになった。 日本語で「alfred 検索できない」とググって以下を参考にしたが、自分の問題は解決されなかった。他にも色々参考にしたけど、似たような記事が多かったと思う。 環境 macOS Catalina 10.15.7 Alfred 4.6.1 解決できたページ 結局、公式が救ってくれる。 この人の質問が自分の環境・問題が似ていたから、ここから参考に進めてます。 検索できるようになるまでやったこと 自分の場合は、以下の1〜3のステップを経て直った。 1. Alfredのパーミッションを確認
Azure の正しい始め方① - Azure Plan (従量課金) サブスクリプション、Microsoft Entra ID (Azure AD)、課金アカウント (MCA) の全体像AzureAzureサブスクリプションEntraEntraID 本シリーズの記事について Azure OpenAI Service が大きな話題を呼ぶ中で、今まで Azure サブスクリプションを持っていないかったユーザーの Microsoft Azure の新規利用が増えています。その際、EA 契約 (EA/ESA/SCE契約) や CSP 契約ではなく、オンラインでサインアップして Azure サブスクリプション作成されるケースが散見されます。この方式は気軽に Azure を触ってみるには手っ取り早く便利です。 Microsoft Azure を組織やビジネスでセキュリティやガバナンスを意識して利用する
備忘録です。 railsアプリ内で実装したのでAPIキーの管理部分がrubyの表記になっていますが、そこ以外はhtml javascriptなのでrails以外でも実装できるかと思います。 この記事でできる事 現在地周辺の施設(カフェ、コンビニ、病院etc)を検索しピン留めする。 指定した地域の周辺施設の検索も可 以下イメージ 前提 上記Google Cloud Platformにて以下の3つのAPIの有効化と制限を行ったAPIキーを発行している。 Maps JavaScript API Geocoding API Places API APIの登録・制限・発行の方法は以下記事を参考にしてみてください。 実装 <input type="text" size="55" id="search" placeholder="地域と施設を指定" /> <input type="button" siz
概要 少量の学習データ(Few-Shot)でも精度が出る深層学習手法が登場してきています。 その一つがSetFitです。テキスト分類向けのFew-Shot学習手法です。 本記事では、SetFitを使うとよい(使わない方がよい)場面を見極めるために、リアルな問題に近い日本語ニュースジャンル分類タスクをお題に、学習データ数を変えながらそこそこ強い日本語T5と戦わせてみます。 忙しい方向けに最初に結論をまとめ、その後にSetFitの使い方の説明を兼ねて実験を再現するためのコードの解説をしていきます。 結論 Livedoor news記事のジャンル分類タスク(9分類タスク)について、クラスあたりのデータ数を2倍ずつ変えながら、SetFitと日本語T5それぞれについて分類精度を計測しました。 結果は下図のとおりです。 なお、クラスあたりのデータ数は全クラスで同一(均衡)になるようにランダムサンプリン
はじめに 物体検出でお馴染みのYOLOシリーズの最新版「YOLOv7」について、動かしながら試していきます。 YOLOv7は2022年7月に公開された最新バージョンであり、速度と精度の面で限界を押し広げています。 今回の記事では、YOLOv7とBoT-SORTによる物体追跡(MOT)の実装方法を紹介します。 Google colabで簡単に最新の物体検出モデルを実装することができますので、ぜひ最後までご覧ください。 (詳細) YOLOv7とは YOLOv7は2022年7月に公開された最新バージョンであり、5FPSから160FPSの範囲で速度と精度の両方ですべての既知のオブジェクト検出器を上回り、速度と精度の面で限界を押し広げています。 これまでのYOLOR、YOLOX、Scaled-YOLOv4、YOLOv5、 DETR、Deformable DETR、DINO-5scale-R50、Vi
依存ライブラリを利用する場合RubyGemsやらCocoaPodsといったツールで万事解決するケースがほとんどだと思いますが、たまーにGitに上がっているライブラリを直接自分のリポジトリに追加しないといけない場合もあったりします。 こういった時に使うGitのサブコマンドそれぞれの特徴と使いどころをまとめてみました。 一番スタンダードな外部リポジトリ追加方法です。たぶん大抵の依存管理ではこれを使えば十分でしょう。git-submoduleを利用すると、外部リポジトリのコード自体は自プロジェクトの管理下に取り込まれず、リポジトリの特定コミットへの参照情報のみが登録されます。外部リポジトリのcommit hashへのポインタが追加されるようなイメージです。 $ git submodule add git@github.com:Alamofire/Alamofire.git $ git diff
※GitHub Copilotが長いコードを提案してきた時、ショートカットキーの「単語単位で受け入れる」を使用すると便利です。 ※ インライン候補をトリガーするとは提案が表示される場所ならばどこでも GitHub Copilot が動きます。 例えば、提案が表示される場所からカーソルが動かしてしまっても、カーソルを元の場所に戻してトリガーコマンドを使うと提案が表示されます。 ※ インライン候補をトリガーするはデフォルトのキー設定では動きません。:Windows で確認 自分でキーボードショートカットキーを設定する必要があります。(これは自分の環境だけかもしれません。) 導入後(課金後) 導入後に何をしていいのか?何が出来るのかがよくわからなかったので調べてみた。 環境 Windows10 GitHub Copilot (導入 1年契約 or 1月契約) VSCode VSCode Insi
前書き ChatGPTなどの大規模言語モデル(LLM)では,Hallucinationが課題の一つです. 医療など内容の正確性が求められる分野では特に重要な課題で,LLMに外部データベースから正確な情報を与えた上で, 生成を行うRetrieval augmentation Generation (RAG)が対策方法の一つになります. RAGでは,関連する情報を正確に検索する必要があり,文章の正確な意味を反映した埋め込み表現を得ることができる文埋め込みモデルが重要です. そこで,医療分野の日本語の文章に対して,文埋め込みモデルをSemantic Textual Similarity(STS)タスクで比較・検証してみます. 1. 方法 1.1. 検証対象のモデル とりあえず目に付いた以下の5つのモデルを使います. OpenAI/text-embedding-ada-002以外はすべてHuggi
目次 1. はじめに 2. 物体検出AIとは 3. 物体検出AIは使えるのか 4. データ収集 5. アノテーション 6. モデル選定 7. 評価指標 8. 学習 9. おわりに 1. はじめに 本記事では、深層学習に基づく物体検出AIを使用する場合のコツについて経験で得た知見をまとめました。 物体検出で最も広く知られているであろう参考文献はyolov3のwikiにあるTips for Best Training Resultsだと思います。このガイドラインに沿って、筆者の知見も合わせて解説します。 2. 物体検出AIとは 物体検出(Object Detection AI) は、画像やビデオ中の物体を検出し、それらの物体の位置を示す技術のことです。この技術は、画像分類とは異なり、単に画像内に含まれる物体の種類を判別するのではなく、物体の具体的な位置も同時に検出することができます。 基本的に
はじめに Azure OpenAI Developers セミナー第2回でも語らせていただきました、Azure Cognitive Search のベクトル検索、ハイブリッド検索、セマンティックハイブリッド検索のデモネタについて紹介します。 Azure Cognitive Search がベクトル検索に対応したことで、クラシカルなキーワード検索と組み合わせたハイブリッド検索が可能になりました。今回はいつもの戦国武将データセットを例に、それぞれの機能を比較していきましょう。 ベクトル検索 text-embeddings-ada-002 で生成した Embeddings を格納します。 「源実友のお歌にはどのような特徴があったのでしょうか?」というわざとスペルミスを入れたり和歌をお歌と言い換えたりしたクエリーで検索をかけます。ja.lucene というスタンダードな日本語アナライザーに搭載され
注意 この記事は古く、v1.0以降は記載した実装では動作しません 別の方がv1.0での実装を記事にされていますので、そちらを参照してください https://qiita.com/sekikatsu/items/992e82671aa505c5a652 Locustって何よ 負荷試験ツール 一度に大量のリクエストを発生させることができる Python 簡単に負荷試験の処理を定義できる 環境構築 公式で配布しているDockerImageを使ってdocker-compose.yamlを定義する 筆者の環境はMac OS Catalina(10.15.1) ローカル環境で実行した version: "3.4" x-common: &common image: locustio/locust environment: &common-env TARGET_URL: http://example.co
概要 クラウドストレージ(Amazon S3)からアタッチするのが良い manifest.jsonlの生成までの速度は、おそらくディスクI/Oに依存している CVATとは? CVATとは、intel謹製の画像・動画アノテーションツールです。CVATの説明についてはこの記事では割愛します。 たくさんの画像をアノテーションしたい 数万枚(~5MBを5万枚とか)の画像をアノテーションしたい、という課題がありました。 Web上に上がっている記事を見る限り、これとかこれとかCVATそのものの紹介記事はあるのですが、GitHubの公式のissueを見ても、「えと、当方は数万枚とか一気に上げないといけないんですけど・・・」と良い記事が見当たらず、試行錯誤することになりました。ということで、この記事を書いて情報を共有する次第です。 環境 CVATサーバ: CVATはEC2のインスタンスタイプr6i.2xl
$ sudo apt upgrade Reading package lists... Done Building dependency tree Reading state information... Done You might want to run 'apt --fix-broken install' to correct these. The following packages have unmet dependencies: libhdf5-openmpi-dev : Depends: libopenmpi-dev but it is not installed mpi-default-bin : Depends: openmpi-bin but it is not installed mpi-default-dev : Depends: libopenmpi-dev bu
docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]]. ERRO[0000] error waiting for container: context canceledを解決するNVIDIADockernvidia-docker sudo apt-get install nvidia-container-runtime curl -s -L https://nvidia.github.io/nvidia-container-runtime/gpgkey | sudo apt-key add - distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.
Ubuntu20.04にて、 /var/run/docker.sock: connect: permission deniedになったので直した。初心者Docker はじめに $ docker version したら、 /var/run/docker.sock: connect: permission denied になってしまったので、$ docker versionを動かすまでの、道のり。 最終更新日 2021年11月16日 環境の情報 OS Ubuntu20.04 注意 最新の状態を確認して下さい。 公式はこちら 参考さま 状況 $ docker version Client: Docker Engine - Community Version: 20.10.10 API version: 1.41 Go version: go1.16.9 Git commit: b485636 B
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く