LlamaIndexを完全に理解するチュートリアル その１：処理の概念や流れを理解する基礎編（v0.6.8対応） | DevelopersIO
なおRetrieverModeは、後述するas_query_engineでQueryEngineを作成する際に与えることができます。 Contextについて IndexとRetrieverは密接に関連しているものですが、それとは別に依存する処理クラスをContextとして与えます。 このContextは具体的には、Storage ContextとService Contextの２種類です。 冒頭のサンプルでは、デフォルトで動作しているためContextが見えないのですが、明示的に書くと以下のようになります。 from llama_index import StorageContext from llama_index.storage.docstore import SimpleDocumentStore from llama_index.storage.index_store import
LlamaIndex（GPT Index）にDevelopersIOの記事を100件読み込ませて質問してみた | DevelopersIO
吉川@広島です。 本家ChatGPTとは違う、オリジナル知識を持ったChatGPTを作るにはどうしたら良いか調べていたところLlama IndexやLangChainを知りました。 そこで、LlamaIndexを使ってDevelopersIOブログを直近100記事ほど読み込ませ、本家ChatGPTとChatGPT+Llama Indexそれぞれに以下の質問をしてみました。 「DevelopersIOブログ内において、AWSに関する記事のURLを1つください。また、記事の要約を教えてください。」 本家ChatGPTに聞いた場合: ChatGPT+Llama IndexにDevelopersIOブログを直近100記事ほど読み込ませた場合: 記事のURLは"https://dev.classmethod.jp/news/230316-aws-trouble-webinar/"です。記事の要約は、
ChatGPT時代に必要かも!? Pythonで実行するファイルパース（PDF編） | DevelopersIO
こんちには。 データアナリティクス事業本部 インテグレーション部 機械学習チームの中村です。 今回は話題のChatGPTにコンテキストを与える際に必要となるファイルパース処理について見ていきたいと思います。 本記事ではPDFに焦点を絞ってみていきます。既存のライブラリ内の実装も確認していきます。 先行事例の実装 先行事例の実装として、よく話題となる以下のライブラリを見ていきます。 （LlamaIndexとLlamaHubはほぼ同じですが、parserとしては片方にしかないものもあるため） LlamaIndex https://github.com/jerryjliu/llama_index https://gpt-index.readthedocs.io/en/latest/index.html LlamaHub https://github.com/emptycrown/llama-hu
YOLOv7を使って自作データセットで物体検出してみた | DevelopersIO
こんちには。 データアナリティクス事業本部機械学習チームの中村です。 YOLOv7の論文が2022-07-06にarXivに公開されたようですね🎉🎉🎉 ソースコードもGitHubで公開されています。 せっかくなので今回は、以下の記事で紹介した自作データのトレーニングを、YOLOv7を使ってやってみたいと思います。 YOLOv7の概要 YOLOv7は、YOLOv4、Scaled-YOLOv4, YOLORと同じグループが開発した最新の物体検出処理です。 MS COCOデータセットでは既存手法を大きく上回る結果と報告されています。 ざっと見たところポイントは以下となっています。 concatenateモデルのアーキテクチャを進化させたELANおよびE-ELANを使用 concatenateモデルはDenseNetやCSPVoVNetなどのようにaddの代わりにconcatするモデルのこと
CVATでバウンディングボックスをアノテーションしてみる | DevelopersIO
データアナリティクス事業本部の鈴木です。 教師あり学習で画像の物体認識を行う際には、一般的には以下の情報が必要になります。 画像 アノテーションデータ（どこになんの物体が写っているかなど） 公開されているデータセットでは、アノテーションデータがすでに準備されていることも多いですが、新しい問題に取り組む際には、基本的には自分でアノテーションを付ける必要があります。 今回は画像にアノテーションデータとしてバウンディングボックスを付けるために、Computer Vision Annotation Tool (以降、CVAT)を調べたのでご紹介します。 CVATとは インテルで開発されている、コンピュータビジョンアルゴリズム用のラベリングツールです。 MITライセンスで配布されており、ソースコードはGitHubで公開されています。 ウェブベースのツールで、Dockerでサーバーを起動し、Googl
Amazon CloudWatch Syntheticsについてまとめてみた | DevelopersIO
こんにちは、CX事業本部 IoT事業部の若槻です。 今回は、Amazon CloudWatch Syntheticsについて基本的な事項をまとめてみました。 CloudWatch Syntheticsとは CloudWatch Syntheticsは、WebページやAPIエンドポイントに対するSynthetic Monitoringを設定、自動実行できるマネージドサービスです。 Using synthetic monitoring - Amazon CloudWatch Syntheticには「統合的な」「合成の」「人工的な」「模擬の」といった意味があり、Synthetic MonitoringはユーザーによるWebアクセスを模倣して実行しエンドポイントの可用性やレイテンシーなどを監視して、実際のエンドユーザーよりも早くシステムの問題を検出するための監視手法です。 Canary Cloud
Pythonで簡単CLIツール作成。Python Fireを試してみた | DevelopersIO
手元で実行するちょっとしたCLIツールを作成したくなること、ありますよね。今回はPythonでCLIツール作成をする際に便利そうなライブラリ、Python Fireを試してみました。 こんにちは。サービスグループの武田です。 手元で実行するちょっとしたCLIツールを作成したくなること、ありますよね。いくつか選択肢はありますが、シェルスクリプトで作る人。Node.jsで作る人。Goで作る人。そしてPythonで作る人。今回はPythonでCLIツール作成をする際に便利そうなライブラリ、Python Fireを試してみました。 Python Fireとは Python FireはPythonで定義した関数やメソッドをCLIで簡単に呼び出せるようにするライブラリです。とても多機能なので今回はすべてを紹介することはできませんが、興味を持たれた方はぜひドキュメントなども見てみてください。 googl
CloudFront+S3なSPAにLambda@EdgeでOGP対応する | DevelopersIO
吉川@広島です。 案件でCloudFront+S3なSPAに対してOGP対応が必要になってきそうなため、Lambda@Edgeを使った対応について検証しました。 現状、FacebookやTwitterのBotは基本的にクライアントサイドJSを解釈できず、SPA単体でのOGP対応は難しいとされています。OGPメタタグはSSRで返してあげる必要があるため、「UserAgentでBot判定し、その時だけOGPメタタグ入りのHTMLをエッジサーバでレンダリングして返す」というのが基本戦略になります。 SPAをホスティングするCloudFront+S3を作成する S3バケットを作成する バケット名だけ入力し、後はデフォルト値で作成します。 そして、本来であればSPA用のHTML/JS/CSSリソースをアップロードするのですが、今回はLambda@Edgeの動作確認ができれば良かったためパスしました（
知らなかったのは私だけでしょうか･･･。東京リージョンでも Amazon Athena フェデレーテッド・クエリが GA されていました | DevelopersIO
え・・・いつからそこに居たの。 ずっと待ってたんだよ・・・ ということで、ひっそりと東京リージョンでも Amazon Athena の Federated Query が GA されていました。 いつから？ 2020年12月16日にドキュメント更新されていたようです。 こんな待望のアップデートを 1 ヶ月も見落としていたなんて。。私、アップデート職人だと自負していましたが、これはアップデート職人引退が迫られる事案だと重く受け止めています。。 Amazon Athena Federated Query Amazon Athena のフェデレーテッド・クエリはリレーショナル、非リレーショナル、オブジェクト、およびカスタムのデータソースに格納されているデータに対して SQL クエリを実行できるようになる機能です。フェデレーテッド・クエリについては以下のブログを参照ください。 これまで Athen
Step FunctionsでDynamoDBのエクスポート機能を活用して、Athenaでクエリする環境作成を自動化してみた | DevelopersIO
無事に内容を取得できました。 実装 CDK CDKのバージョンは、1.101.0を利用します。全体的に権限が緩めなので、動作確認が出来たら絞ることを推奨します。 Athena,S3,Step Functions,Lambda,Glue TableのCDK定義 cdk from '@aws-cdk/core'; import * as s3 from '@aws-cdk/aws-s3'; import * as lambda from '@aws-cdk/aws-lambda'; import * as iam from '@aws-cdk/aws-iam'; import * as events from '@aws-cdk/aws-events'; import * as eventsTargets from '@aws-cdk/aws-events-targets'; import *
AWSアカウント間のS3, DynamoDBデータ移行計画の記録 （背景と転送方法の検討） | DevelopersIO
はじめに こむろ@事業開発部です。 今回、5年以上稼働していた SpringBoot アプリケーションを エンドユーザーへの影響を最小にして、別のAWSアカウントへ完全に移行させました。その調査、検討、実施した際の想定外のトラブルやその対処について記録します。 私は主に全体のとりまとめを担当し、アプリケーション内で使うデータの関係性のチェックや移行作業全体のスケジュール作成、切り戻し計画の作成、メンバーへのタスク依頼、顧客調整等々を行いました。 概要 全体が無駄に長くなってしまったのでまとめると以下になります。 Elastic Beanstalk （1 Container Docker）で動作していた Spring Boot アプリケーションを、別の AWS アカウントの Fargate 環境へ引っ越し 作業時間は最大 5 時間 転送はもちろん、データの完全一致の保証も含めて 移行対象デー
DynamoDBでSQLが使える!?DynamoDB+PartiQLで何が出来るのか試してみた | DevelopersIO
はじめに CX事業本部の佐藤智樹です。 先日DynamoDBについて以下の発表がありました。 え！？DynamoDBでSQL使えるようになるの？何がどこまでできるのか気になったのでドキュメントを参照しながら試してみたいと思います。 正確にはSQL互換のクエリ言語のPartiQLを使いますが、本稿ではSQLと呼称して記述していきます。 DynamoDB+PartiQLの操作についてはこちらのブログでも確認できます。こちらはAWS CLIを使用した操作について書かれています。 ドキュメント ドキュメントは以下から確認できます。 アクセス方法は現状以下の3パターンあるようです。 DynamoDBのWebコンソール(新バージョンのみ) AWS CLI AWS SDK(Java) 今回はWebコンソールで操作を試してみます。 CRUD操作してみた WebコンソールからSQLを実行します。まず最近でた
GitHub ActionsでウェブサイトをAmazon S3にデプロイする | DevelopersIO
こんにちは。ジョン・ヒョンジェです！ GitHub Actionsを利用して、ReactプロジェクトをAmazon S3に自動でデプロイしてみましたので共有します。 はじめに GitHub ActionsはGitHubリポジトリを基盤にWorkflowを自動化させることができるCI/CDのツールです。 GitHub ActionsでのWorkflowとは実行する作業とその作業を実行する条件や順序を定義したもので、YAMLに作成されます。GitHubのMarketPlaceで他の人が作成したWorkflowを使うことができ、独自のWorkflowを作成することもできます。 GitHub Actionsを使うとコードのビルド、テスト、デプロイという面倒な過程を自動化させることができるので、開発者の負担を減らすことができます。 では、実際にGitHub Actionsを使ってReactプロジェク
Pythonで作ったコマンドをGitHub経由でpipインストール可能にする | DevelopersIO
Pythonで作ったコマンドをpipでインストールできる形にしてGitHubで公開する方法を紹介しています。 こんにちは、ターミナル住人の平野です。 先日Pythonで作ったコマンドを公開する際、 Pythonなんだし、やっぱりpipでインストールできるようにしたいなと思い、 そのやり方を調べたので記録しておきます。 CSV変形のお供に。テキストの一部分にだけコマンド適用するツールを作ってみた。 GitHubでの公開 pipを使うと通常はPyPIからパッケージを探そうとしますが、 探しに行く先としてGitHubを指定することもできるようです。 いくらPyPIが誰でもパッケージを登録できるリポジトリとは言え、 いきなりここに登録するのは心理的なハードル高すぎなので、 まずはGitHubでの公開だけに留めておきます。 スタート地点 スタート地点としては、sample_command.pyという
DynamoDBで継続的バックアップとポイントインタイムリカバリーが可能になりました | DevelopersIO
はじめに AWSチームのすずきです。 2017年11月のAmazon DynamoDB Backup and Restoreの発表時に予告されていた、 継続的な自動バックアップと、任意の日時(過去35日)を指定したポイントインタイムリカバリー(PITR)がリリースされました。 AWS東京リージョンでも、バックアップ、リストアと、ポイントインタイムリカバリーが利用できる事が確認できましたので紹介させて頂きます。 AWS が Amazon DynamoDB Backup and Restore をリリース New – Amazon DynamoDB Continuous Backups and Point-In-Time Recovery (PITR) 設定 DynamoDBダッシュボードで任意のテーブルを指定、「バックアップ」のタブを開きます。 ポイントインタイムリカバリーの「有効化」します
Amazon Athena で CloudFront のアクセスログを集計する | DevelopersIO
こんにちは、菊池です。 これまでのエントリで、ELBのログをAmazon Athenaで分析する方法を紹介しました。 Amazon Athena RegexSerDe を利用して CLB ログ / Apache Web のアクセスログを探索する Amazon Athena RegexSerDe を利用して ALB ログを探索する 今回は、CloudFrontのアクセスログをAmazon Athenaで分析してみます。 CloudFront とは Amazon CloudFrontは、AWSが提供するコンテンツ配信サービス（CDN）です。ユーザからのアクセスを、世界中にあるエッジサーバを経由するよう誘導することで、高速なアクセスを提供します。また、エッジサーバにコンテンツをキャッシュすることで、オリジンサーバの負荷を低減することもできます。 AWS再入門 Amazon CloudFront編
AKIBA.AWS ONLINE #03 -「Former2でコード生成してGUIポチポチ卒業の第一歩を」というタイトルで登壇しました | DevelopersIO
こんにちは！コンサル部のinomaso(@inomasosan)です。 2021年5月18日(火)に、AKIBA.AWS ONLINE #03で「Former2でコード生成してGUIポチポチ卒業の第一歩を」というタイトルで登壇しました。 発表資料や感想を簡単にまとめていきます。 発表資料 資料の３行まとめ Former2で既存環境を簡単にコード化可能 Former2はローカルでも起動可能 コードの再利用には考慮が必要 感想 社外向けのイベント登壇自体が初めてだったので、良い経験ができました。 動画を後から見返してみると、今まで気づかなかった喋り方の癖に気がつけたので良かったです。 また、今回のLTでFormer2に興味を持って頂けた方もいたので、とても嬉しかったです。 Former2楽しそう #AKIBAAWS — とっしぃ (@tossy_yukky) May 18, 2021 Form
AWSサービス毎の請求額を毎日Slackに通知してみた | DevelopersIO
事前準備 下記の設定を行います。 AWS請求の設定 Slackの設定 AWS請求の設定 ルートアカウントでログインし、設定画面から「コストエクスプローラ」を有効にします。 Slackの設定 チャンネルの作成 通知先のチャンネルを作成します。ここでは、チャンネル名を#aws-billingとしています。 Incoming Webhookの追加 Incoming Webhookの設定を行います。 通知先チャンネルから「アプリを追加する」を選択します。 アプリとしてIncoming Webhookを検索します。 「設定を追加」を選択します。初回であれば画面は違うかもしれません。 投稿先のチャンネルを選択し、「incomming Webhookインテグレーションの追加」を選択します。 作成されたWebhook URLをメモしておきます。このURLに対して、特定フォーマットでPOSTすれば、Slac
【Tips】AWS CLIを使ってAmazon EC2を起動・停止するワンライナーまとめ | DevelopersIO
こんにちは、城内です。 スマホゲームが大好きなのですが、最近はめっきりファンキル *1にハマっています。Fate *2コラボに惹かれて参戦したのですが、直近では結構インパクトのあるCMを打っていたり、過去のコラボもあの花 *3とかまどマギ *4とか、自分的にはかなりのツボですね！ さて、個人的な趣味の話と無駄な脚注は置いておいて、今回もちょいネタです。 EC2を起動したり停止したりする、AWS CLIを使ったワンライナーをいろいろ紹介したいと思います。 目次 1. EC2起動 1-1. 単体起動 1-2. 起動確認 1-3. 起動待ち 1-4. 全起動 2. EC2停止 2-1. 単体停止 2-2. 停止確認 2-3. 停止待ち 2-4. 全停止 ワンライナーまとめ では、さっそくつらつらとまとめを書きます。 ちなみに、私はAWS CLIやjqのマスターではありませんので、「それ最適じゃな
EC2 G4インスタンスのAmazon Linux 2にNVIDIA CUDAをインストールしてみた | DevelopersIO
NVIDIA T4 Tensor Core GPUを備えたEC2インスタンス(G4)上のAmazon Linux 2にNVIDIA TESLA GPUドライバーとCUDA 11.0をインストールしてみました。 EC2 G4 インスタンスは NVIDIA Turing アーキテクチャの NVIDIA T4 Tensor コア GPU を搭載するGPU系インスタンスです。 費用対効果に優れ、機械学習推論やグラフィックスを多用するアプリケーションに向いています。 今回は、このG4にNVIDIA TeslaドライバーとCUDA環境を構築する方法を紹介します。 インストール方針 CUDA をインストールするには、主に以下の3通りがあります。 インストール済みAMIを利用 RPMパッケージからインストール インストーラー(runfile)からインストール 上のものほど、環境を簡単に用意でき、運用負荷も
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
