OpenAIのEmbeddings APIのベクトルを使って検索を行う | DevelopersIO
今回はOpenAIのEmbeddings APIを利用して文章検索を行ってみます。 このAPIを利用することで文章をベクトルに変換することが可能です。 この変換されたベクトル間の距離を計算することで、関連する文章が計算できるようになります。 OpenAIのEmbeddingについて OpenAIのAPIの一つにEmbeddings APIというものがあります。 これを利用すると文章をベクトルに変換することが可能です。 この変換されたベクトルは以下のような用途で利用できます。 検索（クエリとの関連性に基づくランキングの作成） クラスタリング（文章の類似性によるグループ化） レコメンデーション（関連する文章を持つ物のレコメンデーション） 異常検出（関連性が低い外れ値の特定） 多様性測定（類似性の分布の分析） 分類（最も類似したラベルでの分類） ここで言うベクトル形式への変換は以下のようなイメー
ChatGPTに要件定義をお願いしたらハンパなかった | DevelopersIO
架空の営業管理システムを作ってもらう前提で、ChatGPTに要件定義をお願いしてみました。 実験として軽く試すレベルで始めてみたのですが、予想を超えるクオリティでしたので、一部始終を皆様にもご紹介します。 ChatGPTとのやりとり まず、ざっくりと必要な機能の洗い出しをお願いしてみました。 あっという間に必要な機能を網羅的にリストアップしてくれまた。私自身、SFA/CRMをいくつか触った経験がありますが、適切な内容だと思います。 中には、「データのインポート・エクスポート機能」のように、検討初期段階ではつい忘れそうな機能も含まれています。さらに頼んでもいないのにオススメの検討プロセスまで教えてくれました。気が利いてます。 機能ベースだと要件の妥当性が判断しにくく思ったので、画面ベースで要件定義してもらことにしました。 「図で教えて」とできないことをお願いしたところ、やんわり断りつつ、意図
1時間でAMD ROCm環境を構築してStableDiffusionを走らせてみた | DevelopersIO
ここ12年ほど、グラフィックスボードはRadeonを使い続けている水島が大阪よりお届けします。 AMD Radeonをこれでもかと推す内容となっておりますが、単に個人的な好みですのでご承知いただければ幸いです。 昨今世間を賑わわせているいくつかの画像生成AIですが、中でもStable Diffusionはオープンソースソフトウェアとして公開され、自分のマシンで実行できることが話題となりました。ローカルで実行できれば順番待ちも利用費も気にせず、リソースの限り好きなだけ試行できます。必要なのは時間と電気代と、そう、グラフィックスボードです。 幸い、高騰していたグラフィックスボードの価格も落ち着いてきておりますので、価格を理由に購入を見合わせていた方もそろそろ動き出す頃合いではないでしょうか。 用意するもの AMD Radeon グラフィックスボード ではまず、最新のROCmが動作するグラフィク
【Git】コミット直前に自動でファイルを整形する「pre-commit」が便利すぎたので紹介したい | DevelopersIO
今回のテーマ こんにちは「すずめの戸締りを見ました」AWS事業本部コンサルティング部のこーへいです。 今回のテーマは「pre-commit」です。 テーマの背景 現在担当している案件にてCloudFormationファイルの作成の為、Gitを使用しているのですが、チームの方から「『pre-commit』でコミット直前に自動的にファイルを評価し、整形してくれるツールがある」と教えていただきました。 実際にすごく便利で、是非読者の方に紹介したいと思った次第です。 この記事で何がわかるか 「pre-commit」のセットアップ方法 不要な半角スペースを消してみる セットアップ方法 基本的には公式ドキュメントに簡潔にやり方は記載されており、手順としては以下3ステップしかありません。 「pre-commit」をインストール 設定ファイルを作成 設定ファイルをリポジトリに読み込ませる 「pre-com
【新サービス】セルフサービスでドキュメント翻訳ができる Translation Hub が発表されたので、早速試しました！ #GoogleCloudNext | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 現在開催中の Google Cloud Next '22 でドキュメント翻訳をセルフサービスで行えるサービスが発表されたのでレポートします。 Translation Hub Translation Hub は数回のクリックでドキュメントの翻訳を実施できます。Google のニューラル機械翻訳に基づき 135 言語へワンクリックで翻訳を行えます。Translation Hub は元のドキュメントのデザインとフォーマットを維持するので、翻訳されたドキュメントは元のドキュメントと同じルックアンドフィールになります。 Translation Hub は複雑なエンタープライズの翻訳を念頭に置き開発されました。Translation Hub ではセントラルの管理者が様々な部門へ複数のポータル構成をかんたんに管理できます。様々な部門が使用する、一般的
Rust & Raspberry Pi で温度センサーの値を AWS IoT Core に Pub してみた | DevelopersIO
はじめに テントの中から失礼します、CX事業本部のてんとタカハシです！ タイトルを見てロマンを感じた方、是非お友達になりましょう。Rust、ラズパイ、IoT、うん、かっけー！な気分で記事を書いています。よろしくお願いします。 前々から、Python & Raspberry Pi でセンサー等をいじってお遊びすることはあったのですが、近年 Rust が色々と話題 & 組み込み関連とも相性が良いのでは？といったことから、ずーっとやってみたかったこと、ついにやってみました。 今回は、Rust を使って Raspberry Pi に接続している温度センサーから値を読み取り、AWS IoT Core に Publish する方法についてご紹介したいと思います。 尚、この記事の中では、AWS IoT Core らへんのデプロイ等については語りませんが、下記のリポジトリの方で、Publish した値が
最近話題のWeb言語 Elixirのご紹介 | DevelopersIO
ここ最近、Elixirという言語がWebプログラマー界隈で話題になっています。 ElixirはErlangのVM上で動くRuby風味の関数型言語で、RailsコミッタのJose Valimさんが作ったプログラミング言語です。 この言語はErlangの並行性とRubyの開発生産性を持っています。 今回はこの言語が出てきた背景と文法の特徴について書こうと思います。 Elixirが注目されている理由 ここ数年、Webアプリケーションは以下の問題を抱えています。 C10K問題 10000以上のクライアントがサーバに同時接続すると、HWの性能は足りていてもOS、ソフトウェアの問題で処理が破綻する ムーアの法則の限界 CPUチップメーカーの製造するチップのクロックレートの成長に陰り。代わりにマルチコアアーキテクチャのCPUが開発されている リアルタイムWeb サーバ、クライアントが常時接続するアプリケ
【新機能】AWS LambdaがPythonに対応しました #reinvent | DevelopersIO
2015/10/11 下記内容を修正しました boto3パッケージは含まれていた 外部ライブラリはzipの直下にある必要があった Handlerの設定手順漏れ はじめに 藤本です。駆け出しのPythonistaです。 Pythonistaのみなさま、ついに来ましたね。AWS Lambdaの対応言語にPythonが追加されました。ということで、早速、触ってみました。 まずはHello world まずは設定方法を確認してみます。 LambdaのDashboardからLambda Functionを作成します。 Pythonのblueprintを確認すると、早速7つ用意されています。 今回はhello-world-pythonを選択します。 Pythonで利用可能なバージョンは現在、2.7系のみです。 コードはcodeエディタにインラインで記載しても、ローカル、S3にあるZIPファイルをアップ
ブラウザ上で稼働するIPython実行環境『IPython Notebook』をAmazon EC2上でサーバ稼働させて使う | DevelopersIO
ブラウザ上で稼働するIPython実行環境『IPython Notebook』をAmazon EC2上でサーバ稼働させて使う 先日、『PyData.Tokyo Tutorial & Hackathon #1』という、Pythonでデータの前処理と機械学習についてハンズオンで学ぶ勉強会に参加して来ました。その中で、Pythonを実践する上でとても便利な環境の存在を知りましたのでその共有と、その環境をAWS上で構築・設定した際の作業記録を備忘録として残しておきたいと思います。 目次 IPython Notebookとは EC2インスタンスの準備 IPython実行環境のインストール IPython Notebook Serverの起動 まとめ IPython Notebookとは The IPython Notebook — IPython IPython Notebookとは何ぞや？という部
Amazon EC2上でPython2.7及び各種ライブラリ環境を整える | DevelopersIO
AWSではPythonはEC2環境にデフォルトで導入されていますし、AWS CLIもPython環境の上に成り立っています。そういう意味ではAWSを扱う人に取ってはPythonは割と身近な言語であると言えるでしょう。 そんな私もAWS CLIは普段使いしておりますが、何気にその他の環境...Pythonそのものであったり、データ分析等で使う(使える)ような各種ライブラリについては未知の分野が多いです。そこで当エントリでは、EC2上でPython環境、主にデータ分析周りのPython環境やライブラリを整える手順についてまとめて行きたいと思います。 目次 EC2環境の準備 Python2.7へのアップグレード AWS CLIのアップグレード Beautiful Soup IPython pandas scikit-learn(numpy/scipy/scikit-learn) PuLP Sim
気軽に始めてみよう！クラウド時代のデータウェアハウス超入門 | DevelopersIO
始めに 私は8年ほど前に情報処理試験でデータウェアハウスというものがあるということを知りました。当時は4択問題で問題文に 意思決定支援 というキーワードが出てきたら何なのかよく分かんないけど選択してました。それからずっと興味がありながら実物に触ったことはなかったのですが、クラウド型のデータウェアハウスが登場し触る機会を得ることができました。以前に比べデータウェアハウスはかなり身近なものになってきたのではないでしょうか。弊社でもAmazon RedshiftというAWSのサービスを利用した案件が増えてきています。 クラスメソッド、POSデータ数十億件をリアルタイム分析する基盤を「Amazon Redshift」「Tableau」で開発 この記事ではデータウェアハウスの知識から分析ツールを使ってAmazon Redshiftに接続するところまで簡単にまとめています。実際にどんなものか、触ったこ
Apache Spark入門 ｜ シリーズ ｜ Developers.IO
Apache Spark入門 シリーズ [Apache Spark]RDDについて簡単にまとめてみた 記事 2015年03月22日 t.honda 32 はじめに t.hondaです。前回の最後に書いたように、今回はRDDについて書いてみたいと思います。 RDD(Resilient Distributed Dataset) RDDとは、以前にも書きましたが「不変(イミュー […]
センサーと機械学習の論文をまとめてみる | DevelopersIO
本記事は Machine Learning Advent Calendar 2014 の 24日目のトピックです。 増え続けるセンサーデータ M2M(Machine to machine), IoT(Internat of things) というキーワードが叫ばれて久しい今日、インターネットに接続できるデバイス数の上昇が見込まれるなか、デバイスに搭載された各種センサーデータの分析、活用も今後目が離せない分野です。 データはAWSなどのクラウドサービスのデータセンターに置かれた後、分析、フィルタリングされ、エンドユーザの役にたつ情報を提供していくものと思われます。 各種センサーが農業などの分野で使われ、そこから取得されたデータが分析され、活用されているという話題も多数上がってきています。 センサデータ解析におけるJubatus活用事例 - Slideshare Blue River Tech
【AWS】CloudWatch入門／使っていないEC2を自動シャットダウンしよう | DevelopersIO
はじめに こんにちは植木和樹です。AWSで検証目的でEC2インスタンスを立てたままSTOPするのを忘れてしまうことが良くあります。使ってないインスタンスでも、起動していれば当然課金されてしまいますので、ちゃんと停止させてコスト削減しましょう。今回は「Use Amazon CloudWatch to Detect and Shut Down Unused Amazon EC2 Instances」（初出：2013/01/08）で紹介されている方法を翻訳しながら進めたいと思います。 使っていないEC2は自動でシャットダウンしよう 本日はAmazon CloudWatchのアラーム機能を使ったEC2の自動検知と自動シャットダウンの方法をご紹介します。あなたは時々EC2を使うだけの個人開発者かもしれませんし、複数開発者向けのEC2を管理するITプロフェッショナルかもしれませんが、そういう立場に関係
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
