Jupyter NotebookやJupyter Labといった、Notebookでデータ分析業務をする人が、ここ数年で増えてきました。 Notebook上でデータ分析をするとき、外部のCSVファイルやDBのデータテーブルなどからデータセットを取得する必要があります。 よくあるのが、Pandasを利用し取得したデータセットをデータフレームに格納するケースです。 データ規模が大きいほど、ある問題が起こります。 例えば、メモリの消費の問題です。 データフレームに格納するということは、PCなどのメモリをそれだけ消費します。 多くの場合、読み込んだ直後のデータフレームは、そのままデータ分析に使えることは少なく、何かしらの加工なり処理がなされ整えられます。 ある程度整えられたデータセットの状態で、データフレームとして格納した方が、メモリの消費量は少なくてすみます。 他には、外部DBのパフォーマンス低
OpenAIのGPTの真骨頂とも言える機能が「Function calling」ですFunction callingの凄さは、「AIとの自然な会話で様々なソフトウェアを扱えるようになる」点にあります。 とてつもなくすごいことなのですが、ChatGPTと違って利用するのにプログラミングが必要なため、いまいち凄さが伝わっていない感があります。 本記事は、Function callingをノーコードでサクッと動かし、その凄さを体感してもらうための記事です。 ※本記事は、会話型AI構築プラットフォームmiiboを開発する、株式会社miiboの提供です。 どんな事ができるのか?例えばこんなことができます。 ・AIチャットボットとブレストした内容をNotionで記事化しておいてもらう ・AIチャットボットにSNS発信内容を考えてもらい、ツイートをしてもらう ・AIチャットボットが受け付けたお問い合わせ
Pythonにおけるimportの危険性とは 全ての運用関係者が知っておくべきPython特有のセキュリティリスク:便利だが攻撃者による悪用の可能性も Pythonのimportステートメントには、開発者や企業が注意する必要があるセキュリティリスクが伴う。これがどのように機能するのか、そしてなぜ簡単な解決策がないのかを解説する。 Pythonを使用する場合に対応が必要な、あまり注目されていないリスクが存在している。 最新のソフトウェア開発言語は全てモジュール式であるため、開発者はコードの大きなセクションを、より管理しやすい小さな部分に分割できる。これにより、通常はライブラリにグループ化されたコード単位を再利用できる。これらのライブラリは社内で作成されていないことが多く、グラフ作成、データベース接続、配列計算などの一般的なタスクを実行するために作成されたオープンソースコレクションだ。 コード
「LlamaIndex v0.7」をはじめる方法をまとめました。 ・LlamaIndex v0.7 【最新版の情報は以下で紹介】 3. Colabでの実行Google Colabでの実行手順は、次のとおりです。 (1) パッケージのインストール。 # パッケージのインストール !pip install llama-index==0.7(2) 環境変数の準備。 以下のコードの <OpenAI_APIのトークン> にはOpenAI APIのトークンを指定します。(有料) import os os.environ["OPENAI_API_KEY"] = "<OpenAI_APIのトークン>"(3) ログレベルの設定。 import logging import sys # ログレベルの設定 logging.basicConfig(stream=sys.stdout, level=logging.
ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。まずは、テキスト生成過程におけるGPTの動きと、マイクロソフトの製品におけるGPT機能の組み込みの流れについて話します。 蒲生氏の自己紹介 司会者:本日のセミナーは「ChatGPTによって描かれる未来とAI開発の変遷」として、日本マイクロソフトの蒲生さまに講演いただきたいと思います。蒲生さま、よろしくお願いいたします。 蒲生弘郷氏(以下、蒲生):日本マイクロソフトの蒲生と申します。よろしくお願いします。本日は非常にたくさんの方に集まっていただいて、なんでこんなに集まったの
Kindleは、Amazonが運営する大きなビジネスです。この電子書籍サービスを利用している人であれば、Kindle以外の端末でKindleの電子書籍を読むのは最悪なことをおそらくご存知でしょう。それは、Kindleが電子書籍にAZWという独自の拡張子を使用しているためです。 AZWは、一般的なプラットフォームではほとんど対応していません。PCでこのファイル形式にアクセスするためには、まずKindleをPDF形式に変換する必要があります。PDF形式は、ツールも別途必要とせず、ほぼすべてのデバイスで表示可能です。この記事では、無料で優秀なPDF変換ソフトを使用して、様々なプラットフォームからKindleの書籍をPDFへ変換する方法をご紹介します。 その1. Windows 10でKindleをPDFに変換する方法 Windows 10搭載のPCを使用するメリットの1つは、様々なタスク処理を行
Kindle本をPDF化出来れば、Kindleアプリ以外でも読むことができるようになります。 この記事では、Kindleで買った電子書籍をPDF化することに問題があるのかどうかと、実際にPCとiPadでPDF化する方法をご紹介いたします。 Kindle本のPDF変換に関する違法性について Kindle(キンドル)で購入した本の多くには、「DRM」と呼ばれる著作権保護がかかっています。 Digital Rights Managementの略で、デジタルコンテンツの著作権を保護する仕組みや技術の総称です。 DRMを解除することはできる? DRMの解除に対する見解は「個人的利用のために解除するのは問題ない」と「私的利用も著作権法の規制対象」の2つの意見が対立しているようです。 しかし、AMAZON KINDLEストア利用規約には、「デジタル権利管理システムまたはその他のコンテンツの保護もしくは機
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く