『みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめ拡大版SP!』の発表資料です。 https://datatech-jp.connpass.com/event/319827/
『みんなの考えた最強のデータ基盤アーキテクチャ2024前半おまとめ拡大版SP!』の発表資料です。 https://datatech-jp.connpass.com/event/319827/
前回はpandasのDataFrameオブジェクトをNumPyの多次元配列やPythonのリスト、辞書、JSON形式のオブジェクトに変換する方法を紹介しました。今回は、pandasでデータを処理する際には必ずと言っていいほど目にする「欠損値」とその扱いについて見ていきます。 欠損値とは 欠損値とは、取得したデータに含まれる「何らかの理由で存在していないデータ」のことです。何かのデータを計測しているときに本来は得られるはずの値がセンサーの誤動作により1つだけ取得できなかったとか、データの伝送時にノイズが入ったためにデータがきちんと読み取れなかったとか、理由はいろいろと考えられますが、あるべきデータがないという状況はよくあり、データを処理する際にはそれらについても考慮する必要があります。 ここでは簡単な例として、次のコードでCSVファイルを作成し、それをDataFrameオブジェクトに読み込ん
AIチャットボットを搭載した検索エンジンの「Perplexity」が、2024年第4四半期(10~12月)から広告の掲載を開始するとCNBCが報じています。Perplexityでは「広告を1000回表示させるのにかかる費用が50ドル(約7300円)以上」になるとのことです。 Perplexity AI plans to start running search ads in fourth quarter https://www.cnbc.com/2024/08/22/perplexity-ai-plans-to-start-running-search-ads-in-fourth-quarter.html Perplexity Reportedly Plans Ads for AI Search App https://www.pymnts.com/news/artificial-inte
はじめに こんにちは! WEARバックエンド部バックエンドブロックの高久です。普段は弊社サービスであるWEARのバックエンド開発・保守を担当しています。 10周年を迎えたWEARは2024年5月9日に大規模なアプリリニューアルを行いました。アプリリニューアルに伴い負荷試験を行ったので、本記事ではどのように負荷試験を計画したか事例をご紹介します。 記事は計画編と実施編の2部構成で、本記事は前編の計画編となります。後編の実施編は近日、公開予定です。 目次 はじめに 目次 背景 計画の重要性 計画の策定 目的の整理 目標値の設定 スループット レイテンシ 試験方針 試験環境・データ 対象範囲 取得情報・確認観点の整理 負荷シナリオ 実施方法 リスク リリースしてみたらユーザ数が予想を超えてしまい性能問題が発生する 試験対象外とした箇所に性能問題が発生する 本番環境での試験時に性能問題が発生しユー
\r\n<li><span class=\"biz-smb-fs-m1\"><b><span class=\"biz-smb-txt-link\"><a href=\"#prompt\">プロンプト一覧</a></span></b></span></li>\r\n<li><span class=\"biz-smb-fs-m1\"><b><span class=\"biz-smb-txt-link\"><a href=\"#move\">ChatGPT活用動画</a></span></b></span></li>\r\n<li><span class=\"biz-smb-fs-m1\"><b><span class=\"biz-smb-txt-link\"><a href=\"#blog\">関連記事</a></span></b></span></li>\r\n<li><span class
はじめに Windows WSL2 dockerでOllamaを起動し検証をしたが最初の読み込みの時間が遅く、使い勝手が悪かったので、docker抜きで検証することにした。結論、ロードのスピードが早くなり、レスポンスも向上した。 プロダクションでOllamaを使う場合は、Dockerは使わないほうがよいかなといった印象。そもそも、Docker使う場合、色々とケアする項目(Dockerの設定など)増えるので、プロダクションでのOllama利用は、サーバーに直接Ollamaをインストールして扱うほうが無難かも。 以前の作業メモはこちら(ollama (llama3) + docker + wsl2 + ubuntu24メモ)。 開発環境 以下の開発環境に、WSLでubuntu22.04をインストール。ubuntu22.04を選んだ理由は、cuda toolkitが、現時点(202406)で、U
グーグルは8月21日、生成AI「Gemini」を使用するための「Google AI Studio」「Gemini API」でアップロード可能なPDFの最大容量を、これまでの300ページから1000ページまたは2GBまでに拡大したと発表した。 同社でAI Studioなどを担当するLogan Kilpatrick氏によると、テキスト理解と画像理解の両方を利用して、1ページにつき1画像として処理しているという。 We just increased the max PDF page upload size to 1,000 pages or 2GB (up from 300 pages) in Google AI Studio and the Gemini API. 🗒️ We use both text understanding and the native multi-modal cap
主要なサイトへのリンク Ollama 公式サイト Ollama 公式リポジトリ Open WebUI 公式ドキュメント Meta Llama3紹介記事 (公式ブログ) 2024-4-19 Llama3 公式サイト 一般公開されているLLMリンク集 Open LLMs ※日本語LLM情報は載っていない llm-jp/awesome-japanese-llm ※日本語LLM情報はこちら このスクラップへのリンク Llama3をOllamaで動かす#1 WindowsにOllamaをインストール Llama3をインストール Llama3をOllamaで動かす #2 Docker環境にOpen WebUIをインストール Llama3をOllamaで動かす #3 APIでOllamaのLlama3とチャット Llama3をOllamaで動かす #4 ollama-pythonライブラリ、reques
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く