タグ

関連タグで絞り込む (0)

  • 関連タグはありません

タグの絞り込みを解除

PythonとSQLとDB/ストレージに関するmisshikiのブックマーク (3)

  • MCPが便利そうなので Oracle DB とおしゃべりする MCP サーバーを作ってみた - Qiita

    Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 最近、MCP(Model Context Protocol)が注目を集めていますね。そこで、MCPを使って、Cursor や Cline などからシームレスに Oracle データベースにアクセスする MCP サーバーを作ってみました。 こんな感じでテーブルの構造を聞いてみたり こんな感じで LLM に SQL を書かせて、その場でテストしてみたりすることができます。 こちら↓の Claude Desktop と私のチャットの履歴を見ていただくと、Claude Desktop のような出来の良い MCP Host とデータベー

    misshiki
    misshiki 2025/04/16
    “※本記事で紹介したプロジェクトは実験的なものであり、本番環境での使用は推奨していません。”
  • テーブルデータの前処理を何でやるか

    最近読んだ、The Rise of Single-Node Processing: Challenging the Distributed-First Mindset という記事に最近考えていたことが書いてあったので便乗して自分の考えを書き留めておく。 元記事では、かつては大規模なデータの処理というと何はともあれ分散システムであり、Spark や BigQuery などを導入するのが当然であったが、近年は DuckDBPolars など、シングルノードでも高速にテーブルデータを処理できる技術が登場してきたことで必ずしも分散システムは必要ではないよねという風潮に変わってきた、ということが述べられている。コスト面でもクラウドを使うのであれば、小さいインスタンスをいくつも立てて分散処理するのと、合計して同程度の vCPU や RAM を持つ一つの大きなインスタンスを立てて処理するのとで料金

    misshiki
    misshiki 2025/02/18
    “個人的なベストプラクティスとしては、DWH に SQL でクエリする際にはあまり複雑なロジックを入れず、where で指定できるフィルタや、ちょっとしたメタデータの join に留める集約特徴量などの複雑になりがちな計算は Polar
  • Jupyter Notebook上でSQLをらくらく実行するJupySQL

    Jupyter NotebookやJupyter Labといった、Notebookでデータ分析業務をする人が、ここ数年で増えてきました。 Notebook上でデータ分析をするとき、外部のCSVファイルやDBのデータテーブルなどからデータセットを取得する必要があります。 よくあるのが、Pandasを利用し取得したデータセットをデータフレームに格納するケースです。 データ規模が大きいほど、ある問題が起こります。 例えば、メモリの消費の問題です。 データフレームに格納するということは、PCなどのメモリをそれだけ消費します。 多くの場合、読み込んだ直後のデータフレームは、そのままデータ分析に使えることは少なく、何かしらの加工なり処理がなされ整えられます。 ある程度整えられたデータセットの状態で、データフレームとして格納した方が、メモリの消費量は少なくてすみます。 他には、外部DBのパフォーマンス低

    Jupyter Notebook上でSQLをらくらく実行するJupySQL
    misshiki
    misshiki 2023/08/17
    “「Jupyter Notebook上でSQLをらくらく実行するJupySQL×DuckDB」”
  • 1