Python + Oracle DB性能改善：たった1行で処理時間を半減させた方法 | iret.media
はじめに 開発環境では一瞬で終わるDB取得が、取得先をオンプレ（または別環境）に変えただけで、「異常に遅い」という経験ありませんか？ ネットワークのレイテンシを加味しても異常に遅い… メモリやCPUに余裕があるのに１回のFetch件数を引き上げても速くならない… この記事では、私が直面した不可解な速度問題と、その劇的な解決方法を共有します。 背景あるPython上の処理で、Direct Connect経由のOracle DBから１億件超のデータを抽出するバッチ処理がありました。 データ量が多いため、100万件ごとに抽出・ファイル出力をしています。しかし、この処理時間が異常に長く、業務要件を満たせない恐れがありました。 結論から言うと、Python上で cx_Oracle (または後継の python-oracledb) のたった一つのパラメータを見直すだけで、この処理は2倍以上高速化しまし
【Gemini 3 Pro】Function Callingで「引数のストリーミング」が可能に！ | iret.media
Today we’re releasing Gemini 3 – our most intelligent model that helps you bring any idea to life. 実際に従来の挙動との違いを試してみました！ Streaming function call arguments とは通常、Geminiがツールを実行しようとする際、以下のようなJSONを生成します。 { "name": "save_article", "args": { "title": "...", "content": "非常に長い本文..." } } 従来は、このJSONが「閉じカッコ」まで完成するのを待ってから、SDKがクライアントにデータを渡していました。 しかし、新機能のフラグを有効にすることで、JSONの断片（Partial Arguments）がリアルタイムに届くようになります。
S3バケットの容量を監視するnagiosプラグイン(python – pynag製) | iret.media
S3バケットの使用量を監視するnagiosプラグインをpythonで書きました。 pythonでnagiosプラグインを作成する時にとても便利な、pynagモジュールを利用しております。 ■事前準備（モジュールインストール）# yum install python-boto # yum install pynag # yum install python-yaml ■ソースコードcheck_s3size.py #!/usr/bin/env python import boto,os,yaml from pynag.Plugins import simple as Plugin np = Plugin() np.add_arg("f","key-file", "Enter a aws cridential key file", required=None) np.add_arg("b","s
Webstemmer（クローラーツール）
日本語サイトでは、具体的な性能は測定していませんが、 以下のようなサイトで正しく動くことがわかっています: アサヒ・コム Nikkei NET Mainichi INTERACTIVE Yomiuri On-line IT media 東京新聞 日刊スポーツ 信濃毎日新聞 livedoor ニュース 使いかた Webstemmer をつかったテキスト抽出は以下のようなステップになります: まず、特定のニュースサイトから種となる HTML ページを多数取得する。 取得したページのレイアウトを学習する。 別の日に、同一のニュースサイトから新しい HTML ページを取得する。 2. で学習した結果をつかって、新しい HTML ページから本文を抽出する。 1. および 2. のステップが必要なのは最初の 1回だけです。 ひとたびサイトのレイアウトを学習してしまえば、 あとはレイアウトが大きく変更さ
いやなブログ - スクリプト言語用のデバッガの使い方 - Ruby, Python, Perl
スクリプト言語用のデバッガの使い方 - Ruby, Python, Perl スクリプト言語用の CUIのデバッガの使い方を簡単にまとめました。対象言語は Ruby, Python, Perl です。 私は C, C++ でプログラムを書いているときはデバッガ (主に GNU/Linux 上の gdb) を頻繁に利用します。しかし、スクリプト言語ではそれほどでもありません。これはおそらく次のような理由によります。 ビルドが不要なので printf デバッグが容易 (ある程度大きい C++ のプログラムではビルド時間が長いので printf の挿入はしんどい) 異常終了時にスタックトレースが表示される (Ruby, Python なら自動、Perl の場合は use Carp; $SIG{__DIE__} = \&Carp::confess; など) オブジェクトのインスペクトが簡単 (Ru
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
