タグ

2013年7月30日のブックマーク (4件)

  • MySQLdb カーソルをN件ずつフェッチする - 今川館

    ↓ここを参考。 Django(正確にはMySQLdb)をつかってMySQLの巨大な結果を返すselect文を処理する http://d.hatena.ne.jp/shohu33/20091122 ↓こちらも。 http://www.ueblog.org/blog/entry/pythonmysqldb/ MySQLdbで大量のレコードをSELECTする場合、 cursor.execute & cursor.fetchoneを使うと処理が著しく遅くなる。 フェッチする件数が多いとmysqlが落ちたり、タイムアウトしてしまう。 ※cursor.fetchallをすると巨大なリストをメモリに展開する問題とは違う。 どうも、 SQL文をデータベースエンジンに処理させる。 データベースエンジンが内部のカーソルを生成する。 呼び出しプログラム(Python)側がカーソルをフェッチする。 ↑このうち、2

    MySQLdb カーソルをN件ずつフェッチする - 今川館
  • Django(正確にはMySQLdb)をつかってMySQLの巨大な結果を返すselect文を処理する - shohu33's diary

    最近djangoでデータ件数が多いテーブルから hoge = Hoge.objects.all() のように取得しようとすると、ケースのようにデータが多い場合メモリ不足で処理が落ちる事がある。 なんとか他の方法でデータ取得できないかと以下のようにこころみたが"killed"で同じように落ちてしまた。 from django.db import connection, transaction cursor = connection.cursor() cursor.execute("select * from hoge") killed知り合いの方がJavaで同じような現象にはまったことを聞いて、どうやって解決したかを聞いてみると JDBCのドライバ設定をかえて1行1行とるようにしたそうな。 ※具体的なパラメータ名までは聞かなかった。。。 「Pythonにもあるんじゃないの?」というアドバイ

    Django(正確にはMySQLdb)をつかってMySQLの巨大な結果を返すselect文を処理する - shohu33's diary
  • relx.jp - このウェブサイトは販売用です! - relx リソースおよび情報

    This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.

    naka-06_18
    naka-06_18 2013/07/30
    pv でコピーの進捗を知ることができる、便利そう
  • 4つのテストタイプ: JSTQB回帰試験

    シラバス参照箇所:2.3 テストタイプ(K2) 実施するテストの種類を分類する概念がテストタイプです。 やはりこれも、「テストタイプにはどんなものがあるか」と同時に、「テストタイプ」という言葉そのものをしっかりと意識して、2.2章の「テストレベル」と混同しないようにしておく必要があります。 (1)機能テスト ・機能テストは、「何をするのか」に着目したテストで、次の「非機能テスト」が「どのように動作するのか」をテストするのと対比しながら覚えると良いです。 ・機能についてのドキュメントが整備されている場合、それに沿ってテストを行います。 ・システム全体からコンポーネントレベルまで、様々なレベルでの「機能」が考えられるため、それに対応して各テストレベルにて機能テストを行うことができます。 (テストレベルとテストタイプの関係が述べられた箇所の1つであり、それぞれの意味を要確認です) ・外から見たソ

    naka-06_18
    naka-06_18 2013/07/30
    テストタイプ、知らなかった。機能/非機能でわけるにしろ、このページだと「何をするのか」/「どのように動作するのか」で分けていて、実際そうなんだろうなあと。発注者が想定していない機能もあって、まあ機能だ