タグ

2018年7月27日のブックマーク (3件)

  • Python pandas パフォーマンス維持のための 3 つの TIPS - StatsFragments

    pandas でそこそこ大きいデータを扱う場合、その処理速度が気になってくる。公式ドキュメントではパフォーマンス向上のために Cython や Numba を使う方法を記載している。 Enhancing Performance — pandas 0.16.2 documentation が、軽く試したいだけなのに わざわざ Cythonや Numba を使うのは手間だし、かといってあまりに遅いのも嫌だ。そんなとき、pandas 来のパフォーマンスをできるだけ維持するためのポイントを整理したい。 pandas に限らず、パフォーマンス改善の際にはボトルネックの箇所によってとるべき対策は異なる。pandas では速度向上/エッジケース処理のために データの型や条件によって内部で処理を細かく分けており、常にこうすれば速くなる! という方法を出すのは難しい。以下はこの前提のうえで、内部実装からみ

    Python pandas パフォーマンス維持のための 3 つの TIPS - StatsFragments
    U1and0
    U1and0 2018/07/27
    行に対するループ / DataFrame.apply は 使わない object 型は使わない ユニークでない / ソートされていない index は使わない
  • 米SEC、ビットコインETFの上場申請退ける決定

    米証券取引委員会(SEC)は26日、タイラーとキャメロンの双子のウィンクルボス兄弟が運営する仮想通貨ビットコインの上場投資信託(ETF)を巡り、上場の申請を退けた。市場に十分な監視が行き届くか納得できないとしている。 SECはウェブサイトに掲載した決定で、同ETFの上場を目指していたCBOEグローバル・マーケッツについて、その基底となるビットコイン市場が「操作に耐性がある」点を示すことができなかったと指摘した。同ETFの価値は同兄弟が経営するデジタル資産交換事業者のジェミニに連動することとなっていた。 SECはさらに、ジェミニのビットコイン取引・取引高データの信頼性にも懸念を表明した。同ETFの基底となるビットコイン取引に関し、CBOEが十分な情報を得ることができると示さなかったとしている。 SECが数週間以内に米国初のビットコインETFの上場を承認するのではないかとの臆測を背景に、ビット

    米SEC、ビットコインETFの上場申請退ける決定
    U1and0
    U1and0 2018/07/27
    ETF化だめだったか
  • Debian / Ubuntu で cron を使うときの注意

    最近サーバーも Debian 系を使うことが増えてきた、というか意識的に CentOS (RHEL) から Ubuntu Server に切り替えているのだけれど、なんか cron が意図したとおりに動かないことが多かったので、気がついたことをメモ。 cron.hourly / cron.daily / cron.monthly が動かない場合 /etc/cron.houly、/etc/cron.daily、/etc/cron.monthly 各ディレクトリに実行ファイルをいれておくと、それぞれ1時間ごと、1日ごと、1ヶ月ごとに実行される。はずである。 しかしレンタルサーバー、クラウドIaaS、VPS のように、テンプレートから展開されたと思われる Debian / Ubuntu 環境では、これがまったく動いていない場合が多いように思う。これは「anacron」が入っていないことが原因かも

    Debian / Ubuntu で cron を使うときの注意
    U1and0
    U1and0 2018/07/27
    “Debian 系では、「.」を含むファイル名は実行対象から除外するらしい。 このルールは /etc/cron.d 以下におく crontab 形式のファイルにも適用される。”