ブックマーク / techblog.yahoo.co.jp (142)

  • awkでの数値演算注意

    ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog オークション事業部 プラットフォーム技術 後藤です。 私たちのチームはauctionリスト、サーチ、課金などのサービスの運用業務を 行っておりますが、今回は課金の検算などでよく利用するawkでの数値演算につ いてレポートします。 消費税算出など小数点付きのものを四則演算する場合、awk(表示形式のデフォル ト書式)を用いて生成する場合、以下ような現象が出ますので注意が必要です。 「7けた以上で科学表記になる場合がある」 「小数点を含めたけた数が7けた以上になると、誤差が出る場合がある」 などです。 以下の理屈が分かっていれば、なにも不思議はないのですが、結構誤差が出るパ ターンも多いので、利用者の意識が必要なのだなーと思っています

    awkでの数値演算注意
    yoshi_00_yoshi
    yoshi_00_yoshi 2009/02/02
    awk yahoo tech blog
  • Yahoo! JAPAN Tech Blog

    ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog

    Yahoo! JAPAN Tech Blog
    yoshi_00_yoshi
    yoshi_00_yoshi 2009/01/19
    テックブログ