decimalの検索結果1 - 5 件 / 5件

• あとで読む

  decimal型があるからCOBOLもう要らんやろ、という件について（あるいは十進演算の話） - Qiita

  • 71 users
  • qiita.com/ipponshimeji
  • テクノロジー
  • 2021/12/26

  この記事はFUJITSU Advent Calendar 2021の17日目です。 みんな大好きCOBOLの強みに十進演算があります。しかし、最近の言語には十進演算のための型（.NETのdecimalやJavaのjava.math.BigDecimalやその他）があるので、COBOL要らないんじゃない？みたいな話を聞いたりするわけです。それについて、COBOL処理系に関わっている身として思うところを述べたいと思います。「まあ、decimalやBigDecimalとかでできるっちゃできるんだけど…」の「だけど…」の部分を説明してみたい。 内容はざっと以下の通り。 二進浮動小数点で金計算をすると何がまずいかのおさらい。 十進浮動小数点の説明。 decimalやBigDecimalとCOBOL十進型の違い（BCDの説明）。 で？ きっかけは、今年9月にとある記事のおかげでCOBOLがtwitte

  • cobol
  • あとで読む
  • qiita
  • programming

  
• あとで読む

  PythonでのDecimalで「文字列化」「精度維持」等のよくある「こうしたい」を試してみた | DevelopersIO

  • 6 users
  • dev.classmethod.jp
  • テクノロジー
  • 2019/07/30

  はじめに 金融や会計等の高精度をする場合にPythonではDecimalの利用が好ましいのですが、用途故に利用頻度もそこまで高くなく、実際に使ってみると慣れないうちはモジュールの動作に振り回されるような感覚に陥ります。 約一ヶ月程度Decimalに振り回されつつ、どのように扱えばいいのか判ってきた範囲でまとめてみました。 Decimalを使うべきシーン 浮動小数点を交える数値及び計算が対象です。float型では正確に計算できないケースにも対応できます。 >>> float('0.3') - float('0.2') 0.09999999999999998 >>> from decimal import Decimal >>> Decimal('0.3') - Decimal('0.2') Decimal('0.1') Decimalに渡す値は文字列にすべきという点だけ気をつけましょう。fl

  • Python

  
• あとで読む

  A formula for the $n^{\rm th}$ decimal digit or binary of $\pi$ and powers of $\pi$

  • 4 users
  • arxiv.org
  • 学び
  • 2023/01/15

  By using an asymptotic formula known for the numbers of Euler and Bernoulli it is possible to obtain an explicit expression of the nth digit of $\pi$ in decimal or in binary, it also makes it possible to obtain the $n^{\rm th}$ digit of powers of $\pi^n$.

  • Math
• あとで読む

  Floating Point Numbers and Decimal in Go

  • 3 users
  • speakerdeck.com/sryoya
  • テクノロジー
  • 2021/11/13

  Go Conference 2021 Autumnでの登壇資料です。Goでの小数計算の問題と対象方法について、プログラミング一般の小数問題から解説しています。

  
• あとで読む

  [C#] decimal型はどうやって加減算をしているのか - Qiita

  • 3 users
  • qiita.com/nia_tn1012
  • テクノロジー
  • 2020/07/29

  こんにちは、Niaです。 今回は.NET Frameworkの実数型の1つ、decimal型（Decimal型）の加減算の様子を見てみました。 1. decimal型とは decimal型は1ビットの符号部と7ビットの指数部、96ビットの仮数部で構成された、10進数表現の浮動小数点値です。但し、仮数部は整数として表しており、指数部で小数点の位置を指定します。 decimal型の値 = $(-1)^{[符号部]} \times [仮数部] \times 10^{-[指数部]}$ 参考 : Decimal 構造体 | MSDN https://msdn.microsoft.com/ja-jp/library/system.decimal.aspx 2. decimal型同士の加減算の様子 実際にdecimal型同士の加算の様子を見てみましょう。 using System; using Syst

  • C#