桁数は Math.log10(x).floor + 1 でいいのか - Qiita
この記事は Ruby を前提とするが，多くの言語で似たようなことが言えると思う。 何の話？ 正の整数 x が 10 進法で何桁になるか，を求めるやり方はいくつもある。 そのうちの一つが なのだが，本当にこれで正しい答えが得られるのだろうか，という話。 数学が苦手でも，Ruby をあまり知らなくても分かるよう，なるべく丁寧に見ていく。 しかし，結論だけを知りたい方は それでいいのか？ の節にどうぞ。 桁数を求めるいろいろなやり方 この節では，ローカル変数 x に正の整数が代入されているとする。 Ruby はメモリーなどの条件が許せばどんな大きな整数も扱うことができる。 文字列化 Ruby の整数（Integer クラス）には，N 進法で表した数字列を生成する Integer#to_s というメソッドがある。 引数を省略すると，10 進法の数字列が得られる。
数値解析 - Wikipedia
バビロニアの粘土板 YBC 7289 （紀元前1800-1600年頃）。2の平方根の近似値は六十進法で4桁、十進法では約6桁に相当する。1 + 24/60 + 51/602 + 10/603 = 1.41421296... [1]。(Image by Bill Casselman) 数値解析（すうちかいせき、英: numerical analysis）は、計算機代数（英語版）とは対照的に、数値計算によって解析学の問題を近似的に解く数学の一分野である。 （狭義には「数値解析」とは「数値計算方法」の数学的な解析・分析（mathematical analysis of numerical methods）のことであり，広義の意味＝数値を使って問題の解析・分析を行う（Analysis by numerical methods）・式でなく数値で計算を行う「数値計算」（numerical comput
誤差について
誤差について ある一つの問題を解こうとするとき、ある特別な場合を除いて、誤差は必ず起こり得る。 なぜなら、数値計算では、筆算にしろ電卓を使うにしろ、無限の桁数を持つ数値は扱えない からである。 数学では、理論値で数値計算するので、平方根や対数などのいろいろな記号を駆使して、 きっちり計算結果を示すことが可能であるが、他の実験科学（物理、化学、生物、・・・）では、 実験値でデータを処理するので、誤差との同居は宿命である。 どんなに正しい計算をする人でも、どんなに優秀なコンピュータでも、このことは避けるこ とのできないことである。 具体的な問題を、数学の問題として記述するとき、不正確なデータや仮定が入る場合が ある。 このとき、いくら正確に計算を行っても、計算結果は意味のないものになってしまう。 問題の記述の段階で生ずる誤差を、入力誤差（観測誤差）という。 数学的に問題を解析するとき、条件の簡
小数（浮動小数点数型）の計算が思った結果にならない理由と解決法、Decimal型はいつ使うか？
小数（浮動小数点数型）の計算が思った結果にならない理由と解決法 Decimal型はいつ使うか？小数の計算をしていて、その計算結果が常識では考えられない、変な値になったという経験はないでしょうか？単精度浮動小数点型であるSingle型（C#では、float型）や、倍精度浮動小数点数型であるDouble型（C#では、double型）を使った計算ではそのようなことがあります。ここではそのようなことが起こる理由と、その対策を説明します。 また、Decimal型はどのような時に使うのかについても説明しています。 不可解な小数の計算の例「0.1 + 0.2 = 0.3」は正しいでしょうか？数学では、当然そうでなくては困ります。 それでは、VB.NETで「0.1 + 0.2 = 0.3」（C#では、「0.1 + 0.2 == 0.3」）は「True」になるでしょうか？実は「False」になります。信じら
Exp-レポート
●時間 実験では年号は西暦を使います。 たとえば実験日を書く場合は１９９７年８月１７日(Sun)といったように書きます。 また、時間は２４時間表記になります。 ●気象条件 実験によっては気象条件によって変わってしまうものもあるので 必要によっては気象条件も書きます。 たとえば 気温２７度 湿度５５％ 天気 曇り といった感じです。 ●修正 レポートは基本的にボールペンで書きます。 これは、誤って実験結果を消してしまうのを防ぐためです。 もし訂正をする場合は２本線で消去します。 表紙 表紙の例を以下の示します。 ｜－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－｜ ｜ 実 験 の タ イ ト ル ｜ ｜ ｜ ｜
POSIX::floor() を使うと計算が合わない
Landscape トップページ | < 前の日 2006-04-29 2006-05-01 次の日 2006-05-03 > Landscape - エンジニアのメモ 2006-05-01 POSIX::floor() を使うと計算が合わない 当サイト内を Google 検索できます * POSIX::floor() を使うと計算が合わないこの記事の直リンクURL: Permlink | この記事が属するカテゴリ: [Perl] Perl で大きな数字を扱うと、計算結果があわないという相談を受けた。 - Perl の丸め誤差?349347958500 * 466593284000 / 699889926000 という計算が 232898639000 にならずに 232898638999 になるという。 そもそもすごい桁数。3000億 * 4000億って、これ何の計算なの? と聞くと、金額
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
