タグ

関連タグで絞り込む (10)

タグの絞り込みを解除

javascriptと誤差に関するwogawaraのブックマーク (2)

  • 日経PC21 / エクセル - 勝手に設定される「ハイパーリンク」を解除したい！

    最新号日経PC21　2024年 9月号 発売日：2024年7月24日　特別定価：950円（紙版、税込み） 【特集】 高速化！快適化！操作の手間激減！ パソコン達人の凄ワザ＆知恵100 【特集】 充電＆バッテリーの基本からNG行為まで 知らないと困る！ 充電器の正しい選び方 【特集】 早く教えてほしかった！ LINE活用のツボ＆落とし穴 【特集】 用途別にオススメを紹介 厳選！コスパ最強タブレット 【特別リポート】 新世代のAI対応PCが登場！ Arm搭載機の実力は？ ≫サンプルファイルのダウンロード

  • JavaScriptにおける、丸め誤差の掛け算テスト

    JavaScriptにおける、丸め誤差の掛け算テスト 単価： 数量： ※計算ボタンを押してみてください。 どんな結果が出てくるでしょうか？ 結果： 四捨五入： ※とてもカンタンな計算なのに、こんなになってしまいます(; ;)。 【原因】 計算機における丸め誤差が原因です。 通常の数値計算ルーチンは数値はすべて２進数扱いにするが、 ２進数では１０進数の小数を表現しきれないためにこういう現象がおこる。 ２進数の桁は２の累乗扱いになるわけだが、小数だと、２の-1乗（つまり1/2)、 ２の-2乗(1/4)という単位になる。 したがって、２のマイナス何乗かの数値の合成でうまく表現できない。 数値は無限小数になって、最後の桁を切り捨てした部分の誤差ができてしまう。 補正後　※いったん1000倍してから積を求め、積を1000で割った後四捨五入

  • 1

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.