小数表現

最近,.NET FrameworkアプリとAirアプリの両者で出力したCSVファイルをExcel上で照合する機会がありました.ところが,微妙な差が出てしまいます.どうやら,有効桁がちょいちょい変わるみたいです.折角調べたので,備忘録としてまとめてみます.バージョンやビルドオプションによって変わってきたりするのかしら?

どの
アプリで
どうすると どうなる
.NET
Framework
桁数無指定で
ファイル出力
有効15桁
(四捨五入)
Air 桁数無指定で
ファイル出力
有効17桁
(四捨五入)
Excel CSVを開く 有効15桁
(切り捨て)
Excel CSVで保存 計10桁
(四捨五入)
どの
アプリで
例えば
0.001234567890123456789
の場合
.NET
Framework
0.00123456789012346
Air 0.0012345678901234568
Excel 0.00123456789012345
Excel 0.001234568

コメントを残す

メールアドレスが公開されることはありません。 が付いている欄は必須項目です