最近,.NET FrameworkアプリとAirアプリの両者で出力したCSVファイルをExcel上で照合する機会がありました.ところが,微妙な差が出てしまいます.どうやら,有効桁がちょいちょい変わるみたいです.折角調べたので,備忘録としてまとめてみます.バージョンやビルドオプションによって変わってきたりするのかしら?
どの アプリで |
どうすると | どうなる |
---|---|---|
.NET Framework |
桁数無指定で ファイル出力 |
有効15桁 (四捨五入) |
Air | 桁数無指定で ファイル出力 |
有効17桁 (四捨五入) |
Excel | CSVを開く | 有効15桁 (切り捨て) |
Excel | CSVで保存 | 計10桁 (四捨五入) |
どの アプリで |
例えば 0.001234567890123456789 の場合 |
---|---|
.NET Framework |
0.00123456789012346 |
Air | 0.0012345678901234568 |
Excel | 0.00123456789012345 |
Excel | 0.001234568 |