なんて実用的なオモチャ……
@kihee JavaとExcelで同じような関数で計算してるんですが、小数点2位で誤差でるんすよね。。
@kumanotetu 言語仕様による誤差なのか、関数の実装誤差なのか、結構大きいですねー。不用意に丸めると実用上の影響もありそうですね。
@kihee ですねー
小数点2位まで一致すれば後は誤差としても良さそうですけど…ぐぬぬ
なんて実用的なオモチャ……
@kihee JavaとExcelで同じような関数で計算してるんですが、小数点2位で誤差でるんすよね。。
@kumanotetu 言語仕様による誤差なのか、関数の実装誤差なのか、結構大きいですねー。不用意に丸めると実用上の影響もありそうですね。
@kihee ですねー
小数点2位まで一致すれば後は誤差としても良さそうですけど…ぐぬぬ
@kumanotetu アレですね、ウフフ😊
もう１桁精度上げられれば実用上は問題なさそうなんですけどねー