[하드웨어&소프트웨어] 소수계산의 Accuracy 에 대한 고찰.

* 소수 계산의 경우 Accuracy 가 떨어진다.

예를 들어 0.333333333 이 있다면 이것을 2진수로 완벽하게 표현하지 못한다.

즉 10진수 소수를 완벽하게 matching 되는 2진수로 convert 가 불가능 하기 때문에 ( 가능한 경우도 물론 많다. )

소수연산으로 equal 연산 ( == ) 을 할 경우 원하는 결과가 나오지 않을 수 있다.


2012/02/29 - [프로그래밍 놀이터/Tips] - [하드웨어&소프트웨어] 컴퓨터가 계산을 틀리게 하는 이유. 

로그인 없이 추천 가능합니다. 손가락 꾸욱~