由于精密测长仪的自身特性，在校准规范中没有对数显装置的细分特性进行明确要求，使得数显测长仪在实际使用中，对测量结果的准确度带来一些意外的影响，使测量数据的可靠性产生疑问，特别是在φ10 mm以下的针规直径中，很多测量值会与实际结果不一致。使用某型号的数显测长仪 ，针对1 mm点附近的仪器示值误差进行的验证，对相应被测样品 (量块)进行测量。

精密测长仪的数显装置由光栅传感器构成，目前常用的光栅类型有50线/mm、100线/mm和120线/mm几种，正是由于光栅传感器的这一特性，其输出特性的转换函数曲线并不是连续平滑的，而是具有很多离散的细密波纹。从数学上讲，一个函数曲线上如果有离散的细密波纹，此曲线就不是光滑的，而不光滑的曲线是不能进行微分运算的 (即误差大小和方向不易控制和判定)。因为在有离散微小波纹的曲线上，在很微小区域内，曲线的斜率就有可能发生急剧变化(细分误差产生的原因)。所以光栅传感器无论分辨力有多高，示值变动性多么稳定，都存在由此细密波纹带来的斜率误差 (细分误差)。

为了保证精密测长仪的量值准确可靠，及更加合理地使用JJF1189－2008《测长仪校准规范》，有必要在数显测长仪的校准中，增加对数显测长仪数显装置细分误差的控制。具体做法是校准示值误差时，在选择5个标准量块的尺寸时，不要单纯以整数标称值的量块做为校准用的标准，而应该辅之以整数后带有小数尺寸的量块做标准，对于小数尺寸，尽量是具有微米标称值。