事件相机时间分辨率越高越好吗？

介绍

神经形态事件视觉是一个迅速发展的新兴领域。该技术在传感器性能的不同方面都具有明显优势，包括延迟、时间分辨率和动态范围。然而，由于缺乏标准化的测试方法，目前很难比较和核实不同领域用户的说法。此外，对于不同的用例，不同性能的相对重要性也在进行讨论。在这篇综述中，我们以问答形式解释神经形态/基于事件的视觉传感器性能规范的一些关键问题。

什么是时间分辨率？

基于神经形态的事件视觉传感器的时间分辨率定义为事件检测时间的离散测量分辨率。时间分辨率的特征是事件时间戳的时间单位。事件时间戳的较小单位对应于较高的时间分辨率。

时间分辨率越高越好吗？

时间分辨率的有效性受到像素前端噪声和时间戳方案设计的限制。

像素前端噪声的来源包括光子散粒噪声、电路热噪声以及由于像素之间的时间对比度检测阈值不匹配而产生的固定图案噪声。所有这些噪声源都是由基础物理定义的，在很大程度上是不可避免的。如图1所示，在正常照明条件下，这种噪声会导致事件检测时间的不确定性和不均匀性，通常为数百微秒.

  例如，假设场景中刚性边的投影在像素数组中移动。这将改变接收边缘投影的像素（我们可以称之为投影像素）中的入射光强度，如图2所示。

根据地面真值输入刺激，在任何时刻，所有投影像素都会同时经历入射光强度的变化，因为这些变化是由单个刚性边的运动引起的。然而，由于像素前端的噪声，实际事件检测时间在投影像素之间是不同的。如果我们要绘制实际事件检测时间在所有投影像素中的分布，它大致类似于图3所示的曲线。

如果每个事件一经生成就加上时间戳，并且具有高时间分辨率（例如1µs甚至1ns），则可以相当真实地捕捉到该事件时间分布。然而，这种可靠的时间戳代价很高——时间戳电路需要内置到每个像素中，这大大增加了像素的复杂性和大小。虽然事件检测时序分布提供了关于像素前端噪声和平均检测延迟的统计信息，但事件检测的时间顺序与地面真实情况没有相关性。实际上，还不清楚在任何实际用例中都需要这样精确的时间戳。

因此，大多数基于神经形态/事件的传感器都在像素阵列之外采用了读出期间的时间戳方案。从像素数组中读取事件时，会逐个或分组（行/列/整个数组）对事件进行时间戳。读出期间的时间戳是指事件的结果时间戳包含由读出延迟引起的错误。事件的读出延迟可以从<100ns到>1ms，这取决于最大读出速度和瞬时事件检测率。因此，通过时间戳读出方案的最终事件时间戳可能如图4所示。即使使用1µs甚至1ns时间戳单元，时间戳分布也不能可靠地提供关于像素前端噪声的统计信息（如果瞬时事件检测率高于最大读出速度），并且时间戳的时间顺序与地面真实性没有任何相关性。

综上所述，由于像素前端噪声和在读出方案期间最常用的时间戳，1µs，甚至1ns的小时间戳单元比诸如100µs甚至1ms的数量级，具体取决于使用情况。相反，具有不必要的高时间分辨率需要更复杂的时间戳系统，以及更高的通信和处理成本来处理额外的信息较少的数据。一个不必要的高时间分辨率在系统级别上是昂贵的，并且没有被证实的好处。事实上，事件时间戳在读出期间的时间戳中的有用性也很大程度上取决于最大读出速度。事件读取的越快，时间戳错误就越小。

考虑到这些因素，时间分辨率较低但最大读出速度较高的传感器（例如，时间分辨率为200µs、最大事件吞吐量为165 MEPS的DVXplorer相机）实际上比引用时间分辨率高得多但最大值低得多的传感器更实用读出速度（例如，我们的DAVIS346相机，时间分辨率为1µs，最大事件吞吐量为12 MEPS）。