这是iniVation联合创始人&CEO Kynan Eng关于神经形态视觉的起源、应用和未来的四篇系列短文中的第一篇,我(Kynan Eng)有幸亲眼目睹了这一旅程的重要部分。以下是其他文章的链接列表:

  • 第 2 部分:应用程序

  • 第 3 部分:未来(第 1 部分)

  • 第 4 部分:未来(第 2 部分)

  • 我们的下一代Aeveon传感技术

起源

神经形态工程起源于 20 世纪 80 年代,在加州理工学院 Carver Mead 的实验室。在2020 年的一篇文章中,他描述了他是如何对动物的计算方式着迷的。如果我们能够理解和复制自然神经系统的关键元素,那么也许我们可以在我们自己的技术中开启新的速度和效率水平。

该领域的早期关键人物是 Carver 的一名博士生Misha Mahowald。1988 年,他们发表了一篇关于早期视觉处理模型——“silicon retina”的开创性论文。1991年,她与“silicon neuron”Rodney Douglas合著了另一篇突破性的论文。1993 年,一个小型但不断壮大的研究人员社区举办了第一届神经形态工程研讨会。这被称为The Telluride Neuromorphic Engineering Workshop,至今仍每年举办一次。

与此同时,第一个系统的机构努力具体化,以推动对神经形态工程的研究。苏黎世大学和苏黎世联邦理工学院于 1995 年共同创建了神经信息学研究所。Rodney Douglas 和他的长期合作者 Kevan Martin 以及 Misha Mahowald 和 Carver Mead 的其他几位前学生被聘为创始董事。

我于 2000 年开始在研究所工作,在 ABB 和阿尔斯通工作后进入研究领域。该研究所曾经(现在)深受其热情、非正式的加利福尼亚起源的影响,这与当时德语世界盛行的古板的博士-教授工程实验室形成了鲜明对比。招聘生物学、工程学和理论教员的策略产生了个性和项目的折衷组合,以及一种似乎一切皆有可能的普遍氛围。

可用性突破

欧盟资助的Caviar是神经形态视觉发展的重要一步项目,结合了几个苏黎世和其他欧洲实验室的组件和努力。该项目的硅视网膜部分由 Jörg Kramer 领导,然后在 Jörg 于 2002 年不幸去世后由 Tobi Delbruck 领导。最终演示实现了地址事件表示 (AER) 等概念,这些概念至今仍在使用。也是在这个时候出现了术语“基于事件的”计算。如下图所示,系统的集成非常复杂。凭借其大量基于模拟的组件,温度变化和稍长的电缆等因素可能会直接影响其稳定性和性能。如何将这样的东西简化为可靠工作的东西?

Caviar项目原型,2005 年。图片来源:Tobi Delbruck

大约在这个时候,Tobi和他的合作者做出了我认为对硅视网膜和一般神经形态系统的商业可行性的关键实践贡献:

  • 一种新的、简单的、稳定的开关帽像素设计(特别是 Patrick Lichsteiner 的设计)

  • 一种软件控制的偏置发生器,它允许通过上传设置来重复配置芯片,而不是使用塑料螺丝刀手动调整电位器。

  • 添加 USB 电缆,然后将其连接到用 Java 编写的库。

  • 从 Misha 的原始视网膜中删除特征。特别是,六边形像素阵列被丢弃以支持正方形阵列,并且相邻像素之间的连接被移除。

DVS128 神经形态相机

参观者的反应差异显着。突然之间,曾经是巴洛克式、复杂的芯片、调整和电线迷宫的东西现在看起来就像一个网络摄像头。这种对复杂性的抽象极大地简化了研究人员在解释该技术及其潜在好处方面正在进行的任务。人们不再需要理解他们所看到的东西,而是可以将他们的思想集中在他们可以用它做什么上。

首次商业销售

2008 年,我和Tobi、Rodney以及研究所总经理David Lawrence一起坐在研究所的会议室(“红色房间”)。Tobi 的小组成员在解释这项技术上投入的多年时间开始结出硕果;第一台硅视网膜 USB 相机被卖给了实验室外的实际付费客户。唯一的问题是我们没有产品名称。大约一个小时后,我们想出了一个名字——动态视觉传感器,简称 DVS。次年,我们成立了一个名为 iniLabs 的孵化器,以支持这项技术和其他来自实验室的技术。

有趣的是,这实际上是世界上第二次神经形态视觉技术的商业销售。几年前,神经形态工程社区的另一名成员 André van Schaik 为罗技制造的轨迹球设计了一个定制光学传感器。

2012 年,我们参与了由 IBM 协调的SyNAPSE DARPA 项目,将 DVS 连接到他们的TrueNorth神经形态处理器。大约在同一时间,与三星电子的合作也开始了。对 DVS 技术的商业兴趣开始加速,2015 年,我们与 Sven-Erik Jacobsen、Yvette Körber 和 Matti Weinberg 共同创立了 iniVation。下一篇短文将介绍我们的市场之旅。

后记:神经形态工程奖

2016 年,Tobi、Rodney 和我共同创立了 Misha Mahowald 神经形态工程奖,以表彰该领域的最佳新发展并推动进步。我们命名该奖项是为了表彰她的独特贡献,这些贡献是在男性占主导地位的舞台上取得的,因此更加引人注目。