事件相机的工作原理和应用场景

时间: 2024-02-19 15:07:41 |   作者: 框式流水

  事件相机最早诞生于1990年,那时候,许多研究人员探讨动物感知环境的方式,发现对变化更为敏感,所以设计出了实验室用的事件相机。2008年,诞生了第一款商用的事件相机。如今国内外都有企业和机构进行事件相机的研究。传统相机,无论是CMOS传感器,还是CCD传感器,亦或是RGBD相机,都有一个参数:帧率。它们是以恒定的频率拍摄获取图像。这样,即使帧率能达到1KHz,那也具有1ms的延时。所以传统相机存在一定的延迟问题。此外,传统相机需要通过一段时间的曝光,使感光器件积累一定的光子,那么在曝光时间之内如果物体在高速运动,则会产生模糊,这也是传统相机的一个问题。另外,传统相机的范围较低,具体表现为在光线极差或者亮度极高时,相机获取的信息有限。这样一些问题极大的限制了传统相机在一些应用场景中的应用。而事件相机则能很好的解决这样一些问题。事件相机,也称神经形态像机,或动态视觉传感器(DVS,Dynamic Vision Sensor),是一种能够响应局部亮度变化的成像传感器。事件相机不像常规相机那样使用快门捕获图像。相反,事件相机中的每个像素都独立且异步地运行,并在发生亮度变化时输出这些变化,否则保持沉默。下图可以非常形象的展示出事件相机和传统相机在工作原理上的不同。左侧:假设拍摄的是一个圆盘转动(圆盘此时逆时针转动一段时间然后停止)。右侧:上面是传统相机,圆盘停止时,标准相机输出不间断,然而这一些信息其实不是我们关注信息。下面是事件相机,其输出信息为亮度动态变化的位置,并且当图片无变化时即为no events,无输出。此前有业内人士对电子发烧友表示,基于这样的工作原理,事件相机有几个典型的特点:一是它的动态范围非常高,能够达到140dB;二是因为它只输出有效信息,不输出无效信息,它的数据量非常小;三是它的速度很快,能够达到1/10000s,甚至更高。因为这些特点,事件相机可适用于传统相机难以解决的一些场景中。比如城区场景中的鬼探头,传统相机在面对横向的鬼探头场景时,无法快速做出一定的反应,而事件相机可以更快感知到危险信号;再比如高速场景下的避障,车辆在高速上快速行驶时,遇到前方路面有一个轮胎,传统相机不能及时做出一定的反应,事件相机可以依靠低时延优势,快速识别并做出避障的动作。目前,不少公司都在致力于事件相机的发展,包括iniVation、prophesee(普诺飞思)、索尼(收购Insightness)、芯仑光电(韦尔股份子公司)、锐思智芯(Alpsentek)等。iniVation起源于瑞士,由基于事件视觉的发明者创立。该公司已推出多款产品,热门型号包括:DAVIS346 Color/Mono、DVXplorer、DVXplorer Lite/Mini、Stereo Kit等。iniVation的动态视觉平台可为诸多应用和行业提供支持和解决方案,包括物联网(超低功耗监控和智慧城市)、无人驾驶(车辆测距、SLAM和乘员监控)、机器人技术(场景理解与定位)、工业视觉(过程监控和基础设施检测)等。Prophesee于2014年成立于法国巴黎,专注于神经拟态视觉传感技术,目前基于事件的视觉技术推出多款传感器。其研发的普诺飞思原视觉(Metavision)传感器可应用于手机、无人驾驶、工业自动化、物联网、AR/VR、医疗设施等领域。比如在智能驾驶领域,Xperi旗下子公司DTS基于普诺飞思原视觉(Metavision)传感技术提供的事件数据,开发了基于神经拟态视觉系统的驾驶员监控解决方案(DMS),提供了更优的微光性能,以及新的检测功能,如眼跳或微表情检测等。再比如,高级驾驶辅助软件开发商Terranet AB与梅赛德斯-奔驰共同开发的VoxelFlow传感器,采用了普诺飞思原视觉(Metavision)传感器,可扫描车辆四周半径为40米的区域,反应时间为3毫秒。锐思智芯成立于2019年,拥有一支兼备芯片、算法、软件和硬件研发经验与能力的团队,核心专家来自全球顶尖机构。在高端视觉传感器领域拥有超过16年的技术积累,在事件相机领域拥有超过8年的研究经验。2021年10月,锐思智芯(Alpsentek)发布了首款融合仿生事件视觉传感器芯片——ALPIX-Pilatus(简称 ALPIX-P)。专为机器感知设计的传感器,可大范围的应用于机器人、智能手机、无人驾驶、无人机、安防等场景。ALPIX-P 采用锐思智芯自主研发的 Hybrid Vision融合式仿生事件视觉传感技术,即将仿生事件视觉技术与传统图像传感技术在像素级别进行融合。芯片可以在传统图像传感器模式和仿生事件相机模式之间快速切换,实现事件相机与 CIS 相机功能 “二合一”。在图像模式下,ALPIX-P 是一款最高帧率为 120 帧的全局曝光传感器,其图像质量与现有的商化的 CIS 输出的图像质量一致,兼容现有成熟的视觉系统。在仿生事件相机模式下,ALPIX-P 具有超高帧率,高有效信息占比,大动态范围的特点。事件相机的核心是神经拟态,神经拟态技术最早源于瑞士苏黎世联邦理工学院(ETH Zurich)。目前研究的企业主要有两个方向,一是传感器,即事件相机,就是文章提到的几家公司;另一个是神经拟态计算,主要是SoC芯片,如九天睿芯、时识科技。目前从两个方向来看,神经拟态在产品和应用上都有不错的进展。

  今年小米共推出了两款MIX系列机型,一款为折叠屏MIX FOLD,一款为MIX 4。现在小米MIX系列新成员已在路上,它是一款折叠屏手机。 今天,业内人士Ross Young爆料,小米MIX FOLD的继任者将于2022年发布,这在某种程度上预示着小米新款折叠屏旗舰将无缘小米12月份举行的新品发布会,这场发布会小米会推出年度旗舰小米12和MIUI 13操作系统。 根据此前爆料的消息,小米MIX FOLD迭代机型主要是弥补MIX FOLD的遗憾。 据博主@数码闲聊站爆料,小米MIX FOLD迭代机型为全高刷屏,而且搭载了屏下摄像头技术。 小米MIX FOLD 众所周知,小米MIX FOLD仅外屏是90Hz高刷新率(

  此前,谷歌为了逐步扩大市场占有率,提升影响力,公司推出了Android One手机,该手机类似于中国自主研发的手机的百元机,性价比较高,同时提供了最新的安卓系统更新。而谷歌也联合夏普在日本推出了SHARP 507SH手机,近日,夏普再次推出了一款名为夏普X1的Android One新机,该机依旧只在日本销售。 既然属于Android One手机,配置上自然不会走高端路线.3英寸1080P的IGZO LCD触摸屏,前置800万像素+后置1640万像素镜头组合,搭配3900mAh大容量电池,支持日本的FeliCa智能卡,同时支持IP68防水防尘。 据了解,夏普

  如果你真的不喜欢超大屏幕,Galaxy S5 mini或许是个很值得期待的选择,4.5寸是相当适合单手把握的。今天,SamMobile独家公布了这款迷你旗舰的多张高机照、安兔兔跑分和检测截图,还有和老大哥Galaxy S5的直接对比。 从照片上看,S5 mini基本上就是小一号的S5。比较独特的是,底部的micro USB接口上并没有盖子,但是曝料人士确认说,它也是支持IP67防水防尘的。看来三星的技术又进步了,裸奔的USB接口也不怕水。 规格方面,S5配备了一块4.5寸屏幕,材质还是Super AMOLED,覆盖康宁大猩猩第三代玻璃,分辨率为720p。处理器是未发布的Exynos 3470四核心,Cort

  目前骁龙845已经正式对外发布了, 雷军 在高通在骁龙技术峰会上宣布小米正在研发高通骁龙845手机,并且下一代旗舰机将会搭载。不过,据悉三星S9、LG G7等新机或将于CES 2018(1月9日)发布,因而它们更加有机会获得全球首发。尤其是三星和高通的关系非常密切,首发骁龙845问题不大。 三星Galaxy S9 近段时间,关于三星S9的消息不断,一些真实性颇高的谍照也纷纷浮出水面,近日有网友曝光了一张疑为S9的真机图,画质比较模糊,也可能是网友PS所得。 和传闻一样,该图的S9的正面屏占比相比S8时代逐步提升,额头得以保留,下巴则像iPhone X般几乎消失。据称,S8的屏占比为为84%,到S9这一代屏占比将提升至8

  在前段时间,网络上曾掀起一阵关于 HTC   M8将推出运行Windows Phone版本的W8新机。而最近这两天,爆料大神@evleaks再一次曝光出有关这款 WP8 新机的新信息。 发售时间方面,这款 HTC  W8预计将会在今年第三季度发布。这次的信息,是有关 HTC 智能保护套所支持的新的机型名单。在新的名单中,除了保护套新增支持Butterfly 2以及老款Eye机型外, HTC  W8也位列其中。另据之前的消息称, HTC  W8将由美国运营商Verizon推出,运行全新Windows Phone 8.1操作系统。在外观以及硬件设计上,基本会沿用之前 HTC  M8的配置,3D Duo Cameras

  9月30日消息,据国外新闻媒体报道,日前有消息称,英特尔明年将对迅驰等部分处理器进行重新命名。 今年8月有消息称,英特尔将于2008年1月1日起对几乎全线处理器进行重新命名。睿2,酷睿2双核、酷睿2四核和酷睿2 Solo将统一命名为“酷睿2”,而奔腾系列的Pentium Dual Core和Pentium D则统一到“奔腾”名下;服务器处理器“安腾2”则将简化为“安腾”。 但9月中旬又传出消息称,据消费者反馈,上述更名计划并未达到简化命名的目的。因此,英特尔决定暂时搁浅以上计划。不过,Viiv和VPro平台的更名计划不变,届时仍将更名为Core 2 Viiv和Core 2 VPro。 但据一手消息显示,从明年1月1日起,迅驰Du

  锤子的坚果手机刚刚发布没多久,关于锤子手机2代的配置信息就被曝光,安兔兔目前公布了锤子一款新产品的工程机配置信息,该机非常有可能为锤子手机2代“锤子T2”,跑分为47872分。 疑似锤子T2工程机跑分及配置曝光(图片引自微博) 锤子T2工程机跑分47872(图片引自微博)   根据安兔兔公布的信息,锤子T2代正面会采用1920x1080像素的5英寸屏幕;搭载高通骁龙808处理器,辅以2GB运行内存+32GB存储空间;摄像头组合为前置500万像素+后置1300万像素;运行基于Android 5.1的锤子系统。  编辑点评:锤子T2的硬件配置相比锤子T1确有提升,但幅度不是很大。从T1的四核骁龙801升级为

  作为中国自主研发的手机中不将就的代表作,一加手机一直以来都让粉丝们惊喜不断。无论是外观还是配置,一加手机从始至终保持着高水准。目前有关于一加全新旗舰一加6的消息层出不穷,这次在配置方面,一加6貌似又默默地达到了空前的高度。 一加6跑分 从国外跑分网站Geekbench的数据库来看,一加6型号为NS P7819,搭载了骁龙845处理器,拥有8GB运存,运行Android 8.1操作系统。单核成绩在2500左右,而多核成绩为8672。这样看来基本是秒掉了刚刚发布没多久的三星S9,真的是给国产长脸! 一加6渲染图 至于这款手机的具体配置,从目前曝光的消息来看,一加6配置采用一块6.28英寸18:9全面屏,分辨率达

  21天学通HTML+CSS+JavaScript Web开发-第7版(带目录)

  中的图像传感器和信号处理

  MPS电机研究院 让电机更听话的秘密! 第一站:电机应用知识大考!跟帖赢好礼~

  电源小课堂 从12V电池及供电网络优化的角度分析电动汽车E/E架构的趋势

  家庭自动化系指利用微处理电子技术,来集成或控制家中的电子电器产品或系统,例如:照明灯、咖啡炉、电脑设备、保安系统、暖气及冷气系统、 ...

  视频监控就是智能家居的眼睛。可能我们第一步想到的是家里室内机的显示屏可以显示到访的客人,是的,这就是它们结合成果之一。这里视频监控与 ...

  智能家居又称智能住宅。通俗地说,它是融合了自动化控制管理系统、计算机网络系统和网络通讯技术于一体的网络化智能化的家居控制管理系统。衡量一个 ...

  声音本来就是最天然的人机交互方式,但在之前漫长的时间里面,受限于语音识别,人工智能网络宽带等因素,并没有成为主流。但从2017年开始, ...

  01 概述逆变器在电动汽车和混动汽车中发挥着及其重要的作用。其基本功能是将车载电池组提供的直流电转换为三相交流电,用于汽车的电机。此外,在 ...

  站点相关:嵌入式处理器嵌入式操作系统开发相关FPGA/DSP总线与接口数据处理消费电子工业电子汽车电子其他技术存储技术综合资讯论坛电子百科


首页
产品
新闻
联系