: 让眼睛变成控制按钮,工程师造低成本眼动追踪眼镜

2019-03-13 08:22:19 来源:EEFOCUS
标签:

幸运农场绝招 www.qxwt.net 2019 Hackadayprize中国区赛事正在火热报名ing,我们将为大家介绍在过去几届Hackadayprize中获奖的作品,希望能给你带来启发!快点来报名参赛,12.5万美元的终极大奖在等你认领:https://www.cirmall.com/hackadayprize_2019

 

目前,在不让用户用手提供输入的情况下控制机器是非常困难的。 另外,在没有复杂输入设备的情况下在空间中指定位置可能非常困难。 该系统通过允许用户仅通过查看位置来指定位置,从而为该问题提供了新颖的解决方案。

 

 

通常,eyetracking解决方案非常昂贵且不是开源的,限制了它们用于创建者将它们集成到新项目中的用途。 本解决方案是完全开源的,易于构建,并将为有兴趣使用这种迷人和强大技术的制造商提供各种各样的选择。

 

本系统通过在工作表面和两个摄像机上使用一组定点激光信标来实现这一点。 一个摄像头看着用户的眼睛,另一个摄像头期待看到用户正在看什么。 眼睛相机通过捕获用户眼睛的红外反射,计算人类用户注视的方向,然后定义“看向量”来操作。 前置摄像头识别工作表面上的定点信标,测量每个视频帧中信标之间的像素距离,并定义用户相对于工作表面的位置。 使用来自两个摄像机的信息,系统将“观察矢量”映射到工作表面上,从而简单地通过观察将用户期望的空间位置传送到机器。

 

下面显示了一个流程图,显示了系统的所有不同部分如何协同工作。

 

 

制作

器件列表:


1、制作眼动跟踪眼镜

 

2、从相机外壳暴露PCB
你需要两个摄像头。 拆开他们。


卸下前挡板,然后拧下固定在摄像机外壳前面的三个固定螺钉。


还有两个螺丝将PCB固定在后壳上。一旦PCB从外壳中脱离,使用一对锡剪或剪线钳将外壳从USB线上切下。 小心不要损坏USB线。

 


一旦将两个PCB从外壳中取出,每个相机在安装到眼镜上之前都需要进行一些修改。

 


3、前置摄像头修改
在使用前置摄像头之前,需要使用不同的镜头和镜头卡口进行修改。

 

您可以3D打印镜头卡口。 可以在此处找到STL文件: https : //goo.gl/PNbTHv

 

镜头可以在这里购买: https : //goo.gl/cxPK4H

 

两个螺钉将安装座固定在PCB上,位于PCB背面。

 


4、面对眼睛相机修改
在可以使用面向眼睛的相机之前,需要进行多次修改。

 

首先,拆除麦克风并将其从PCB上拆下,否则会干扰玻璃。

 


接下来,用红外LED替换绿色LED(PCB上的D1)。 IR LED可以在这里购买: https : //www.digikey.com/short/jf1q47

 

并用75欧姆电阻替换电阻(PCB上的R22)。 电阻可以在这里购买: https : //www.digikey.com/short/jf18pt

 


接下来需要在镜头后面安装滤镜。 该滤光器阻挡可见光,并且仅允许来自LED的IR光被图像传感器检测到。 从5/16“方形的板材上切下一块过滤材料。过滤材料可以在这里购买: https : //www.amazon.com/Lee-Filters-87C-P3-Infrared-Polyester/dp/B00EPXQ8OA

 


从PCB上卸下镜头卡口。


将滤光片方块安装在镜头后面。


将镜头座重新安装到PCB上。


5、将前置摄像头安装到眼镜上
切割一块3/8“厚的1.6”x 2.0“木块,在中心钻一个0.54”的洞。 如果需要,调整孔尺寸,以便3D打印的镜头支架可以很好地压入孔中。 用小木螺钉将木质底座连接到眼镜上。 预钻眼镜和木材,使它们不会开裂。


从相机上的镜头座上拧下镜头,将镜头座与孔对齐,然后轻轻按下以将相机固定在木块中。


更换镜头并检查显示器上的焦点。 转动或转出镜头以调节焦距。

 

此外,某些类型的泡沫胶带应放置在前置摄像头PCB的背面,以?;び没馐苌阆裢凡娜攘?。

 


6、将眼动追踪相机安装到眼镜上
下一步需要在开始之前进行一些测试。 为了将眼动追踪相机安装在正确的位置,您必须将眼镜放在脸上,打开相机,并在显示器上查看此相机的视频输入。 将相机从眼镜外部对准您的眼睛。 您想要看到的是您的眼睛的红外反射,理想情况下,您希望在直视前方时看到反射的“点”出现在视频帧的中间。 如果点显示在框架边缘附近,请移动相机,直到点位置接近居中。

 

在不移动相机的情况下,取下眼镜并标记镜头位于眼镜外侧的位置。 在这个位置向眼镜钻一个0.40英寸的孔。注意:这个项目假设相机将在左眼上方。

 

 

接下来,在孔旁边放一小块Loctite Fun-Tak安装腻子,从镜头上拧下镜头,然后将镜头支架压入孔中,将相机PCB压入腻子。 更换镜头。

 


7、最后的步骤
使用拉链系统管理相机的线缆。

 


使用防震绳(弹力绳)使眼镜紧贴脸部。 使用眼动追踪时眼镜不应移动,否则校准将丢失。 根据您使用的品牌眼镜,您可能需要为电线钻孔。


未来的计划:

校准改进:

具有用于漫射光束的遮蔽胶带的红色激光已被用于表面的位置,用户的凝视将被映射到该表面上。 这将极大地改善校准并允许用户的注视作为用户输入馈送到计算机中。 可以使用任何表面,包括非常大的地板或仓库。

 

校准将转换为涉及用户查看移动点的工作流程。 将根据尚未实施的统计算法自动删除不良校准值,但将涉及校准点距离最后校准点的距离和方向的基本规则。 将删除距离上一个校准点两倍以上的校准点(后续输入将被插值,或者将要求用户重复校准),此外任何校准点与最后一个点的方向相反将被删除。

 

眼动追踪记录和分析:

目前没有记录眼动追踪数据。 添加了自定义构建日志库以解决此问题。 还需要记录视频,以便将用户的视线映射到特定图像或视频上以供进一步分析。 这意味着需要将视频记录在一起,以便将视频映射到由包含用户眼睛注视的系统创建的文件。 在静态UI分析的情况下,可以编写R脚本以提供热图。

 

机器寻址和控制:

该项目的最终目标是能够与机器进行交互,将其末端影响器(或机器本身)引导至某个位置。 这是解决免提问题的一个极其困难的问题。 通过这样做,用户将能够在不将他们的手从当前任务中移开的情况下指引机器。

 

目前,概念验证围绕移动修改的拾取和放置机器以基于用户的眼睛注视来拾取和移动块。 有关更多信息,请参阅github上的分支机器控制 。

 

许可:

该项目对所有软件和硬件使用Apache License Version 2.0(APLv2)。 这个软件可以在商业上使用,但良好的开源礼仪是:信用到期,所以请在使用时提及使用该软件。

 

该项目还使用以下第三方开源库: AForge.net和EMGU.net (OpenCV的包装库)该项目还使用了NVidia CUDA。

 

如果你对这个项目感兴趣,想获取完整信息请访问:

https://hackaday.io/project/153293-low-cost-open-source-eye-tracking

 

与非网编译内容,未经许可,不得转载!
 

有人说硬件技术将很快达到极限,而在我们看来,硬件创新,尤其是中国硬件工程师的创新,还远未走到尽头,而只是刚刚开始。作为致力于为全球硬件开发者提供技术共享服务的平台,与非网母公司SupplyFrame旗下最大的全球硬件开发者社区Hackaday.com已连续五年举办全球硬件开发者大赛Hackadayprize,有超过3000多个硬件团队在这个赛事中互动交流、切磋技艺。

 

 


这个《硬件改变世界》系列,我们挑选在前几届Hackadayprize大赛中获奖的优秀作品加以展示,硬件技术可以多有意思,硬件开发者可以多有创意,从这些作品中你可以看到。

2019年3月,Hackadayprize中国区赛事将隆重开启,我们很期待看到国内的硬件开发者大开脑洞、大展技艺。你准备好了没,与来自全球的硬件开发者同台PK?

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
工程师用STM32F4造出最小音频合成器

Noise Nugget是一款紧凑型数字合成器,基于180MHz Cortex-M4和带耳机放大器的高品质音频DAC。

工程师为室内导航设计出“看不见”的二维码
工程师为室内导航设计出“看不见”的二维码

用于机器人室内导航的隐形二维码。 使用UV或IR照明可读的隐形标签。

音乐也开源,工程师制作电子木管乐器

在当今的数字乐器市场中,MIDI木管乐器控制器的选择非常有限。 该项目旨在将DIY开源版本带到普通制造商可以创建和播放的版块中

2019 Hackadayprize中国区赛事正在火热报名ing,我们将为大家介绍在过去几届Hackadayprize中获奖的作品,希望能给你带来启发!快点来报名参赛,12.5万美元的终极大奖在等你认领:https://www.cirmall.com/hackadayprize_2019 Hexabitz是一种新型??榛?

偏远地区必备,3D打印迷你垂直风力发电机
偏远地区必备,3D打印迷你垂直风力发电机

迷你垂直风力发电机,带尼龙扇叶,支持3D打印,铝制结构,电动机功率55瓦,可用作电流发生器或发电机。

更多资讯
什么样的人工智能生态才是适合中国的?

中国有哪些优势?需要怎样的人工智能创新生态?随着近期国家层面谋划出台一系列人工智能发展规划和举措,我国人工智能发展脉络更加清晰、生态更加优化。

三星Galaxy Fold安兔兔跑分曝光:勉强及格?

今天安兔兔微博公布了三星Galaxy Fold的跑分,显示综合跑分为36万分,三星Galaxy Fold搭载了骁龙855处理器,跑出这个分数属于正常水平,现在搭载骁龙855的旗舰机型跑分在37万分左右。

别急着用5G手机,大规模使用还有段时间
别急着用5G手机,大规模使用还有段时间

5G手机目前已经拉开了序幕,现在已经有几家厂商正式发布了5G机型,在2019年年底前,预计大部分手机品牌都会在这方面秀一下肌肉,甚至苹果为了不在5G方面落后,已经与高通方面和解。

三星Galaxy Fold问题大的很,可不仅仅是屏幕

三星对于自家的折叠手机还是非常谨慎的,或许是还不太完善,所以在此前的发布会上一直不肯让媒体上手。在经过几个月的等待之后,没想到三星Galaxy Fold还是翻车了。从外媒测试的反馈来看,很多问题都出现在屏幕上,三星也表示会积极解决问题。

TikTok走下神坛,短视频业务成了“成也萧何败萧何”
TikTok走下神坛,短视频业务成了“成也萧何败萧何”

印度市场之于中国科技企业,既是流淌着奶与蜜的应许之地,也是引得无数英雄竟折腰风光险峰。

电路方案