: 让眼睛变成控制按钮,工程师造低成本眼动追踪眼镜

2019-03-13 08:22:19 来源:EEFOCUS
标签:

幸运农场绝招 www.qxwt.net 2019 Hackadayprize中国区赛事正在火热报名ing,我们将为大家介绍在过去几届Hackadayprize中获奖的作品,希望能给你带来启发!快点来报名参赛,12.5万美元的终极大奖在等你认领:https://www.cirmall.com/hackadayprize_2019

 

目前,在不让用户用手提供输入的情况下控制机器是非常困难的。 另外,在没有复杂输入设备的情况下在空间中指定位置可能非常困难。 该系统通过允许用户仅通过查看位置来指定位置,从而为该问题提供了新颖的解决方案。

 

 

通常,eyetracking解决方案非常昂贵且不是开源的,限制了它们用于创建者将它们集成到新项目中的用途。 本解决方案是完全开源的,易于构建,并将为有兴趣使用这种迷人和强大技术的制造商提供各种各样的选择。

 

本系统通过在工作表面和两个摄像机上使用一组定点激光信标来实现这一点。 一个摄像头看着用户的眼睛,另一个摄像头期待看到用户正在看什么。 眼睛相机通过捕获用户眼睛的红外反射,计算人类用户注视的方向,然后定义“看向量”来操作。 前置摄像头识别工作表面上的定点信标,测量每个视频帧中信标之间的像素距离,并定义用户相对于工作表面的位置。 使用来自两个摄像机的信息,系统将“观察矢量”映射到工作表面上,从而简单地通过观察将用户期望的空间位置传送到机器。

 

下面显示了一个流程图,显示了系统的所有不同部分如何协同工作。

 

 

制作

器件列表:


1、制作眼动跟踪眼镜

 

2、从相机外壳暴露PCB
你需要两个摄像头。 拆开他们。


卸下前挡板,然后拧下固定在摄像机外壳前面的三个固定螺钉。


还有两个螺丝将PCB固定在后壳上。一旦PCB从外壳中脱离,使用一对锡剪或剪线钳将外壳从USB线上切下。 小心不要损坏USB线。

 


一旦将两个PCB从外壳中取出,每个相机在安装到眼镜上之前都需要进行一些修改。

 


3、前置摄像头修改
在使用前置摄像头之前,需要使用不同的镜头和镜头卡口进行修改。

 

您可以3D打印镜头卡口。 可以在此处找到STL文件: https : //goo.gl/PNbTHv

 

镜头可以在这里购买: https : //goo.gl/cxPK4H

 

两个螺钉将安装座固定在PCB上,位于PCB背面。

 


4、面对眼睛相机修改
在可以使用面向眼睛的相机之前,需要进行多次修改。

 

首先,拆除麦克风并将其从PCB上拆下,否则会干扰玻璃。

 


接下来,用红外LED替换绿色LED(PCB上的D1)。 IR LED可以在这里购买: https : //www.digikey.com/short/jf1q47

 

并用75欧姆电阻替换电阻(PCB上的R22)。 电阻可以在这里购买: https : //www.digikey.com/short/jf18pt

 


接下来需要在镜头后面安装滤镜。 该滤光器阻挡可见光,并且仅允许来自LED的IR光被图像传感器检测到。 从5/16“方形的板材上切下一块过滤材料。过滤材料可以在这里购买: https : //www.amazon.com/Lee-Filters-87C-P3-Infrared-Polyester/dp/B00EPXQ8OA

 


从PCB上卸下镜头卡口。


将滤光片方块安装在镜头后面。


将镜头座重新安装到PCB上。


5、将前置摄像头安装到眼镜上
切割一块3/8“厚的1.6”x 2.0“木块,在中心钻一个0.54”的洞。 如果需要,调整孔尺寸,以便3D打印的镜头支架可以很好地压入孔中。 用小木螺钉将木质底座连接到眼镜上。 预钻眼镜和木材,使它们不会开裂。


从相机上的镜头座上拧下镜头,将镜头座与孔对齐,然后轻轻按下以将相机固定在木块中。


更换镜头并检查显示器上的焦点。 转动或转出镜头以调节焦距。

 

此外,某些类型的泡沫胶带应放置在前置摄像头PCB的背面,以?;び没馐苌阆裢凡娜攘?。

 


6、将眼动追踪相机安装到眼镜上
下一步需要在开始之前进行一些测试。 为了将眼动追踪相机安装在正确的位置,您必须将眼镜放在脸上,打开相机,并在显示器上查看此相机的视频输入。 将相机从眼镜外部对准您的眼睛。 您想要看到的是您的眼睛的红外反射,理想情况下,您希望在直视前方时看到反射的“点”出现在视频帧的中间。 如果点显示在框架边缘附近,请移动相机,直到点位置接近居中。

 

在不移动相机的情况下,取下眼镜并标记镜头位于眼镜外侧的位置。 在这个位置向眼镜钻一个0.40英寸的孔。注意:这个项目假设相机将在左眼上方。

 

 

接下来,在孔旁边放一小块Loctite Fun-Tak安装腻子,从镜头上拧下镜头,然后将镜头支架压入孔中,将相机PCB压入腻子。 更换镜头。

 


7、最后的步骤
使用拉链系统管理相机的线缆。

 


使用防震绳(弹力绳)使眼镜紧贴脸部。 使用眼动追踪时眼镜不应移动,否则校准将丢失。 根据您使用的品牌眼镜,您可能需要为电线钻孔。


未来的计划:

校准改进:

具有用于漫射光束的遮蔽胶带的红色激光已被用于表面的位置,用户的凝视将被映射到该表面上。 这将极大地改善校准并允许用户的注视作为用户输入馈送到计算机中。 可以使用任何表面,包括非常大的地板或仓库。

 

校准将转换为涉及用户查看移动点的工作流程。 将根据尚未实施的统计算法自动删除不良校准值,但将涉及校准点距离最后校准点的距离和方向的基本规则。 将删除距离上一个校准点两倍以上的校准点(后续输入将被插值,或者将要求用户重复校准),此外任何校准点与最后一个点的方向相反将被删除。

 

眼动追踪记录和分析:

目前没有记录眼动追踪数据。 添加了自定义构建日志库以解决此问题。 还需要记录视频,以便将用户的视线映射到特定图像或视频上以供进一步分析。 这意味着需要将视频记录在一起,以便将视频映射到由包含用户眼睛注视的系统创建的文件。 在静态UI分析的情况下,可以编写R脚本以提供热图。

 

机器寻址和控制:

该项目的最终目标是能够与机器进行交互,将其末端影响器(或机器本身)引导至某个位置。 这是解决免提问题的一个极其困难的问题。 通过这样做,用户将能够在不将他们的手从当前任务中移开的情况下指引机器。

 

目前,概念验证围绕移动修改的拾取和放置机器以基于用户的眼睛注视来拾取和移动块。 有关更多信息,请参阅github上的分支机器控制 。

 

许可:

该项目对所有软件和硬件使用Apache License Version 2.0(APLv2)。 这个软件可以在商业上使用,但良好的开源礼仪是:信用到期,所以请在使用时提及使用该软件。

 

该项目还使用以下第三方开源库: AForge.net和EMGU.net (OpenCV的包装库)该项目还使用了NVidia CUDA。

 

如果你对这个项目感兴趣,想获取完整信息请访问:

https://hackaday.io/project/153293-low-cost-open-source-eye-tracking

 

与非网编译内容,未经许可,不得转载!
 

有人说硬件技术将很快达到极限,而在我们看来,硬件创新,尤其是中国硬件工程师的创新,还远未走到尽头,而只是刚刚开始。作为致力于为全球硬件开发者提供技术共享服务的平台,与非网母公司SupplyFrame旗下最大的全球硬件开发者社区Hackaday.com已连续五年举办全球硬件开发者大赛Hackadayprize,有超过3000多个硬件团队在这个赛事中互动交流、切磋技艺。

 

 


这个《硬件改变世界》系列,我们挑选在前几届Hackadayprize大赛中获奖的优秀作品加以展示,硬件技术可以多有意思,硬件开发者可以多有创意,从这些作品中你可以看到。

2019年3月,Hackadayprize中国区赛事将隆重开启,我们很期待看到国内的硬件开发者大开脑洞、大展技艺。你准备好了没,与来自全球的硬件开发者同台PK?

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
Varjo工业混合现实头显XR-1亮相:在真实与梦幻中自由穿梭

这款售价为6000美元的工业头戴式设备为3D模型和设计提供完美的retina渲染,并打造成为一款混合现实头显。

工程师造了一款混凝土扬声器,玩出别样艺术感
工程师造了一款混凝土扬声器,玩出别样艺术感

在许多场合,比如赛车运动、太空探索、可穿戴设备上,东西越轻越好。但是,当你想要防止物体的震动、阻止物体四处移动时,或者让事物变得有一种重量感时,就该反其道而行之了。比如机床、铁砧或者扬声器一类的东西就是这种情况?;谡庵掷砟?,[SoundBlab]打造了一个浇灌了混凝土的扬声器。

会自动收衣服的晾衣绳

本项目有两个传感器作为探测器,即雨量传感器和LDR。雨量传感器功能可以检测是否发生下雨。

工程师自研PCB原型快速设计,方法之巧妙让人咂舌?
工程师自研PCB原型快速设计,方法之巧妙让人咂舌?

看到用一个石墨铅笔芯和9V电池切割铝箔的把戏之后,我们想知道能否通过相同的方式切割空白PCB上的铜进行PCB原型快速设计呢?事实证明可以做到这一点,但是需要克服一些挑战。目前我们并没有实际投入到这个项目的开发上来,但是我们希望读者们能够受到启发。

定制一个自己的机械数字键盘吧,这位工程师把所有硬件细节都开源了
定制一个自己的机械数字键盘吧,这位工程师把所有硬件细节都开源了

[Mattia]将自己的作品命名为YamPAD,它是‘只是另外一个机械数字键盘’(Yet Another Mechanical numPAD)的简写。这个项目的一个主要目标是制作一个可供他人轻松复制和定制化的设计原型。

更多资讯
语音助手前景不乐观,近一半用户从不使用

SUMO Heavy发布的一份新调查报告显示智能手机上语音助手使用率低于之前的预期。

徕卡CEO:向软件转型迎接第二次数码革命

相机市场日渐萎缩已是一件人所共知的事情,可在过去5年里徕卡一直逆市增长,今天年销售额超过了4亿欧元,其CEO Matthias Harsch在接受德国媒体透露了徕卡最新动态

鹬蚌相争渔翁得利,美的夺得618空调销售第一

正逢618大促,格力的举报似乎也直接影响到了奥克斯的空调销售情况,截止6月18日8:43分,京东618空调销量榜显示格力空调销售额反超奥克斯。

高盛:科技股风险升高,可以考虑出货

美国投资银行巨头高盛警告,科技股的监管风险以及估值过高,将对这些科技公司的基本面形成压力,现在是考虑减码高成长性科技股的时机了。

华硕施崇棠:企业无法影响环境,只能自强自立

计算机品牌大厂华硕董事长施崇棠表示,从现在来看,贸易战已经逐渐转变成为科技战,企业只能自强;至于个人计算机的主体,也是转由手机取代了计算机,计算机所重视的是性能。