为了实现人机交互场景中按键矩阵的硬件通用化设计, 功能软件自定义设置、按键数量可扩展, 对OLED显示按键进行了研究, 并设计了基于OLED显示按键的按键矩阵。根据OLED显示按键的驱动原理, 设计了基于LPC1788控制器的按键矩阵电路原理图, 提出了基于硬件通用化设计方案,及各部分电路的工作原理。根据OLED显示按键的控制时序、状态变换, 进行了LPC1788控制器的固件设计, 以及OLED显示按键的上位机配置软件设计, 实现了显示文字、图片的软件可配置。对设计OLED显示按键矩阵进行了测试, 实现了硬件的通用化设计、按键功能可定义、可扩展设计。设计实现表明, 可以将OLED显示按键设计为人机交互场景中按键矩阵, 按键显示分辨率96×64像素, 180°视角, 调光范围0~250 cd/m2, 高清晰度、高对比度, 全屏幕显示, 通过软件灵活配置, 实现矩阵翻页设计, 扩展为更多的按键需求, 节省了结构空间。基于LPC1788的OLED显示按键矩阵设计, 共18个按键, 可实现18×N组按键的扩展, 稳定可靠、清晰度高、通用性强、外形美观、人机界面友好, 可以广泛地应用于车载、舰载、机载等按键需求的人机交互系统中。

针对现阶段激光器控制系统集成度不足,功能相对单一的现象,基于STM32设计了一种智能控制系统。系统搭载了基于EMWIN的人机交互界面,实现了脉冲激光器触摸屏控制。基于开发系统的高频时钟,产生多路脉冲宽度调制信号,实现了脉冲激光器的高精度控制:抽运电压0～1000 V连续可调;脉冲频率1～200 Hz多档位可调;脉冲宽度0～1000 μs连续可调,精度为20 μs。 电压与脉宽的调节均支持微调与粗调。系统搭载了温度传感器和超声波测距模块,能实时监控激光器工作温度和划分安全操作区域。同时设计了信号测量模块,采样频率为1～100 kHz。设计实现了激光器控制和测量的一体化,及激光器工作的过程控制与安全监控。

针对目前大多数控制方式都是局限于特定的控制场景，控制功能单一，不具备普适性、便捷性，且成功率与准确率较低的问题，提出了 2类基本的指令算法模型：连续型指令、布尔型指令算法模型。将各种不同场景下一个复杂的控制任务，通过功能分解、指令提取、模型匹配 3个步骤分解为上述 2类指令算法模型。模型以手部三维坐标点和手部姿态作为输入条件，实现状态跳转和指令输出。经过实际工作和对比得到，提出的手势控制策略可在多种情况下实现，且提出的算法具有较高的成功率、准确率和较好的鲁棒性、便捷性、普适性。

自然用户界面NUI的清晰、简洁、智能化的方式让用户体验更加直观,更为人性化。基于自然用户界面的应用设备层出不穷,手势识别这种操作技术占据了重要的位置。随着虚拟现实技术快速发展,人们的办公方式也发生了很大的变化。在幻灯片演示方面,传统的方式显得呆板,不能让人们自由使用动作。因此,文中提出一种使用手势来代替鼠标输入的方法,使用Leap Motion 控制器。经过试验,计算机的反应速度快,并能准确地辨别出有效手势,能够对幻灯片进行操作。

为实现步进电机控制器系统升级,深入探讨了S3C2440A在步进电机控制器人机交互接口中的应用.S3C2440A内部具有专用的触摸屏接口和LCD控制器,可方便实现与触摸屏和LCD的无缝连接.在介绍步进电机控制器结构的基础上,给出了S3C2440A与触摸屏和LCD的接口电路,并对其应用程序设计进行了详细分析.通过等待中断模式和X/Y坐标连续转换模式的结合实现触摸屏触点信息的采集,并介绍了触摸屏的三点校正方法,最后给出了示例代码.以320×240 TFT LCD为例,对LCD控制器的时序、缓冲区设置和显示数据格式进行了详细分析,同样给出了应用程序代码.最后,完成了系统运行实验.实验结果表明,S3C2440A与触摸屏和LCD接口方便,采用该结构可简化硬件系统设计,并减轻系统运行负荷.整个系统运行可靠.

利用手持彩色和深度摄像头(Kinect)作为图像采集设备, 在KinectFusion算法的基础上进行了扩展, 实现了一个人与虚拟屏幕直接触碰交互的增强现实系统。本文提出一种腐蚀膨胀的方法提取场景中的运动物体, 借助深度图采用分层渲染的方法实现虚实物体互遮挡效果, 最后采用一种体素碰撞检测的方法解决人与屏幕的碰撞检测问题。系统的实现过程中采取GPU并行处理, 显著提高了算法速度。

为便于工业应用，设计了具有人机交互界面的步进电机控制器。该控制器具有独立的编程指令。用户可通过PC机运行的程序编译软件完成应用程序的编写、自定义图像的选取及寄存器参数的设置。程序编译软件将上述信息通过串行总线传送给步进电机控制器，并保存在非易失性存储器中。步进电机控制器读取、解译并执行应用程序。该系统中配置有液晶显示器，实时显示操作信息；同时配有键盘，便于用户在工业现场修改应用程序或寄存器参数。整个系统以片上外设丰富的Cortex-M3核ARM芯片为核心，对系统指令、人机交互键盘、非易失性存储及LCD显示模块的设计进行了详细分析，并给出了系统设计显示结果。结果显示：LCD显示信息与用户按键命令同步，非易失性模块数据存储可靠，系统运行结果良好。

为满足人机交互系统中手势识别与理解的需要，提出一种快速、鲁棒的手势分割与指尖检测方法。手势分割通过肤色阈值分割、链码轮廓搜寻、自适应的边缘拟合三个步骤完成，可实现手势由粗到细的逐步精确分割。在手势分割基础上再通过手轮廓边缘的几何特征制定指尖检测算法，可实现多个手指的快速精确检测。实验结果表明，系统方法可行，在各种复杂背景、不同手指指向和运动速度下均能实现快速准确的手势分割和指尖检测，可为下一步人机交互系统中的手势识别和理解打下良好的基础。

为了给增强现实系统提供一种直接、自然及双向的交互手段,本文将视线跟踪技术和增强现实技术相结合,提出了基于视线跟踪的增强现实集成原型系统,该系统既能跟踪用户的视线方向,获得用户在场景的感兴趣区域,又能体现增强现实系统的特点。针对集成系统的基本要求,结合光学透视式头盔显示器的虚拟摄像机模型,详细介绍了系统的原理,光路设计和虚拟信息注册算法。实验结果表明,集成系统达到了良好的人机交互效果,为视线跟踪与增强现实技术的广泛应用奠定了良好的基础。