《仿鹰眼视觉及应用》系统深入地阐述了仿鹰眼视觉原理、理论、模型、方法、技术、系统及典型应用。《仿鹰眼视觉及应用》共10章，首先概述了仿鹰眼视觉技术的新进展，在分析鹰眼生理结构和功能特点的基础上，研究并建立了鹰眼视觉理论模型，分析了鹰眼-脑-行为的通路特性，设计并实现了仿鹰眼-脑-行为视觉成像系统。针对目标识别、特征提取等关键技术难题，提出了仿鹰眼视觉强视力智能感知方法，并通过空中加油和自主着舰等典型应用场景验证了相关技术。《仿鹰眼视觉及应用》突出前沿学科交叉，强调问题驱动和工程应用背景，力求使广大读者能快速掌握和应用仿鹰眼视觉的理论、模型、方法和关键技术。

第1章 绪论
1.1 引言
大约在5.4亿年前，生物进化出了眼睛，而眼睛的出现使得生物可以看到并寻找猎物、躲避危险，从而改变了物种的生活方式，也引发了寒武纪生命大爆发。2017年，德国科隆大学的Schoenemann等在爱沙尼亚共和国北部的Lükati组地层中一枚距今约5.3亿年的古化石上，发现了“可能是目前能找到的*古老的眼睛”[1]。该化石属于一种早已灭绝的三叶虫，这只三叶虫的眼睛由大约100个小眼组成，其古老的眼睛形态在今天的螃蟹、蜜蜂和蜻蜓等动物身上还能见到。有学者认为“约5.4亿年前出现的三叶虫可能是**批演化出真正眼睛的动物”，还有学者认为“眼睛的出现是寒武纪生命大爆发的主要原因”。
从进化论角度而言，眼睛的出现的确是生物进化的一大里程碑，因为它彻底改变了有生命物种的活动模式和自然法则。在眼睛出现之前，自然界中的生物形态是温和而驯服的，眼睛的出现则意味着一个充满残酷竞争的世界拉开了序幕。眼睛使许多生物成为主动猎食者，这极大加快了生物进化的步伐。经历了漫长的历史进化，*初简单的感光细胞一步步进化成如今各种各样的复杂且**的视觉系统。视觉系统已经变成了几乎所有动物**的感知系统，在获取到的信息中，80%的感知信息是通过眼睛获取到的。快速准确处理复杂事物的能力是生物视觉系统在数亿年岁月中锻造而成的强大功能，而研制具有强智能感知能力的仿生光学系统则是科学家们孜孜不倦的追求目标。
从20世纪80年代初Marr 提出视觉信息处理框架以来[2]，光学系统多以传统的计算机视觉理论为指导，计算机视觉相关理论和技术经过多年的发展逐渐成熟完善。但在面临复杂的自然环境时，光照、遮挡、图像分辨率等因素的影响导致目标特征不稳定，许多视觉任务(如物体边缘检测、空间位置估计、运动跟踪以及目标探测和识别等)对于计算机来说仍然是亟待攻克的难题，而复杂的目标检测和识别问题对于生物视觉系统来说却是非常简单的任务。仿生视觉技术是一种从生物视觉系统的作用机理出发，模拟构建相似功能和结构的技术手段。早在20世纪50年代，生物学家们开始研究生物的视觉处理机理，通过一些生理学实验发现了生物大脑的初级视觉皮层有各种各样的面向视觉信息处理功能的细胞[3]。由此也拉开了对生物视觉系统的机理和仿生技术的研究序幕。
在生物视觉机理及仿生技术方面研究较多的是人、鹰、蝇、蛙以及鱼等生物的视觉系统[4-7]。不同生物的眼睛外形如图1-1所示，生理结构及功能特点对比[8]如表1-1所示。从对比数据可以看出，鹰眼在生理结构和功能特点上与其他生物的眼睛有着明显差异，不同生物的视觉系统在视网膜(Retina)结构、视场范围、运动敏感性等方面具有明显不同，而这是由生物的生存环境和捕食需求等所决定的。
(a)鹰眼(b)人眼(c)蝇眼(d)蛙眼(e)鱼眼
图1-1 不同生物的眼睛外形
表1-1 生物视觉系统生理结构及功能特点对比
在所有动物中，鹰的视觉系统****，具有灵敏度高、视场大、探测距离远以及识别精度高等优点。人眼为球状的单眼，由视网膜、晶状体、睫状肌、角膜等部分组成。光线经过角膜、晶状体等处理后聚焦到视网膜上，在人眼的视网膜中只有一个黄斑区，是视力*敏感区。人视觉系统的各种视觉特性由视网膜上各层神经细胞(如负责视觉和色觉的视锥细胞)的活动及视觉信息处理的机制决定。平行向前的双目结构使得人眼具有双目立体感知特点，视场范围一般为180°。蝇眼为复眼结构，由许多简单的小眼有规律地组成。蝇眼通常由3000多只小眼组成，小眼视觉结构虽然简单，但组成的复眼却能出色地完成各种视觉检测任务。每只小眼都是一个探测器，具有一定的探测角度，组合起来的复眼呈两个半球对称地分布在头部两侧，因此具有较大的视场范围。由于小眼的特殊结构和分布特点，蝇眼不能通过肌肉调节感知方向和实现变焦功能，视距较短。蛙眼具有圆球形结构的晶状体，视野较开阔。同时蛙眼具有独特的视网膜结构，其神经细胞分成多类，具有不同的分工属性，其中一类只对颜色特征有反应，其余则只对运动目标的某个特征有反应并且能分别选取相应的特征响应输送到大脑视觉**进行进一步的特征处理。蛙眼的这种生理结构可将复杂的图像信号分解成不同的易于判断的特征信号，从而提高目标检测的准确性和效率。也正是由于这种特殊的结构特点，蛙眼对运动目标感知能力较强，可判断出目标的位置、运动方向和速度等信息，但对静止物体反而不敏感。鱼眼通常位于头的两侧，由于大多没有眼睑而不能闭合，其视觉调节靠晶状体位置的前后移动，而不是靠改变晶状体的凸度。鱼眼的视场范围较大，单眼的视场角可达180°。鱼眼晶状体为圆球形，由于其部分功能退化，视距较短，只能看到较近的物体。
猛禽是鸟类生态类群中的一个重要类群，是传统鸟类分类系统中隼形目(Falconiformes)、鹰形目(Accipitriformes)和鸮形目(Strigiformes)的统称。猛禽包括鹰、雕、鵟、鸢、鹫、鹞、鹗、隼、鸮、鸺鹠等次级生态类群[9] ，这些类群均为掠食性鸟类，处于食物链的顶层，个体数量少却扮演十分重要的角色。隼形目主要包括隼(Falcon)、鹫等白天活动的猛禽[10] ，鹰形目主要有鹰科、蛇鹫科、鹗科与美洲鹫科四科[11] ，包括雕(Eagle)、老鹰(Hawk)、秃鹰(Vulture)等，鸮形目则主要包括猫头鹰(Owl)等夜行猛禽[12-14]。由于猛禽具有极其相似的视觉系统结构和特性，尤以鹰*为大众熟知，因此本书中采用“鹰”这一名词泛指所有的猛禽，不再严格区分具体的生物学种类。
1.2 仿生视觉技术与系统
随着现今光机电微系统技术的迅猛发展，人们对光学成像系统的要求越来越高，如导航系统、微型广角监视设备、内视镜等领域，要求整个系统的体积小、重量轻、视场大以及灵敏度高。传统的光学元件微透镜的焦距**，限制了光学成像过程中图像信息的获取，只能对单一景深处的目标物清晰成像，严重丢失了不同景深范围内目标物的信息，不利于对未知不同距离处的目标物进行探测。仿生学从诞生之初，就属于生物科学与技术科学之间的交叉学科，涉及生物学、生物物理学、生物化学、物理学、控制论、工程学等多个学科领域。近年来，人工智能技术研究不断深入并在工程应用领域获得诸多突破，高新技术的不断发展正改变着人们的生活方式。国务院2017年发布的《新一代人工智能发展规划》中明确指出，人工智能是**未来的战略性技术。新一代人工智能相关学科发展、理论建模、技术创新、软硬件升级等整体推进，正在引发链式突破，推动经济社会各领域从数字化、网络化向智能化加速跃升。在移动互联网、大数据、**计算、传感网、脑科学等新理论新技术以及经济社会发展强烈需求的共同驱动下，人工智能加速发展，呈现出深度学习、跨界融合、人机协同、群智开放、自主操控等新特征。作为人工智能核心基础理论，智能感知是实现智能化的重要基础。
仿生技术主要研究生物系统的结构和性质以为工程技术提供新的设计思想及工作原理，通过对各种生物系统的功能原理和作用机理建立生物模型，*后实现新的技术设计并制造出更好的新型仪器、机械等。仿生感知与信息处理技术作为其中重要的分支，研究和模拟生物体中感觉器官、神经元与神经网络以及****的智能活动等方面的信息处理过程，进而构造实用的人造硬件系统。对于仿生视觉系统装置的研究，学术界也获得了一定的进展，研制了包括仿人眼、仿鱼眼、仿蛙眼、仿昆虫复眼等的装置和系统。西北工业大学李言俊等通过仿生技术方法，将鲎复眼、蝇复眼和人眼视觉系统的信息处理技术应用于成像制导系统[15]。上海大学郑丽丽等研制了一个嵌入式的基于仿生控制的仿生眼球系统[16] ，该系统可识别出运动目标并计算出目标的位置参数，通过串口发送给眼动控制模块。东京工业大学张晓林根据人眼生理解剖结构研制了单眼和双眼实验装置，用两组广角镜和望远镜作为仿生双眼，其中望远镜模拟**凹视觉、广角镜模拟周边视觉[17]。美国东北大学Pavel 等和上海大学张丽薇等将仿生视觉系统和技术应用于航空航天领域，实现航天飞机和旋翼无人机等飞行器的着陆任务[18，19]。
根据鱼眼原理制成的鱼眼镜头是一种视场角接近或超过180°的短焦距超广角镜头，当从镜头到物体的距离较小时，仍然可以提供对物体的完整视图，这种镜头的前镜片直径很短，呈抛物状，向镜头前部凸出，和鱼眼很相似。鱼眼镜头在使用中往往存在镜头畸变，主要分为径向畸变、偏心畸变和薄棱镜畸变[20]。为了将鱼眼镜头的实际成像点恢复为理想像点，要建立理想像点与畸变图像对应像点间的关系，即对畸变进行几何校正。畸变几何校正的主要方法有：映射法、经纬度法、比例缩放法和支持向量机回归算法等。鱼眼镜头能够获得很多特殊的成像效果，在广告中拍摄大场面时有独特应用，特别适用于拍摄圆形景物。基于鱼眼镜头的球幕电影院放映视场接近180° ，使观众感到自己仿佛置身所放映的自然场景中。在重要区域安装鱼眼式摄像机还能完全无盲区地实现监视、摄像和记录。
1963年美国无线电公司应用研究实验室的Herscher 和Kelley 用电子线路研制了由七层部件构成的并联电路组成的蛙的视网膜模型[21]。中国科学院谢剑斌等在研究蛙眼视觉行为的基础上发明了一种电子枪[22] ，自动射击向预定方向运动的目标，而当目标反向运动时则不射击。此外，烟雾检测仪也是仿蛙眼原理设计出的一种装置。根据蛙眼分别抽取图像特征识别特定目标的视觉原理，构造蛙眼视觉感知模型[22]。像蛙眼一样，把目标区域分解成几种易于辨认的特征，经过多特征融合快速、准确地识别出视野中的特定目标，有效地预定搜索目标，从而敏锐迅速地定位烟雾区域。
对昆虫复眼视觉研究的早期工作从现象学和行为学两个角度开展，如麻省理工学院Poggio 等开展的家蝇视觉引导飞行跟踪的视动反应行为实验[23]。近些年，对昆虫复眼的研究则主要从模拟复眼的视觉成像系统和模拟复眼视觉系统所具有的快速定位功能两个方面进行。美国丹佛大men等根据蝇神经功能提出了运动检测“细胞”模型[24]。德国夫琅禾费应用光学和精密机械研究所Duparré等制造了一种厚度仅为0.4mm、视场角可达70°×10°的人工复眼成像系统[25]。中国科学院生物物理研究所在贝时璋院士指导下开展了昆虫复眼的仿生学研究，研制出了平板型复眼透镜[26]。西北大学高爱华等设计了基于聚焦平面微透镜阵列和CCD 器件的多孔径光学仿复眼系统，实现了并列型复眼的图像采集功能，利用平面微透镜阵列的多重成像模拟并列型复眼的“镶嵌像”[27]。天津大学李文元等采用计算机技术与生物科学结合的方法，研制了模拟昆虫复眼的视觉系统[28，29]。北京理工大学王永松等根据复眼大视场的原理，开发了一个由6个透镜和6个CCD 组成轴线共面正六边形的环形探测阵列，并实现了探测单元的360°全视场[30]。
1.3 鹰眼视觉系统特点与发展概况
1.3.1 鹰眼生理结构及功能特点
在所有的动物中，鹰眼观察动物的敏锐程度名列前茅，且以视野宽、目光敏锐著称。实际鹰眼的外形照片如图1-2所示，从外形上来看，鹰的眼睛比较圆，晶状体扁平，但睫状肌发达，视觉盲区较小，可进行长短焦距转换，因此鹰的视觉结构有利于其飞行定位和目标捕获。鹰眼的视网膜结构与一般动物不同，鹰眼视网膜有两个高分辨率成像的核心区域，即正**凹区和侧**凹区，如图1-3所示，而人眼只有一个**凹。鹰眼视网膜中光感受器十分密集，密度远高于其他生物的视觉系统[31]。鹰眼的双目侧向分布结构使得鹰的视觉系统具有较大的视场范围，而且双**凹的结构使鹰眼具备多场景系统，双**凹区域可分别用于不同功能成像和图像处理。鹰眼独特的生理结构和功能特点使其与人眼、蝇眼、蛙眼及鱼眼等生物视觉系统相比具有无**拟的优势，鹰眼还具有对运动目标敏感、大视角、调节迅速等特点，其滤色系统也有助于识别目标，即便是翱翔在高空的雄鹰也能从复杂动态环境中迅速精准地发现并捕捉目标。
(a)前视(b)侧视
图1-2 实际鹰眼的外形照片
生理学研究表明，楔尾雕(Wedge-tailed Eagle)

目录 前言 缩略语对照表 第1章 绪论 1 1.1 引言 1 1.2 仿生视觉技术与系统 4 1.3 鹰眼视觉系统特点与发展概况 6 1.3.1 鹰眼生理结构及功能特点 6 1.3.2 视觉通路及功能描述 7 1.3.3 鹰捕食行为影响因素 11 1.4 仿鹰眼视觉技术研究现状 12 1.5 本书体系结构 16 1.6 本章小结 17 参考文献 17 第2章 仿鹰眼对比度感应机制的目标检测 23 2.1 引言 23 2.2 鹰眼对比度感应机制与特征计算 25 2.2.1 鹰眼对比度感应机制 25 2.2.2 局部对比度特征计算 26 2.2.3 目标检测算法流程 30 2.2.4 仿真实验分析 30 2.3 鹰眼对比敏感度函数与特征提取 36 2.3.1 对比敏感度函数 36 2.3.2 轮廓特征提取算法流程 38 2.3.3 仿真实验分析 42 2.4 本章小结 45 参考文献 45 第3章 仿鹰眼颜色拮抗与感受野轮廓提取 48 3.1 引言 48 3.2 鹰眼颜色感知与轮廓提取 50 3.2.1 鹰眼颜色感知 50 3.2.2 鹰眼轮廓提取 51 3.3 颜色拮抗与感受野特性模拟 52 3.3.1 颜色拮抗机制 52 3.3.2 核团感受野模拟 53 3.3.3 轮廓提取算法 57 3.4 仿真实验分析 58 3.5 本章小结 63 参考文献 64 第4章 仿鹰视顶盖响应的初级视觉注意 67 4.1 引言 67 4.2 鹰视顶盖信息处理机理 69 4.2.1 视顶盖生理结构 69 4.2.2 视顶盖与视觉注意的关系 70 4.2.3 鹰视顶盖神经元响应模拟计算 71 4.3 仿鹰视顶盖响应的初级显著图提取 72 4.3.1 鹰视顶盖响应统计特性分析 72 4.3.2 多颜色空间显著值计算 75 4.3.3 多颜色空间显著值融合 77 4.4 仿真实验分析 78 4.5 本章小结 85 参考文献 85 第5章 仿鹰视顶盖-峡核调制显著图提取 89 5.1 引言 89 5.2 鹰视顶盖-峡核神经联系 91 5.2.1 峡核信息处理 91 5.2.2 “胜者为王”网络 91 5.3 分层显著图提取 93 5.3.1 视顶盖-峡核回路模拟 93 5.3.2 显著图计算 95 5.4 仿真实验分析 96 5.5 本章小结 106 参考文献 107 第6章 仿鹰眼交叉**的动态目标感知 110 6.1 引言 110 6.2 鹰眼视觉交叉**特性 111 6.3 基于交叉**的多尺度运动特征计算 112 6.3.1 运动特征提取 112 6.3.2 特征分布差异性 114 6.3.3 多尺度特征综合 116 6.4 仿真实验分析 118 6.5 本章小结 125 参考文献 125 第7章 仿鹰眼-脑-行为视觉成像 128 7.1 引言 128 7.2 仿鹰眼-脑-行为视觉成像装置设计方案 130 7.2.1 成像装置结构 130 7.2.2 图像采集与控制系统 132 7.3 仿鹰眼-脑-行为处理单元设计与实现 135 7.3.1 实现算法 136 7.3.2 具体步骤 140 7.3.3 仿真实验分析 141 7.4 仿鹰眼双小凹光学成像系统设计与实现 146 7.4.1 双小凹光学成像系统设计 146 7.4.2 动态双小凹鹰眼仿生成像系统与自适应校正 147 7.5 本章小结 148 参考文献 149 第8章 仿鹰眼视觉的空中加油目标检测 151 8.1 引言 151 8.2 仿鹰眼视觉的图像颜色分割 153 8.2.1 鹰眼颜色感知机制 153 8.2.2 加油锥套合作目标设计 156 8.2.3 特征提取及匹配 157 8.3 仿鹰眼视觉的空中加油目标轮廓提取 159 8.3.1 仿鹰眼感受野机制的目标轮廓提取 160 8.3.2 仿鹰眼侧**机制的目标轮廓提取 162 8.4 仿真��验分析 163 8.4.1 图像颜色分割 163 8.4.2 目标轮廓提取 165 8.4.3 锥套特征点提取及匹配 166 8.5 本章小结 167 参考文献 168 第9章 仿鹰眼视觉的自主着舰导引 170 9.1 引言 170 9.2 仿鹰眼视觉着舰导引系统框架 172 9.2.1 自主着舰任务想定 172 9.2.2 仿鹰眼视觉导引系统结构组成 172 9.2.3 仿真平台总体框架 173 9.3 FlightGear着舰视景设计与仿真 174 9.3.1 FlightGear着舰视景配置 174 9.3.2 FlightGear与Matlab联合仿真环境 176 9.3.3 图像采集与目标检测 177 9.3.4 仿真实验分析 178 9.4 本章小结 186 参考文献 186 第10章 研究前沿与展望 189 10.1 引言 189 10.2 发展趋势 190 10.3 关键技术 193 10.4 本章小结 194 参考文献 194 CONTENTS Foreword Preface Abbreviation Chapter 1 Exordium 1 1.1 Introduction 1 1.2 Bionic Vision Technology and System 4 1.3 Feature and Development of Eagle-Eye Vision System 6 1.3.1 Physiological Structure and Functional Characteristics 6 1.3.2 Visual Pathway and Function Description 7 1.3.3 Influencing Factor of Eagle Predation 11 1.4 Research Status of Eagle-Eye Vision Technology 12 1.5 Organization of This Book 16 1.6 Summary 17 References 17 Chapter 2 Target Detection Based on Eagle-Eye Contrast Sensing Mechanism 23 2.1 Introduction 23 2.2 Eagle-Eye Contrast Sensing Mechanism and Feature Calculation 25 2.2.1 Eagle-Eye Contrast Sensing Mechanism 25 2.2.2 Local Contrast Feature Calculation 26 2.2.3 Algorithm Flow of Object Detection 30 2.2.4 Simulation Experimental Analysis 30 2.3 Eagle-Eye Contrast Sensitivity Function and Feature Extraction 36 2.3.1 Contrast Sensitivity Function 36 2.3.2 Procedure Flow of Contour Extraction 38 2.3.3 Simulation Experimental Analysis 42 2.4 Summary 45 References 45 Chapter 3 Contour Extraction Based on Eagle-Eye Color Antagonism and Receptive Field 48 3.1 Introduction 48 3.2 Eagle-Eye Color Perception and Contour Extraction 50 3.2.1 Eagle-Eye Color Perception 50 3.2.2 Contour Extraction Based on Eagle-Eye Vision System 51 3.3 Simulation of Color Antagonism and Receptive Field Characteristics 52 3.3.1 Color Antagonism 52 3.3.2 Simulation of Nuclei Receptive Field 53 3.3.3 Contour Extraction Algorithm 57 3.4 Simulation Experimental Analysis 58 3.5 Summary 63 References 64 Chapter 4 Primary Visual Attention Based on Eagle Optic Tectum Response 67 4.1 Introduction 67 4.2 Information Processing Mechanism of Eagle Optic Tectum 69 4.2.1 Physiological Structure of Optic Tectum 69 4.2.2 Relationship Between Optic Tectum and Visual Attention 70 4.2.3 Response Calculation of of Optic Tectum Neurons 71 4.3 Primary Saliency Map Extraction Based on Eagle Optic Tectum Response 72 4.3.1 Statistical Characteristic Analysis of Eagle Optic Tectum Response 72 4.3.2 Multi Color Space Saliency Calculation 75 4.3.3 Multi Color Space Saliency Fusion 77 4.4 Simulation Experimental Analysis 78 4.5 Summary 85 References 85 Chapter 5 Saliency Detection Based on Modulation of Eagle Optic Tectum and Nucleus Isthmi 89 5.1 Introduction 89 5.2 Neural Connection of Eagle Optic Tectum and Nucleus Isthmi 91 5.2.1 Information Processing of Nucleus Isthmi 91 5.2.2 Winner-Take-All Network 91 5.3 Hierarchical Saliency Map Extraction 93 5.3.1 Imitation of Optic Tectum and Nucleus Isthmi 93 5.3.2 Saliency Detection 95 5.4 Simulation Experimental Analysis 96 5.5 Summary 106 References 107 Chapter 6 Moving Target Perception Based on Eagle-Eye Cross-suppression 110 6.1 Introduction 110 6.2 Cross-suppression Characteristic of Eagle-Eye 111 6.3 Multi-scale Motion Feature Calculation Based on Cross-suppression 112 6.3.1 Motion Feature Extraction 112 6.3.2 Difference in Feature Distribution 114 6.3.3 Multi-