AI技术赋能遥感卫星数据在轨处理
王家耀 1,2颜军 3,4吴佳奇 3邓剑文 3董文岳 3张强 3龚永红 3蒋晓华 3张建辰 1,2胡胜华 5
1. 河南大学地理与环境学院2. 河南省时空大数据产业技术研究院(河南大学)3. 珠海航宇微科技股份有限公司4. 青岛科技大学数据科学学院 5. 广东省国土资源技术中心

文章授权转载：测绘学术资讯

摘要：遥感卫星数据在轨智能处理已成为遥感领域的前沿技术，是实现“星数天算”的有效技术途径。本文综述了当前国内外主流的数据在轨智能处理系统发展现状，分析了行业面对的问题，提出了天地一体的智慧星座系统架构，构建了一种集固有处理、信息提取、知识生成功能于一体的卫星数据在轨智能处理系统，探索了利用人工智能AI模型及算法以及星地一体化处理系统实施在轨信息提取和知识生成的方法。为验证上述系统框架和方法，利用高光谱卫星数据进行了船舶检测和林火火点检测及预警的仿真试验。试验结果表明该系统框架的总体设计是可行的，提出的在轨信息提取和知识生成的方法是有效的。提出的系统架构为卫星在轨信息提取及知识生成并最终赋予卫星在轨思考能力，提供了一种可行的技术路线。卫星在轨思考的能力取决于在轨处理系统的架构设计、信息提取和知识生成的AI模型和算法，而算法的好坏将依赖卫星数据地面计算中心对其的不断优化和长期的迭代。无疑，卫星在轨处理系统将对卫星地面系统的架构和算力提出更加苛刻的要求，长远来看，这将助力“星数地算”的快速发展。

引用：[1] 王家耀,颜军,吴佳奇,等. AI技术赋能遥感卫星数据在轨处理[J]. 测绘科学技术学报, 2024, 40 (6): 571-590.

对地观测是人们认识和保护地球的重要手段，商业卫星遥感的快速发展推动了行业需求的全面发展 [1] 。对地观测卫星利用星载传感器从太空探测目标地物，获取其反射、辐射或散射的电磁波信息(如电场、磁场、电磁波、地震波等信息)。卫星遥感(RS)技术具有覆盖区域广、持续时间长、不受空域国界限制等优势，已成为当前对地观测获取信息的重要技术手段，在地球资源探测、防灾减灾、环境保护等领域具有广泛应用。卫星对地遥感所获取的数据，需要对其进行一系列技术处理才能真正服务于各行各业。

卫星对地观测数据服务一般经历“数据获取—数据传输—数据地面接收—地面数据处理—专题生产—数据存储—数据分发及应用”等阶段和环节。其中，数据解压、编目、校正、信息提取等地面数据处理就需要历经数小时甚至数天的时间，这只能服务于对时间没有紧迫要求的应用场景。这种传统服务模式难以满足应急事件对于高时效的要求。

目前，面对频发的自然灾害和紧张的国际局势，高时效的对地观测及数据处理成为行业关注的重点，“及时准确”已成为应对突发事件的关键要求。因此，如何缩短数据传输、地面接收、地面处理、专题生产等环节的时间，使得用户能快速得到需要的信息或知识，已成为学界和业界关注的焦点。正是在这种情况下，基于卫星数据在轨处理系统的智能化遥感卫星逐渐发展起来。

遥感卫星数据在轨智能处理可追溯到2000年左右，以美国、欧洲为代表的研究机构，开展了卫星数据在轨处理的初步探索。但令人遗憾的是，宇航计算机芯片的算力一直难以匹配行业的需求，使得行业只能在轨处理简单的任务。直至2010年，空间计算技术开始得以发展，逐步应用于数据在轨处理。2020年，AI技术应用的成功，也促进了AI芯片及各类算法的发展，人们试图把地面高效的AI处理搬到太空中。

在当前遥感卫星种类和数量都在快速增长的情况下，应该探索一种“星数天算”和“星数地算”高效协同方式完成卫星遥感数据快速处理模式。这里的“星数”泛指卫星遥感数据，“天算”和“地算”分别泛指在轨卫星算力和地面系统算力。这种“天算”和“地算”协同处理的模式，将大幅提升卫星对地观测服务的时效性。

本文介绍了该领域国内外进展，分析了存在的问题和发展趋势；提出了天地一体的智慧星座系统架构及其核心组成部分；设计了卫星遥感数据在轨处理硬件工程及在轨处理算法实现和流程；介绍了卫星遥感数据在轨处理试验，并对试验结果进行了分析；最后进行了总结和讨论。

1 国内外研究进展

1.1 国外研究进展1.1.1 美国卫星遥感影像在轨处理进展

2000年，美国设计的 NEMO卫星搭载了美国海军研究所研制的星上处理载荷ORASIS(Optical Real-time Adaptive Signature Identification System),其核心为多个 DSP(Digital Signal Processing)处理器构成的图像并行处理阵列，能够实时对星上超光谱数据的特征进行提取、数据压缩等，将结果直接下行，服务地面应用 [2] 。同年11月，美国国家航空航天局发射了EO-1卫星，旨在对预先设定的目标进行自主观测，如在轨对感兴趣区域特征提取、变化检测等处理，缩短了星上数据下传耗时 [3] 。这一时期的研究探索了在轨处理应用的可行性和应用领域。

2009年5月，美国空军发射的战术卫星TacSat-3加装了星上自主处理器，具备自主规划星上超光谱成像仪采集方式、图像数据实时处理及存储等功能 [4-6] 。通过星上自主处理器对超光谱图像的实时处理，可在星上发现地面隐藏目标，从而获得战场周边更多信息，为飞机降落点的选择、地面车辆行动路线的规划等提供更多支撑。

为有效去除影像中的冗余背景数据，实现对感兴趣目标的检测跟踪及切片数据下传，美国“国防支援计划”在天基预警卫星搭载了星上数据处理器 [7] 。美国天基红外系统SBIRS(Space Based Infrared System)同时具备弹道导弹、战术导弹等多种目标的高置信度提取能力，并且可直接分发到战术端 [8] 。

2009年5月，美国国家航空航天局戈达德太空飞行中心(GSFC)推出了机载混合科学数据处理系统SpaceCube。该数据处理系统采用了商用抗辐射赛灵思Virtex FPGA技术，并将其与集成的失调检测和校正架构相结合，从而在计算能力方面比传统的辐射加固处理器有了10～100倍“数量级”的提升 [9] ;同时降低了相对功耗和成本。SpaceCube具有飞行数据处理系统，飞行中可重新配置；同时支持多达6块Xilinx Virtex5 FPGA,处理能力可达5 000 MIPS(Million Instructions Per Second, 每秒处理的百万级机器语言指令数) [10] 。这一在轨处理系统在当时初步具备了一定的应用价值，开始应用于国防领域。

2019年完成的SpaceCube v3.0系统，采用了Kintex超尺度现场可编程门阵列(FPGA)和Xilinx Zymg 芯片上多处理器系统作为核心处理单元，使得行业认可其灵活性、模块化、兼容性的特色，可以在多个应用场合中使用。

2018年2月，美国国防高级研究计划局启动“黑杰克”低轨卫星星座项目。该项目充分利用人工智能、低成本商业卫星平台及载荷、在轨大规模分布式计算等技术，通过星上自主分布式决策处理器，探索卫星数据在轨自主处理。在无地面运营中心支持的情况下，卫星可独立运行1个月，以满足全球范围内情报监视与侦察、指挥控制以及战术作战等多任务需求 [5-11] 。2022年，该系统成功完成星间光链路OISL(Optical Inter-Satallite Link)天基激光通信演示，在114 km范围内传输了约280 Gb数据，工作总时长超过40 min [12] 。这个实验，初步探索了在轨处理系统逐步应用于商业领域的可行性。

在卫星在轨处理领域，美国航天一直在持续推进数据在轨处理技术的探索和各个场合的应用。其研究主要聚焦在系统的灵活性、模块化、兼容性的设计，积极探索利用人工智能、低成本商业卫星平台及载荷、在轨大规模分布式计算等技术在在轨处理系统中的应用。

1.1.2 欧洲卫星遥感影像在轨处理进展

在欧洲，欧洲空间局的PROBA卫星和PhiSat-1卫星、德国空间中心的BIRD T卫星、法国空间中心的Pleiades卫星等，都在一定程度上对卫星遥感数据在轨处理进行了探索，在特征提取、数据压缩和分析等方面取得了一定的成果。

欧洲空间局在2000年左右启动了PROBA [13] 项目，并于2009年11月发射了PROBA-2卫星，其高分辨率成像光谱仪处理系统是一个DSP处理系统，具有星上光谱通道可编程能力，可以根据需要进行光谱通道的合并和在轨数据处理 [14] 。PROBA是欧空局第一个具有完全自主能力的航天器，主要执行导航、有效载荷和资源管理等日常任务，地面部分是高度自动化的，允许无监督的通过自动上行遥控、接收和处理遥测数据、提取有效载荷产品并将其分发到服务器 [15] 。

2020年9月，欧洲空间局发射的PhiSat-1是第一个展示人工智能如何用于地球观测实验——过滤掉由于云层覆盖而不太完美的图像，只传送可用的数据至地面站，其AI处理器是基于Myriad2的Movidius芯片和Ubotica的EoT硬件加速器(SectionIII-B) [16] 。

德国空间中心研制的BIRD T卫星于2001年10月成功发射，其星上处理载荷由FPGA、DSP等处理器组成，可对可见光、中波红外、热红外图像数据进行辐射校正、几何校正、特征提取、图像分类等在轨处理 [17] 。卫星控制系统允许卫星进行远程自主操作，同时以最高优先级确保卫星的生存能力。星载计算系统是一个分布式容错多计算机系统，它执行所有的控制、遥测和监测以及与应用程序相关的任务。为了实现高可靠性、安全性和寿命，机载计算机配置由4台相同的计算机(节点)组成。冗余控制计算机的结构是完全对称的，这意味着每个节点都能够执行所有的控制任务。其中两台计算机保持连续运行(一台为热冗余),另外两个节点为冷冗余 [18-20] 。2012年发射的TET-1(服务期至2019年9月)是轨道验证(OOV)计划中的技术演示卫星，装配了基于多光谱辐射计的热点识别系统(HSRS)。其焦距为 90.9 mm, FOV 为 19.6°,条带宽度为211 km, 地面像素宽度为42.4 km, 其目标是对野火和火山等 HTE(高温事件)进行检测和定量分析。TET-1系统核心计算模块是基于SPARC-V8架构的LEON-3-CPU 和 FPGA(RTAX-1000),其处理性能为20 MIPS [21] 。

法国空间中心研制的高分辨率光学卫星Pleiades-1A和Pleiades-1B [22] 分别于2011年12月和2012年12月发射，星上图像处理器利用FPGA实现图像数据的采集、校正、压缩等在轨处理 [23-24] 。可重构星载计算机以FPGA为核心，可依据星上任务进程自主调整电路结构进而动态改变星上计算机功能，利用单一处理器资源分时复用实现多处理器功能，可简化星上中心机配置数量和在轨升级机制，同时还在系统层增强了其对辐射损伤的应对能力。

在卫星遥感影像在轨处理领域，欧洲起步较早，也一直在持续推进数据在轨处理技术的探索。在其设计实施中，高速宇航处理芯片的使用并不多见，所以，其处理能力受到较大制约。

1.2 国内研究进展

针对星上遥感影像在轨处理，国内众多高校和科研院所也开展了大量研究工作。中科院软件所于2018年发射的“天智一号”卫星，是我国首颗在轨软件定义卫星，其主要载荷包括1台超分相机、4台大视场相机以及云计算平台。通过云计算平台智能调配计算节点，“天智一号”卫星可以在轨完成部分数据处理任务，并将处理结果下传地面。

2019年1月，长光卫星技术有限公司发射的“吉林号”光谱01和02星，搭载了遥感影像在轨实时智能处理系统，具备云雾检测、船舶识别等功能，并支持处理程序在轨上注更新。硬件平台选用TI公司的宇航级SMV320C6727B DSP作为主要运算单元，选用Xilinx公司的V5FX70T FPGA作为协处理器，实施可并行计算的高密度运算以及接口逻辑，DSP处理能力为1.5 GFLOPs(Giga Floating-point Operations Per Second, 每秒10亿次的浮点运算数)。在轨智能处理系统支持在轨重注(类似“平台软件+处理app”),可以通过更新应用层处理软件，实现算法的迭代优化，结合地面场景仿真系统，可以实现智能处理系统在轨快速“进化” 。

武汉大学正在研制的“珞珈三号”01星，主要任务是对星上遥感影像数据实时获取、高效压缩、智能处理等关键技术进行验证，探索天基遥感信息服务新模式。星上智能处理单元采用主备异构软硬件架构，主份硬件基于高性能GPU进行设计，配备开放软件平台(Linux),支持基于APP的在轨实时图像/视频处理；备份硬件基于FPGA设计，支持在轨常规压缩；同时主备通道均配置大容量固存模块，支持原始图像及处理后图像的在轨存储。在轨处理模式以任务位置信息为牵引，以目标/场景内容和变化事件为驱动，实现了在轨定位、影像产品生成、静动态目标信息提取、数据压缩等功能 。

西安空间无线电技术研究所利用大规模FPGA与多核DSP设计了星上处理系统，支持基于深度学习模型的目标检测与识别 。

西安交通大学设计了一种FPGA-DSP可重构异构计算单元，通过分时加载的方式，支持4类FPGA程序和6类DSP程序进行重构，从而实现辐射校正、云判、感兴趣区域信息提取等不同任务功能 。

北京理工大学星上图像目标实时处理分系统实现了实时目标检测和定位处理，处理延迟小于5 s, 检测和定位精度与地面实时处理相同。该系统采用模块化设计，基于FPGA+DSP异构并行，可在轨实现1 Gb/s速率数据的实时目标检测处理。系统功耗小于60 W。核心处理器选用了两片TI的高速定点DSPTMS320C6416-7E3/720,峰值运算能力为11 520×106乘累加/s [33-34] 。

山东航天电子技术研究所基于国产商用高性能神经网络加速器寒武纪创智2号，采用FPGA+CPU+NPU+DSP/GPU的处理架构研制了星上图像实时处理系统 [35-36] 。其整机典型功耗为 120 W,测试YOLOv3 网络对船舶、飞机、港口等重点目标进行检测，4 096×4 096像素图像处理时间为30 ms, 每类目标的识别率都达到 85% 以上， 平均检测精度mAP为0.64。

珠海欧比特卫星大数据有限公司基于玉龙810芯片构建了处理能力为72 TOPS(Tera Operations Per Second, 每秒万亿次操作)在轨处理系统，进行了在轨遥感智能处理的架构设计与实验验证工作，构建了天地一体的协同处理机制，形成了包括固有处理、信息提取、知识生成的计算框架，开展了船舶检测、林火检测等遥感应用测试。

在卫星在轨处理领域，中国航天及科研院所起步较晚，但起点较高。可能前几年宇航AI芯片没有面世，使得大部分研究没有能够利用此技术产品构建在轨处理系统。所幸的是，以玉龙810为代表的宇航AI芯片已经进入市场，这为中国航天下一步在轨处理系统的设计带来新的机遇。

1.3 存在的问题及研究目标1.3.1存在的问题

纵观国内外的发展，卫星在轨智能处理是技术挑战较强的领域，已经在部分领域取得了一定的进展，目前存在的问题包括：

1)遥感卫星在轨处理研究主要集中在单个卫星上，不能满足星座协同、星地协同处理等方面的需求，尚未实现星地协同一体化处理。

2)遥感卫星数据的固有处理技术相对成熟，但在实现需面向在轨处理时所需的轻量化、体系化方面，还需开展深入研究。

3)在轨处理研究主要集中在基于AI算法的星上解译，对地物的解译依赖于预先训练的模型，将在轨处理局限在遥感影像解译功能上没有实现卫星智能化处理和思考功能。

4)数据处理能力制约。一方面智能处理芯片是在轨处理能力的核心制约要素，目前的航天级芯片价格非常昂贵，产能有限。另一方面大量遥感地球观测任务存在多种计算模式、计算设备混合计算需求，亟需发展适应在轨模式需求的多模态异构计算体系。

1.3.2 研究目标

针对以上问题，本文从以下4个方向开展了探索。行业在呼唤高时效性的卫星服务，并希望实现如下目标：

1)完善的星地协同一体化处理。

利用星上数据处理直接在轨生成用户所需的信息并进行分发，满足高时效应用需求。在此基础上，地面处理系统接收到数据、信息和知识及相关模型和算法后，将继续进行更加精细全面的态势评估；并根据评估结果，进一步优化星上数据处理模型和算法，形成更加完整的知识体系和思考能力，并通过星地链路上注到星上数据处理平台，以完成模型算法优化更新、知识积累及思考，不断提升星上在轨处理的准确性、可靠性以及智能思考能力。

2)更加精确快速的固有处理能力。

在轨处理系统，配置轻量化的控制点库和周期性标定功能，必须具备更加精确快速的固有处理功能，包括但不局限于ROI数据截取、辐射校正、几何校正、光谱对准、正射校正、数据压缩等数据处理任务。

3)基于AI模型算法的信息提取和知识生成。

实时信息提取、目标检测和变化监测、知识生成等功能是在轨处理系统必须具备的功能。AI技术是实现上述在轨处理的重要发力点，但基于自然场景图像处理发展起来的深度学习模型并不适合遥感应用场景的需求。这就需要针对卫星遥感影像的数据特点和任务特点，研究适合卫星遥感影像在轨处理的深度学习模型、算法、计算流程、轻量化计算等问题，以及当前应用场景下，进一步拓展从信息到知识的处理应用。

4)大算力的硬件配置。

在轨处理系统必须配置大算力的硬件，即AI处理器芯片。面对大量遥感地球观测任务和低成本需求，工业级设备开始逐步应用于智能遥感近地轨道上的卫星，在轨数据处理的研究也逐渐开始探索边缘GPU,如 Jetson TX 2 (1 TFLOPs(Tera Floating-point Operations Per Second, 每秒万亿次浮点运算)) 和 Xavier NX (14 TFLOPs)。这些低成本的工业级芯片虽然显著提升了机载遥感数据处理能力，但仍亟需推进自主可控的国产高性能大算力宇航级处理器件(GPU、NPU等)的研制。完善星上处理平台硬件系统，配置高达60～200 TOPS处理能力的AI处理系统及可信软件架构，实现平台应用软件与底层硬件之间的良好适配，支持批量AI模型与算法和开放式的测试与应用，是在轨处理系统的理想选择。

2 星地协同一体化处理

2.1 星地协同处理架构

星地协同处理，除传统的解译模型之外，遥感卫星数据在轨处理还增设知识生成的处理功能，以形成知识积累的能力，实现卫星之间、卫星与地面中心之间的知识共享，通过持续的知识积累与提升，逐步提高卫星数据在轨处理的智能化程度，最终形成卫星及星座“思考”的能力，逐步实现如图1所示的智慧星座系统架构。

星地一体化智慧星座系统由卫星地面处理系统和多颗具备在轨智能计算的遥感卫星组成，各卫星之间、卫星与地面中心之间具备通信通道，地面可对卫星实施任务部署、功能调整。在空间资源制约下，单颗卫星可执行感知任务的空间范围和复杂度受到很大的制约。通过地面调度和部署，可以通过天地互补的一体化方式实现以下更强的空间感知能力。

1)通过地面调度，即采用上注指令与算法的方式更新与调整卫星智能处理功能，扩大单颗卫星智能感知的空间范围，增强卫星对复杂任务的适配性。

2)通过空间组网观测、协同作业，提升感知范围和频次，提高数据在轨处理的“覆盖度”,增强星座对广域任务的适配性。

3)通过长期持续的观测，形成数据和知识的积累，在地面进行持续迭代更新，提升模型处理性能，从而提高单颗卫星智能的“深度”,增强卫星处理性能。

基于星地一体化感知的智慧星座，能有效摆脱单颗卫星资源限制，实现更复杂的“星数天算”智能处理。

2.2 在轨处理系统架构设计

当前开展的数据在轨处理研究以任务导向为主，为任务目标开展定制化优化的同时，提升专项任务的处理能力，但一定程度上会降低应对更开放任务场景的性能。此外，当前研究数据在轨处理任务集中在信息处理层次，面向知识生成的遥感应用模式已经受到重视 [37-39] ,正在推动遥感技术向知识化、智能化层次的高质量发展。因此，本文提出了一种宽兼容、层级化的遥感数据在轨处理架构，如图2所示。该架构能够提升数据在轨处理模式的兼容性，并将数据在轨处理的任务从信息处理扩展到知识生成。

从图2可知，在轨处理系统主要包含3个核心部分：固有处理、信息提取和知识生成。

固有处理为后续分析应用提供标准影像产品和定位信息，包括几何定位求解(或几何模型构建)、相对辐射纠正等处理 [40-49] ,解决“星数”的规范化问题；信息提取则根据场景服务需要，开展特定目标的检测、识别或变化分析等 [50-60] ,解决“星数”的智能化处理问题；知识推理生成则是根据信息提取结果和其他多源参数、专家知识库等，为特定场景提供专题知识、分析报告和决策参考等 [37-39] ,解决“星数”的服务化问题。

1)图像固有处理。

固有处理流程包括：数据重构、相对辐射校正、几何校正、绝对辐射校正、大气校正、数据重采等遥感处理环节，提升图像质量，规范图像形态。

2)信息提取。

信息提取流程依托包括深度学习、机器学习等在内的智能处理方法，以预先构建或训练的算法，对经固有处理的一级数据按一定的规则实施信息提取处理。由于遥感图像尺寸通常较大(如5 056×5 056),而目前典型AI算法(如YOLO)对数据的处理受制于计算环境，会限定于一个相对较小的尺度(如640×640),因此需要对遥感图像先进行瓦片化，适配到相应的尺度后再依次实施处理。最后再拼接恢复到原有尺寸，并将解译结果赋予地理信息后输出。

3)知识生成。

知识生成流程在信息提取的基础上，通过构建和更新专题知识库和知识推理策略，对所获目标信息进行逻辑推理与分析，在轨生成专题知识。对信息进行结构化的知识表达是进行知识推理的基础。知识推理方法包括基于本体的推理、基于规则的知识推理及基于表示学习的推理等。知识生成所得到的新知识在遥感应用领域有广阔的前景。

以固有处理、信息提取和知识生成构建的在轨处理框架，可兼容遥感应急情报分析、遥感解译应用等平、急任务的计算需求，具有宽泛的包容性和扩展性，对更高层次的遥感知识生成也可以提供计算支撑，可形成多层次智能化处理的方式，支撑“星数天算”的实施。

2.3 可复用、装配式的异构在轨处理计算体系

遥感影像处理面临的任务复杂多变，与之相应的遥感卫星在轨智能处理要能够承担多种环境的自感知处理能力，甚至能自主决策和自主运行，且数据处理流程更加灵活，信息处理算法更加强大，并能完成更为复杂的在轨处理任务。这就需要采用可复用装配式的异构开放系统架构，旨在极大地提高卫星系统对有效载荷的适配能力和对算法软件的兼容能力。无论是硬件部件，还是软件组件，都可以实现因需装配，有效支持各类数据/信息的高速交换、高效存储、智能处理和灵活应用，逐步提升卫星的智能化水平。3层空间计算架构如图3所示。

1)基础层。

异构计算(Heterogeneous Computing)是一个包含不同类型指令集和体系架构的计算单元(如CPU、GPU、FPGA、DSP等)进行联合计算的组合系统。不同的计算单元适合处理不同的计算问题，合理地将不同类型的计算分配到不同硬件上运算可以获得更优的计算性能和更低的功耗。

在AI领域，常见的异构计算平台包括CPU+GPU、CPU+FPGA、CPU+NPU等，将串行计算或逻辑调度等计算任务分配给CPU运算，而将矩阵计算等并行计算任务分配给GPU、FPGA或NPU等特定优化的处理器。异构计算系统不仅仅是计算单元的不同，不同异构计算平台采用的编程框架和指令集也存在很大的差异。在特定场景上，异构计算在性能、性价比、功耗、面积等指标上都有明显优势。在轨处理中，数据所需的潜在处理功能涵盖固有处理、智能处理、知识处理等多个层级，涉及的具体算法囊括辐射校正、几何校正、深度学习处理、知识推理等10多种。为了充分发挥异构硬件性能和屏蔽硬件差异，需要利用不同计算设备构建异构计算平台，实施在轨复杂计算需求的快速计算。

2)模块层。

模块层是通过基础层来实现在轨处理关键计算模块的逻辑。对于具体功能，设计者可以依据本身任务特性来明确核心计算模块具体执行的基础层设备，如AI计算可依靠GPU、FPGA、DSP来实现。以上仅是AI算法的不同底层实现方式，使应用层脱离底层视角，只需明确该模块就可实现对应功能。

3)应用层。

应用层以模块层中的不同功能组合的形态，支撑多类遥感应用场景的在轨处理。针对不同应用环节实施不同的组合方式，如固有处理，对于船舶检测应用，全色图像数据辐射校正和几何校正是必需环节；而林火识别中由于需要依赖多波段数据进行光谱分析，就必须配置辐射校正、几何校正、波段配准、大气校正4个环节。因此，知识推理在当前应用模式还未普及的情况下，可以作为一种选配。在轨处理配置示例如表1所示。表中：“√”表示需配置环节，“-”表示不用配置环节，“Δ”表示选配环节。

2.4 基于大数据、强算力的地面智能支撑系统

天地一体化的智慧星座系统应具有基于大数据、强算力的地面智能系统支撑，由图4所示的3个部分组成。地面智能系统为“星数”和“天算”的实施提供规划、参数、算法等要素，同时也是“地算”的实施主体。

1)地面任务规划。

星座智能任务规划系统针对用户需求进行智能融合，滚动生成卫星观测任务，优化异构卫星协同配合，使体系化观测任务效益最优，形成卫星群体智能感知并获取遥感数据。应用需求智能融合是星座智能任务规划的前提，可以将用户模糊的需求与行业应用智能融合，动态生成卫星观测任务。基于学习和推理技术，以语义理解分析为基础，通过行业应用知识库实现用户需求应用分析推理、智能感知决策，包括高分辨率、高光谱、红外、SAR等多模传感器学习推理，单点重复观测、区域联合观测、动态跟踪观测等多业务模式学习推理等技术，形成面向业务需求的智能融合能力。

2)地面固有处理辅助。

在轨卫星运行需要定期或不定期进行固有处理的参数修正，消除器件故障、零点漂移等带来的不利影响。对于整个星座观测体系，需要整体形成全球DEM、控制点数据库等关键参数库。对于每颗卫星需要建立各自的在轨定标参数库，包括辐射定标参数、几何定标参数等。这些参数通过定期校正实施修正，并同步到各卫星，提高固有处理性能。

3)地面AI训练推理。

与人工智能的数据、算法及算力3要素相似，智能遥感解译也有3大核心要素，即遥感影像样本库、遥感智能解译算法与模型、大规模计算的硬件平台。目前算力基础设施可以采用通用硬件平台，但是由于遥感影像的特殊性和应用的多样性，需要构建一个开放、统一基准的影像样本库，以及高效、可靠的遥感解译算法与模型库。

遥感在轨处理星座载荷类别多、应用方向广、处理要求高，模型算法开发所需的算力、数据也呈现种类繁多、样式复杂的特点，亟需配置基于卫星大数据、大算力的地面模型算法开发系统，实施对数据、算力等资源的高效调度和统一管理。此外，系统还应具备模型算法向嵌入式平台移植和优化的接口，打通数据在轨处理模型算法服务的最后“一公里”。

2.5 天地协同的知识生成机制2.5.1 知识生成策略

传统的知识推理方法主要是基于本体的推理和基于规则的推理，其特点是思路直观、计算简单、结果具有可解释性。近年来出现的知识图谱方法能以结构化的形式描述客观世界的概念、实体及其之间的关系，有望将现实世界中的遥感信息表达为更接近人类认知的形式，更好地组织和管理专家先验知识、遥感成像机理、遥感影像负载的地理学知识，但是需要较高的计算资源。鉴于地面平台和在轨平台在计算能力上存在较大的差距，单颗卫星实施星上知识推理使用基于规则的推理方法。在地面知识推理则可以综合应用各类知识推理方法。

2.5.2 智慧星座的知识库构成

地面知识库包含基础知识库和应用知识库，如图5所示。基础知识库包含对按不同属性划分的各类地理实体的系统性认知和定义，以及各类实体之间的关系。应用知识库是基础知识库按领域划分的子集，对应于不同应用领域知识生成模式下所需基础知识子集KB i 。遥感数据在轨处理平台，包含即时加载任务需要的各个应用知识集K i 与数据集D i (参见图1)。知识集和数据集一方面随任务的不同即时进行调整，另一方面也将即时任务所生成的知识汇入知识集，积累提升知识储备。

地面知识推理使用基于知识图谱的推理方法，设计交互式的遥感领域知识图谱协同建模和迭代机制，包含自底向上的专家交互和自顶向下的运用反馈，以人机协作迭代的方式构建本体模型、标注领域知识库；能够自动进行知识抽取、知识表示、知识对齐。在此基础上，一方面能根据应用需求生成面向应用的规则，分布到各个卫星实施在轨推理计算；另一方面可以融合时空数据、多源数据在地面实施知识应用推理。

2.5.3 智慧星座的知识迭代模式

空地一体智慧星座的知识迭代模式为：任务输入后，智能任务规划系统根据需求进行星座任务规划，明确任务分配、执行时间、模型等约束条件配置，为任务配置相应的数据集知识集，完成指令生成和数据上注，具体步骤如下。

1)业务卫星自主进行数据获取、固有处理、信息提取、知识生成，通过积累知识实现星上知识集K i 迭代更新，下传数据集DD和知识集KD,完成知识分享。

2)多星获取的信息和知识进行星座知识共享，形成星上知识集K i 的更新，实现星间信息的交叉共享和星座协同知识生成。

3)通过地面算法持续优化，定期上传模型及数据集DU和知识集KU发布更新，不断增强空间智能处理性能。

4)将智慧星座观测的知识或数据下传到地面后，在直接进行知识去重并归类划分到相对应数据库、知识库的同时，星座还应支持体系外知识的更新，接着将来自互联网以及领域专家生成的知识，进行知识抽取、实体对齐、知识表达、知识去重等操作，加入到地面数据库DB和知识库KB完成迭代更新。

2.6 在轨处理及算法

卫星遥感数据在轨处理需要解决3个关键问题，即固有处理、信息处理和知识生成。这是智能卫星在轨实时服务的前提和基础。同时，面向应用又对在轨处理提出了观测任务的逻辑判断与决策、图像的高算力处理和深度学习模型的快速精准推理等需求。

2.6.1 固有处理

主要包括快速相对辐射校正和几何定位模型两个方面。

1)辐射校正。

辐射校正是指建立不同探测元之间响应差异的相对关系，消除因探测元因素带来的图像失真。

2)几何校正。

几何校正是指消除或改正遥感影像几何误差的过程。

固有处理的处理指标：能兼容多波段光谱数据、高分辨率数据、红外数据等的固有处理特性，对典型图像辐射校正算法精度优于P%,几何校正定位优于M像素，单波段5 056×5 056像素影像处理时间少于T G秒，其中T G代表固有处理时间。在“珠海一号”高光谱卫星OHS(Orbita hyperspectral satellite)应用场景下，典型值为P=3,M=10,T G=8。

2.6.2 信息处理

1)模型选择。本文将信息处理应用方向设定于遥感影像船舶检测和林火火点检测任务。这一领域是典型的深度学习检测任务。目前卷积神经网络目标检测算法主要有典型的Two-stage网络RCNN系列算法 [62-64] 和One-stage算法SSD [65] 以及YOL系列 [66-67] 。Two-stage网络虽然在精度上有优势，但存在计算量大的问题。而One-stage网络将预选框提取与目标识别融合在一个步骤里面完成，弥补了这一缺陷。因此本文选用了YOLOv5s算法 [68] ,针对应用场景进行优化。

2)船舶检测算法。本次试验的遥感数据源均来自“珠海一号”高光谱卫星影像数据集，船舶检测数据集选取32张影像，每张大小均为5 056×5 056像元。试验前需要对数据进行预处理，把数据裁剪为640×640像元大小的图幅，并进行16位转8位的操作，标签为人工标注。通过样本清洗，最终得到640×640像元大小的单通道483张标准8位影像，以及1 197个标签。其中，训练集和测试集的比例分别为80%和20%,即随机分配训练集图幅有387张，测试集图幅有96张。

船舶检测算法在YOLOv5s的基础上进行了优化。经分析发现YOLOv5s中消耗大量算力的两个部分，即归一化函数Sigmoid和卷积层的计算。本文分别从优化激活函数和对模型进行剪枝优化YOLOv5s网络。一是把计算量较大的SiLU激活函数优化为计算量少且效率高的LeakyReLU激活函数；二是对YOLOv5s进行精准的剪枝来达到提高速度和降低精度损失的效果。得到YOLOv5s-ship后，考虑到算法的在轨处理，本文对其在轨芯片的处理进行特定的工程优化。

表2结果表明，本文提出的算法在效率和精度方面达到了更优的平衡。改用LeakyReLU激活函数的2号网络对比YOLOv5s(1号网络)在mAP (0.5)指标上，从0.972提高到0.974,并且在嵌入式设备玉龙810上的运行速度快了5 ms。3号网络在2号网络的基础上增加了剪枝10%,在mAP (0.5)指标上，与1、2号网络接近，在速度上却有了7 ms(25.0%)的提升。4号网络在2号网络基础上采用剪枝20%策略，mAP指标上都有明显的下降。因此，本文采用了最优的3号网络来实施在轨信息处理。

3)林火火点检测模型优化。林火火点检测数据集选取“珠海一号”L1B级标准的高光谱遥感卫星影像共22张，每张原始影像尺寸大小为5 056×5 056像元，通道数为32。L1B级标准产品已完成辐射校正、几何校正、配准、重采等基础处理流程。为了完成林火火点目标检测任务，需要对L1B级高光谱卫星影像进行数据预处理操作，以匹配目标检测网络模型输入格式，降低计算存储。首先将L1B级高光谱影像数据位深度(bit)从16位转换为8位；然后选择高光谱影像中的第1、5、15波段合成真彩色图像；最后将真彩色图像数据裁剪为640×640像元并进行样本清洗，得到林火火点真彩色图像数据集。使用labelme工具对林火火点真彩色图像数据集进行手工标注，得到林火火点标签。将林火火点真彩色图像数据集与林火火点标签合并，制作符合YOLOv5s训练格式的林火火点目标检测数据集。林火火点目标检测数据集共包含1 162张图像样本，每张图像样本尺寸大小为640×640,通道数为3。将林火火点目标检测数据集按80%和20%的比例划分训练集和测试集，训练集有901张图像，包含353张无火点目标图像；测试集有261张图像，包含156张无火点图像，用于验证算法模型在林火检测方面的效果。在遥感影像数据集中进行火点目标检测的难点主要有如下4点。

1)目标尺度多样。火点数据集中存在不同尺寸的火点目标，不同火点目标之间尺寸大小差距较大。

2)背景易混淆为火点。卫星影像中复杂多样的背景容易混淆为火点目标。

3)部分火点不易识别。部分火点在整幅卫星影像中占比较小，人眼不易察觉。

4)火点烟雾通常具有形状不规则、边界不清等特点，给标注工作带来困难。

本文根据林火火点目标检测任务特点，在训练林火火点目标检测网络之前，对林火目标检测数据集进行Mosaic数据增强以提高训练效率，增强模型定位能力，更好地区分易混淆的火点目标。在训练目标检测网络时采用多尺度训练策略，设置几种不同的图片输入尺度，训练时每隔一定迭代次数(iterations),随机选取一种尺度训练，增强模型对不同尺度火点目标的检测能力。在网络训练后，根据训练结果对训练集进行检测，将检测结果与手工标注对比，修改部分标注不清的火点目标。使用修改后的标签重新训练林火火点目标检测模型，最终模型mAP (0.5)达到0.769,召回率(recall)达到0.74。

2.6.3 知识生成

本文从林火形成的各要素出发建立推理逻辑，设计了一种融合多模态数据的林火预测方法，应用基于规则的模糊推理策略，实现了一种基于多模态数据的在轨火情预测模糊推理方法。

1)证据集。

林火的形成过程受客观条件和主观条件的影响。客观条件包括可燃物含量、温湿度、降水量等因素；主观条件包括林区管理能力、防治力度等。设计林火预警算法中，可监测数据包含可燃物载量、温湿度、降水量。其中，可燃物载量是林火形成的物质载体，其特征量可根据遥感数据进行评估；温湿度、降水量是林火形成的孕灾环境，可以经由气象数据进行测算。

2)模糊隶属函数设计。

综合考虑任务目标区时空环境数据如温度(T i )、湿度(H i )、降水量(P i )等关联要素，以及基于遥感数据实时提取的可燃物载量(F)等多模态数据，各参数模糊隶属度定义如下。

①可燃物载量定义如表3所示。

③序列湿度观测模糊定义

进而，根据林火风险等级查找表获得该区域的林火预警风险等级，如表7所示。

3)模糊推理逻辑设计。

基于在轨智能处理基础，融入了绝对辐射校正模块、快速大气校正模块和定量反演模块，实现可燃物载量的在轨实时处理，同时结合地面上注的关联要素完成数据库积累；基于多模态数据输入及关联要素在时间维度的模糊化规则设计完成模糊推理规则库构建；再按照规则库和所给的事实执行推理过程，实现基于多模态数据的在轨火情预测模糊推理设计，详细流程如图6所示。

3 遥感卫星数据在轨处理工程设计及试验

3.1 硬件设计方案

根据面向商业应用场景的卫星数据在轨处理系统架构，要求卫星在轨处理系统实现遥感数据在星上+地面传统的全部处理流程，包括固有处理、信息提取(AI处理)、知识生成。因此，对卫星在轨处理系统提出了高可靠处理器、高性能AI处理器、大容量存储器、高带宽通信接口、算力灵活扩展等硬件平台要求。在综合考虑卫星空间、重量、能源等资源有限的情况下，卫星在轨处理系统还需采用高集成度、高能效比、高可靠性、高性能的一体化硬件平台方案。由于传统的FPGA+DSP、FPGA+GPU等COST器件方案难以满足要求，本文提出一种基于宇航级嵌入式AI处理器芯片、多AI协同工作的一体化智能处理平台方案，如图7所示。

在轨处理系统硬件平台采用VPX架构、模块化设计，各模块通过VPX背板集成为一个紧凑型单机。在轨处理系统硬件平台主要由单机机箱(集成VPX背板)、电源模块、数据固有处理及路由分发模块、大容量存储模块、智能处理模块、任务规划与综合管理模块、数传通信模块等组成。该方案在选用高集成度AI处理器的同时，采用一体化硬件平台设计，最大限度减低系统电路的复杂度；智能处理模块选用高可靠人工智能处理器玉龙810 A,集成4核CPU + 8个GPU + 8个NN单元。通过软硬件融合设计，即可完成固有处理、信息提取、知识生成等遥感数据在轨处理流程，还可根据不同应用需要，扩展星上任务规划功能。

3.2 硬件设计的主要指标

根据硬件设计要求，其主要指标如表8所示。

3.3 卫星遥感数据在轨处理实施流程

为了验证数据在轨处理工程设计样机及提出方法的有效性和可用性，以“珠海一号”卫星星座的OHS高光谱影像为测试数据，以工程样机为测试平台，在地面开展卫星遥感数据在轨处理仿真试验。综合考虑数据流处理及并行加速策略，本文设计了一套从相机输入数据开始到推理结果的在轨处理实施流程，如图8所示。该实施流程包括了数据流格式转换和切片处理、固有处理和信息提取与生成等，从而进行知识推理与分析。

相机原始数据为TLK2711数据流，需要先实施数据格式转换，转化为遥感图像，并实施固有处理的辐射校正部分。切片处理是指继续将固有处理结果瓦片转化成为芯片和模型所支持尺度的一系列图片集。这3类操作在流式计算平台上处理具有较好的时效性，因此均在FPGA计算平台上实现。AI算法实施图像目标识别专用的AI芯片单元来实施计算，具有高效低耗的特点。最后对图片集上得到的多个结果进行整体拼接，恢复至原来遥感影像的尺度，并进行固有处理的几何校正部分。这部分计算数据输入是AI算法检测到的目标位置，计算过程也涉及到大量的判断操作，具有较强的随机性，因此考虑用灵活性最强的CPU模块来处理。通过适配多种类型特点的计算群，优化硬件资源配置和任务调度执行，以期实现高效的在轨数据处理。

3.4 试验验证

本文以“珠海一号”卫星星座的OHS高光谱影像为测试数据，以工程样机为测试平台，在固有处理的基础上进行船舶检测和林火检测的信息提取试验，以及知识推理分析验证。

船舶检测测试选取6景影像，每景大小均为2 528×5 000像元，使用第5波段进行测试，模拟相机输出的处理场景。林火检测测试集选取6景影像，每景大小均为5 056×5 056像元，使用第1/5/15波段构成伪彩色图像进行测试，模拟相机两路输出时的处理能力。

3.4.1 船舶检测测试

使用船舶数据测试时，6景影像耗时如表9所示。

从表9可知，船舶检测测试选取的6景影像数据平均每景用时7.178 s。其中固有处理1(辐射校正+切片)环节平均处理时间3.414 s; 信息提取1(目标识别AI 计算)平均处理时间3.699 s; 信息提取2(切片拼接、信息生成)AI后处理CPU计算平均处理时间2 ms; 固有处理2几何校正平均处理时间62.5 ms。在10 m分辨率下，每景影像2 528×5 000像素对应1 264 km2,对应处理时间5.68×10-3 s/km2。其中固有处理时间2.75×10-3 s/km2;信息提取时间2.93 s。对应1 min地面成像2 528×45 816像素，对应地面距离458.16 km, 处理时长65.77 s, 完成时间在min级，可以有效支持应急场景的遥感任务需求。船舶检测处理效果如表10所示。

表10中第2列数据是相机成像后的原始数据，可见明显的条带效应；经过辐射校正，在第3列图中可以观察到数据质量得到了较大的提升；第4列展示了船舶检测结果，并将方框区域进行局部区域放大后在第5列显示。测试数据覆盖了近海、远海、港口、运河、岛礁等不同海域的情况，船舶分布呈现密集、中等、稀疏等多种形态。算法在多种情况下检测表现出较强的鲁棒性，能够支持船舶检测在轨处理的应用场景需求。

3.4.2 林火火点检测

火点检测使用火点数据测试时，6景影像耗时如表11所示。

从表11可知，每景影像平均处理用时13.037 s。其中固有处理辐射校正环节平均处理时间6.007 s; 信息提取包括AI计算平均处理时间6.999 s; AI后处理CPU计算平均处理时间2.5 ms; 固有处理几何校正平均处理时间28.5 ms。在10 m分辨率下，每景5 056×5 056像素对应50.56 km地面成像，面积2 556 km2,对应处理时间5.10×10-3 s/km2。其中固有处理时间2.36×10-3 s/km2,信息提取时间2.74 s。1 min成像距离5 056×45 816像素，对应地面距离458.16 km、处理时长118.13 s、完成时间在2 min级别，可以有效支持应急场景的遥感任务需求，处理效果如表12所示。由于林火算法需要多个波段进行处理，同时图像尺度也相应加大，因此FPGA和AI计算时间相对于船舶检测有较大变化。图9给出了局部放大的林火火点检测结果。

由于“珠海一号”星座建设于2018—2019年，近年来可以利用的林火数据源较为集中在澳大利亚地区。算法瓦片化处理机制对于扩散特别大的火点，只能通过多个瓦片检测到，使得这些火点检测效果呈现碎片化特点。但是对于较小火点捕获概率较大，能够一定程度上降低漏检的可能。这种现象在表中第5个处理结果中表现较为明显。通过结果观测发现，对疑似火源火点的提取，在大尺度(约100 m以上)上定位较为准确，可满足较大尺度下应急情报的应用监测需求。

3.4.3 林火预警检测

以大理市凤仪镇林火目标点为例，数据源为“珠海一号”高光谱影像。大理市夏季最高气温仅28℃左右，全年平均气温17℃,每年2—4月为林火高发时段。2022-02-14起近30天气温稳定，未出现突然升温或降温情况，且3月8号以来，气温连续高于25℃,湿度低、降水量少，详细数据如图10所示。按照本文提出的林火预警知识推理方法对该区域的林火风险等级进行评估预测，结果如图11所示。

结果表明，试验区的林火风险分布范围较广，风险等级较高；监测结果与已发生火灾区域吻合。本次试验准确地预测到了着火区域，如图11(b)黄框所示，有效验证了知识生成模型在遥感林火检测中的应用。

4 结论

概述了遥感卫星数据在轨处理系统技术发展现状，总结了行业所面临的基本技术问题，介绍了集成固有处理、信息提取和知识生成等功能的在轨处理系统框架，以及利用人工智能AI模型算法及星地一体化处理系统实施在轨信息提取和知识生成的方法。利用人工智能技术，达成了知识的积累和运用，并设计研制了数据在轨处理工程样机和与其适配的核心算法。该框架具有对多类型遥感任务的兼容性和扩展性，可适配遥感数据生成、信息生成、知识生成多层次计算需求，实现了“星数天算”的基本目标。同时，提出了星地智能大系统，充分利用卫星地面数据中心，对算法进行优化和知识迭代，是“星数地算”的具体实践。在工程验证方面，硬件平台峰值算力可达72 TOPS,存储容量最大支持16 Tb, 峰值功耗不大于100 W,重量不大于8 kg。固有处理阶段，处理时间不超过2.8 ×10-3 s/km2;信息提取阶段测试了船舶检测、林火火点检测等目标检测算法处理时间不超过 3.1×10-3 s/km2;知识生成阶段通过构建基于产生式规则的林火知识库，可实施基于遥感信息和时空信息的林火预警知识生成。试验结果表明，本文设计的卫星遥感数据在轨处理系统和相关技术方法能够有效、快速执行复杂任务，为卫星遥感数据在轨智能处理系统的研制和应用提供了一种有效的技术手段，具有良好的应用前景。

针对多源数据融合的在轨知识推理分析仍有待深入的探索和研究。

原标题：AI技术赋能遥感卫星数据在轨处理

王家耀 1,2颜军 3,4吴佳奇 3邓剑文 3董文岳 3张强 3龚永红 3蒋晓华 3张建辰 1,2胡胜华 5

1. 河南大学地理与环境学院2. 河南省时空大数据产业技术研究院(河南大学)3. 珠海航宇微科技股份有限公司4. 青岛科技大学数据科学学院 5. 广东省国土资源技术中心

文 章部分内 容来 源 测绘科学技术学报

如有侵权请联系删除

联系/合作： 微信 13488511191