基于大语言模型的无人机动态环境感知反馈方法及系统

技术领域

[0001] 本申请涉及无人机飞行控制技术领域，特别涉及利用大语言模型（LLM）技术对无人机进行环境感知和应对的方法。

背景技术

[0002] 在利用无人机执行任务的各种场景中，都需要由无人机先对环境进行感知，以知晓环境中目标的状态和位置等数据，然后再根据任务的内容制定相应的方案。例如在利用无人机进行侦查的任务场景中，需要无人机携带可见光相机、激光雷达、红外相机、定位器、陀螺仪等载荷，以采集环境中包含目标在内的所有对象的多维数据，对这些数据进行分析和处理后，确定所有感兴趣目标的位置，进而制定无人机在这些目标之间飞行的路径。

[0003] 由于外界环境中无人机面对的对象可能会比较多，而这些对象中可能只有一小部分是值得关注的目标，而且这些值得关注的目标中也可能只有一小部分是对无人机存在威胁的目标，无人机需要对这些目标进行区别，将有限的算力集中在跟踪有威胁的目标上，而不是将所有算力分配给每一个目标。然而，目标对无人机的威胁也有高低之分，无人机的算力无法对所有有威胁的目标都进行跟踪和制定方案，因此需要借助额外的计算资源。较为常见的方式利用云端服务器或边缘计算设备，前者因时延较高且存在数据安全的问题没有得到广泛应用，后者则可以被称为是本地设备，能够有效的解决云端服务器存在的问题。

[0004] 然而，在边缘计算设备介入后，几乎所有的数据处理任务都被分配至边缘计算设备，无人机几乎只发挥数据采集的功能，这对无人机的计算资源可谓是极大的浪费。而且边缘计算设备的时延虽然比较低，但是仍然存在，对于高威胁的目标，可能在极短的时间内就会造成严重的后果，边缘计算设备的时延可能无法满足这种高威胁目标的处置需要。

发明内容

[0005] 本申请实施例提供了基于大语言模型的无人机动态环境感知反馈方法及系统，用以解决现有技术中无人机计算资源浪费和边缘计算无法满足高威胁目标处置需要的问题。

[0006] 一方面，本申请实施例提供了基于大语言模型的无人机动态环境感知反馈方法，包括：

[0007] 由无人机采集多源感知数据；

[0008] 采用部署在无人机上的轻量化多模态目标检测模型对多源感知数据进行分析，得到目标识别结果，目标识别结果包括每个目标的类别、置信度、三维坐标和尺寸；

[0009] 利用轻量化大语言模型根据目标识别结果评估每个目标的初始威胁度，对初始威胁度进行修正，得到每个目标的修正威胁度；

[0010] 根据修正威胁度以及目标的复杂度预估每个目标在后续的方案制定环节中的算力需求，在无人机的算力约束限制下，根据每个目标的算力需求以及无人机当前的可用算力对所有目标进行筛选，得到一个或多个高威胁目标，所有目标中除高威胁目标以外为低威胁目标；

[0011] 由无人机对高威胁目标进行状态监测，得到高威胁状态数据，采用轻量化大语言模型根据任务需求制定相应的高威胁方案；

[0012] 由边缘设备对低威胁目标进行状态监测，得到低威胁状态数据，采用全量大语言模型根据任务需求制定相应的低威胁方案；

[0013] 将高威胁方案和低威胁方案融合，得到适应于不同的任务需求的全局最优方案。

[0014] 另一方面，本申请实施例还提供了基于大语言模型的无人机动态环境感知反馈系统，包括：

[0015] 无人机，用于采集多源感知数据；采用轻量化多模态目标检测模型对多源感知数据进行分析，得到目标识别结果，目标识别结果包括每个目标的类别、置信度、三维坐标和尺寸；利用轻量化大语言模型根据目标识别结果评估每个目标的初始威胁度，对初始威胁度进行修正，得到每个目标的修正威胁度；根据修正威胁度以及目标的复杂度预估每个目标在后续的方案制定环节中的算力需求，在算力需求限制下，根据每个目标的算力需求以及当前的可用算力对所有目标进行筛选，得到一个或多个高威胁目标，所有目标中除高威胁目标以外为低威胁目标；对高威胁目标进行状态监测，得到高威胁状态数据，采用轻量化大语言模型根据任务需求制定相应的高威胁方案；

[0016] 边缘设备，用于对低威胁目标进行状态监测，得到低威胁状态数据，采用全量大语言模型根据任务需求制定相应的低威胁方案；将高威胁方案和低威胁方案融合，得到适应于不同的任务需求的全局最优方案。

[0017] 本申请中的基于大语言模型的无人机动态环境感知反馈方法及系统，具有以下优点：

[0018] 1、筛选更精准灵活。先修正威胁度再结合算力需求动态选高威胁目标，既保障高威胁优先，又适配无人机算力限制，避免固定数量导致的算力浪费或过载。

[0019] 2、响应更快速安全。高威胁目标的监测与方案生成全部在无人机本地执行，不依赖边缘设备，因此时延能够控制在200ms以内，而且数据不传输外露。

[0020] 3、处置方案更全局最优。边缘设备融合双端方案，既突出高威胁目标的紧急处置需求，又兼顾低威胁目标的全面管控，避免单一设备决策的局限性。

[0021] 4、任务适配性更强。针对纯侦查与侦查+处置任务分别设计融合逻辑，满足不同场景的核心需求。