欢迎访问西安知识产权运营服务平台
欢迎访问西安知识产权运营服务平台
本发明公开了一种基于主题引导的Transformer遥感图像字幕生成方法,主要解决现有技术生成的描述单一,且无法精确表示图像中的语义信息的问题。其实现方案为:搭建一个由Transformer和主题向量组成的主题编码器,并在分类数据集上进行预训练;搭建一个由随机掩码层、嵌入层、Transformer解码器和soft‑max层级联组成的语义解码器;将主题编码器和语义解码器进行连接,得到遥感图像字幕生成网络;设置训练参数,用标准RSICD数据集迭代训练遥感图像字幕生成网络;利用训练好的遥感图像字幕生成网络生成字幕描述。本发明提高了生成描述的多样性和准确性,可用于地物图像检索、灾情预测、图像理解。
The invention discloses a method for generating subtitles of a Transformer remote sensing image based on theme guidance, which mainly solves the problems that the generated description is single and semantic information in the image cannot be accurately represented in the prior art Its implementation scheme is as follows : a topic encoder composed of Transformer and topic vector is built, and pre-trained on the classified data set; build a semantic decoder composed of random mask layer, embedding layer, Transformer decoder and soft ‑ max layer; connect the theme encoder and the semantic decoder to obtain a remote sensing image subtitle generation network; setting training parameters and iteratively training remote sensing image caption generating network with standard RSICD data set; generate subtitle descriptions using the trained remote sensing image subtitle generation network. The invention improves the diversity and accuracy of the generated description, and can be used for ground object image retrieval, disaster prediction, and image understanding.
| 方法过程 | 生成方法 | 生成方法 |
| 电子电器 | 其它电子电器 | 遥感影像字幕 |
| 技术功效句 | 能生成多样性更强的字幕; 本发明由于使用了一种掩码策略用于增强生成字幕的多样性; 不仅增强了模型的学习能力; 1)生成的字幕准确性更高; 因而可以更全面的表示各个地物之间的关联性; 因此生成的字幕描述更加准确 |
| 技术功效短语 | 多样性; 增强字幕多样性; 增强学习能力; 字幕准确性高; 关联性全面表示; 字幕描述准确 |
| 技术功效1级 | 多样性; 能力; 准确性; 清洁性 |
| 技术功效2级 | 多样性; 多样性提高; 能力提高; 准确性提高; 清洁性 |
| 技术功效3级 | 多样性; 字幕多样性提高; 学习能力提高; 字幕准确性提高; 关联性表示清洁性; 字幕描述准确性提高 |
| 技术功效TRIZ参数 | 28-测量精度;31-物质产生的有害因素; |
| 主分类号 |
|
| IPC分类号 | |
| CPC分类号 |
| 同族专利公开号 | |
| 扩展同族公开号 | |
| DocDB公开号 |
| 代理机构 | 陕西电子工业专利中心 61205 |
| 代理人 | 王品华 |
| 申请语言 | 汉语 |
| 审查员 | 母润发 |



申请须知:申请人无需注册账号即可提交交易意向,交易意向一经提交不可查询或更改,请准确填写相关信息;平台运营人员将在3-5个工作日内查看交易意向并与您联系,感谢阅读。
公众号二维码
电话: 029-88631920/21
地址:西安市高新区天谷七路西安国家数字出版基地一期B座23层2302号
西安科技大市场创新云服务股份有限公司 备案号:陕ICP备16006780号-8