(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111356331.5 (22)申请日 2021.11.16 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 申请人 中国电子科技 集团公司第五十四研 究所 (72)发明人 崔高峰　徐媛媛　胡东伟　王力男　 王亚楠　段鹏飞　王卫东　 (74)专利代理 机构 北京永创新实专利事务所 11121 代理人 易卜 (51)Int.Cl. H04W 24/06(2009.01) H04W 72/04(2009.01) H04W 72/08(2009.01)G06Q 10/04(2012.01) G06Q 50/30(2012.01) G06N 20/00(2019.01) (54)发明名称 基于业务需求预测的多波束卫星波束资源 适配方法 (57)摘要 本发明公开了一种基于业务需求预测的多 波束卫星波束资源适配方法， 涉及多波束卫星通 信领域， 具体为： 首先， 针对高轨多波束卫星同频 组网的下行数据传输场景， 通过搭建流量仿真模 型获取各波束卫星覆盖区域下的仿真流量数据； 并训练隐状态马尔科夫模型， 得到模型参数， 再 预测下一时刻各波束业务流量需求值； 然后， 采 集不同日期、 时刻下利用隐状态马尔科夫模型输 出的各波束流量预测值， 训练深度强化学习PPO 网络模型， 输 出各波束的带宽、 功率联合优化值， 为各波束分配不同数量、 中心频率的带宽资源 块， 以及不同等级的功率资源快， 实现多波束卫 星波束资源适配。 本发明有效减小同频干扰， 满 足波束业务需求和公平性原则， 减少资源浪费， 提升资源利用率。 权利要求书3页 说明书10页 附图3页 CN 114071528 A 2022.02.18 CN 114071528 A 1.基于业 务需求预测的多 波束卫星波束资源适配方法， 其特 征在于， 具体步骤如下： 首先， 针对高轨多波束卫星 同频组网的下行数据传输场景， 通过搭建流量仿真模型获 取各波束卫星覆盖区域下 的仿真流量数据； 针对每个覆盖区域， 利用仿真流量数据训练隐 状态马尔科夫模型， 得到模型参数后再利用该模型预测下一时刻各波束业务的流量需求 值； 然后， 采集不同日期、 时刻下利用隐状态马尔科夫模型输出的各波束流量预测值， 并训 练深度强化学习PPO 网络模型， 输出各波束的带宽、 功 率联合优化值， 考虑同频干扰， 为各波 束分配不同数量以及不同中心频率的带宽资源块， 以及不同等级的功率资源快， 实现多波 束卫星同频组网场景 下的满足波 束业务需求、 考虑波 束公平性的波 束资源适配。 2.如权利要求1所述的基于业务需求预测的多波束卫星波束资源适配方法， 其特征在 于， 所述的搭建流 量仿真模型 具体为： 具体为： 首先， 利用Python搭建高轨道多波束卫星通信场景， 生成波束后， 在波束内随 机生成服从均匀分布的用户； 然后， 根据流 量的时空相关性因子搭建流 量仿真模型； 时空相关性因子包括： 1、 将地区分为发达、 欠发达， 发达地区人口多流量大并且尖峰 高； 2、 将24小时根据人类活动特性 流量划分成周期特性； 最后， 在该流量仿真模型中， 根据不同地 区对应不同数量的用户， 用户的位置跟时间的 关系， 获取一段时间内的波 束流量数据。 3.如权利要求1所述的基于业务需求预测的多波束卫星波束资源适配方法， 其特征在 于， 所述的隐状态马尔科 夫模型包括两个主 要因素： 观测状态和隐状态； 观测状态是波 束覆盖范围内历史流 量序列； 隐状态是时间、 用户位置的影响因素； 隐状态马尔科 夫模型的参数包括： 1)、 当前覆盖区域输入的流量序列O＝{O1,...,Ot,...,OT}， 其中1≤t≤T； T为输入流量 序列的时间长度； 2)、 业务需求的隐状态的数量K； 3)、 业务需求量隐状态的转移概 率矩阵A， 为K ×K阶的矩阵， 表示 为： A＝{aij},0≤aij≤1 aij＝P(qt＝Sj|qt‑1＝Si),1≤i,j≤K 其中aij表示由t‑1时刻的隐状态Si在t时刻转移至隐状态Sj的概率； 4)、 业务需求量生成的概 率分布B； t时刻由当前隐状态Si生成观测流 量值Bi的概率， 表示为： Bi(Ot)＝P(Ot∣ qt＝Si),1≤t≤T,1≤i≤K Ot表示流量序列中的第t个值； qt＝Si表示t时刻的业 务需求量隐状态为Si； 5)、 初始业务需求量概率向量π： π＝[πk]K×1， 代表当t＝1时刻各个业务需求隐状态Si出 现的概率； 其中πk满足 隐状态马尔科夫模型的输入为每个波束覆盖区域对应的连续多条历史流量序列， 通过 Baum‑Welch算法对模 型进行迭代训练， 获得对应隐马尔可夫网络模型参数， 再利用Viterbi 算法预测下一时刻各波 束业务的流量值。权　利　要　求　书 1/3 页 2 CN 114071528 A 24.如权利要求1所述的基于业务需求预测的多波束卫星波束资源适配方法， 其特征在 于， 所述的多 波束卫星波束资源适配过程， 具体为： 步骤401、 将全部频 带划分为 NB个带宽资源子块Bblock， 各波束均可复用全部频 带； t时刻波束i分配到的带宽资源为 其中N1＝0,1,2,. ..,NB； 步骤402、 将全部功率划分为NP个功率资源子块Pblobk， 利用深度强化学习算法为各波束 分配功率资源子块数量； t时刻波束i分配的功率资源为Pti＝N2Pblobk， 其中N2＝0,1,2,. ..,NP； 步骤403、 基于各波束分配的带宽和功率资源块， 计算波束复用频带过程中， 考虑同频 干扰的吞吐量； 波束内各用户带宽和功率采用均匀分配策略； 首先， 根据香农公式， 计算波 束i内用户u的传输 速率为： 为t时刻波 束i内用户u分配到的带宽资源； 为信干噪比； 其中 为高斯白噪声功率， 为有用信号功率， 为波束i内用户u受到的其他波 束同频用户的干扰信号和； 然后， t时刻经 过资源分配后波 束i内所有用户的吞吐量 为： tslot为时隙长度； 步骤404、 通过预测的流量需求值训练PPO网络模型， 使得PPO网络模型输出的带宽、 功 率的资源分配结果接 近预测值， 实现资源适配； 训练网络所用奖励值设计如下： 其中， R(st,at)表示状态st和动作at对应的奖励值； st∈St； St为t时刻各个波束的状态空 间： St＝{Tt,Ct}； Tt为当前的日期时间； Ct为HMM网络预测的下一时刻内各波束总业务需求； at∈At； at为资源分配动作， 具体为t时刻各个波束功率和带宽联合分配结果， At为动做空 间， 表示为： At＝[Pt,Bt]； Pt表示t时刻各个波束可获得的功率资源， Bt表示t时刻各个波束可 获得带宽资源； 为实际的业务需求流量， 即预测值； 为由PPO网落资源分配结果计 算出的系统容量； 是指波束业务满意度， 当实际系统容量低于预测的需求之时， 奖励值为零； 是指波束公平性， 即业 务需求量小的波 束也能同等级别的获取资源；权　利　要　求　书 2/3 页 3 CN 114071528 A 3