[SOLVED] 代写 基于DQN的多智能体

基于DQN的多智能体
协同生鲜产品供应链系统需求模板
一、模型业务逻辑描述
该模型基于供应链中五个角色中的三个角色设计，包含批发商、零售商、客户三个角色。其中批发商和零售商分别具有智能体agent1和agent2。客户提供购买需求数据，零售商agent1根据客户需求数据制定订货策略，agent1的订货策略基于产品库存成本最低原则。策略制定完成后，agent1将订货策略发送给批发商agent2，批发商agent2根据己方方案进行反提议，零售商agent1与批发商agent2经过智能体反复协商得到一个在允许误差范围之内的最优解（双方同意的商品单价与商品数量）。即本日交易完毕。

2.模型参数定义
零售商→客户
1、零售商库存容量K0≤k≤10000；（即强化学习中状态的取值范围）
2、产品生命周期L（产品为生鲜产品，因此具有较短的保质期）
3、产品提前期M L>M；（订单下达后产品抵达零售商仓库的全部时间）
4、过期成本G 过期量Gn；（生鲜产品过期会产生过期成本）
5、缺货成本F 缺货量Fn；（零售商仓储货物无法满足顾客需求产生缺货成本）
6、损腐率：；
7、库存成本：R；
8、订货动作：A；
9、剩余产品生命：；
10、学习率 α；迭代n次后进行学习率下降α=0.9*α
11、衰减率 γ；
12、探索率E ；
13、神经网络：一个输入层（当前库存量和订货动作作为输入）、两个隐含层、一个输出层（当前订货量作为输出）；

以上参数做接口方便调参。
批发商→零售商
通过上述模型，零售商生成每日订单（订货数量）。零售商主要参考货物数量(有一定阈值)和货物单价(有一定阈值)向批发商下达订单。同时批发商也有一套货物数量(有一定阈值)与货物单价(有一定阈值)指标体系。两种体系均存在上下限，经过多次智能体的博弈与协商达成一致。如图交点处即为协商一致。

流程总结：根据数据用DQN算法训练模型。训练好模型后，当日客户购买产品→零售商提供产品（若产品不足则计算缺货量、产品过期则丢弃更新库存）→agent1根据当日数据制定订货策略提供给批发商(保证零售商库存成本最低的策略)→批发商agent2根据agent1的策略进行反提议→协商多次之后达成协议→第二日批发商按照协议数量向零售商提供货物。