在过去的几十年中，马尔可夫（简称马氏）决策过程（Markov decision processes,MDP）的理论和应用得到了长足的发展．作为20世纪50年代产生的运筹学的一支，马氏决策过程的模型已经在生态科学、经济理论、通信工程以及众多学科中得到了应用，而这些新的应用也为其带来了丰富的理论结果．

马氏决策过程也被称为受控马尔可夫链（controlled Markov chain）、随机控制问题（stochastic controlled problem）、马氏决策规划（Markov decision programming）等．马氏决策过程的模型由决策时刻、系统状态、行动、报酬和转移概率组成．在一个状态选取一个行动会产生一个报酬，并且通过转移概率函数决定下一个决策时刻的状态．策略是一些规定，即告诉决策者任一个决策时刻在任一个状态上是如何选取行动的规定．决策者就是要在某种意义下选取最优的策略．这样一个模型的分析应该包括：

1） 提供一些条件以保证存在易于操作的最优策略；

2） 确定如何辨别出这些策略；

3） 寻求得到这些策略的有效算法；

4） 建立这些算法的收敛性质．

实际上，策略的比较分析强烈地依赖于准则的不同．因此，本书将根据不同的准则分开讨论．

本书共分为8章．第1章从一些决策的例子出发，抽象出一般的决策过程，并且给出一些概念的基本定义．第2章针对有限阶段的MDP模型讨论了最优策略的存在条件，给出具体的计算方法．第3章考虑了无限阶段的折扣模型，针对有限状态的折扣MDP，建立最优方程，给出多种计算方法，最后将这些结论推广到比较一般的状态空间和行动集合的情形．第4章讨论平均准则模型，对单链结构和多链结构分别进行讨论．第5章对一些非标准的准则进行讨论，其中包括权重准则和概率准则等几种非标准的准则模

型．第6章考虑连续时间的两种模型和半马氏决策过程的两种模型．第7章和第8章针对两个具体的实际问题，即空集装箱的调配和人力资源管理这两个问题，建立MDP的模型，给出了具体的步骤，最后给出实际的计算结果．

本书的写作有两个目的：一个是为理论研究者提供参考，为高等院校有关专业的高年级大学生和研究生提供教材；另一个目的是希望本书的内容能够引起管理者、计算机科学工作者、经济学家、应用数学家、控制与通信工程方面的工作者、信息科学与工业工程等方面的学者和技术人员的兴趣，特别是本书利用大量篇幅介绍了一些问题是如何被建立为马氏决策过程模型并求解的，这样可以为那些应用工作者提供方便的建模思想，能够拓宽读者的思维．本书需要读者熟悉一些数学分析、线性代数、概率论、随机过程和线性规划等方面的知识，不过作者力求语言浅显易懂，对繁杂的证明只给出证明的思路，并且注明参考文献，便于感兴趣的读者进一步学习．

刘克2004年5月

营销科学学报JMS(清华大学经济管理学院)

综合交通运输发展和改革问题研究

物流和外延型企业(桑德尔.博伊森)--物流管理经典译丛

物流经济地理(陈焰)

*交通经济带--地球科学系列

模糊数学.原理及应用(第三版)--工科研究生用书

物流前沿：实践·创新·前景

组合数学（第3版）（作者：卢开澄）

非数值并行算法--模拟退火算法(一)

不确定规划及应用(作者:刘宝碇)--不确定理论与优化丛书1

更多相关商品

弹性力学(下普通高等教育十一五国家级规划教材)

微分方程动态系统和混沌导论(第2版)

涌现:从混沌到有序

混沌时间序列预测理论与方法

数字混沌通信-多址方式及性能评估

天津大学「211工程」丛书分岔与混沌理论及应用

复杂系统理论基础

模糊数学及其应用(第2版)

混沌动力学基础及其应用

混沌振子系统（L-Y)与检测

更多相关商品

马尔可夫决策过程是研究随机环境下多阶段决策过程优化问题的理论工具，在过去的几十年中，随着生态科学、经济理论、通讯工程以及众多学科中需要考虑不确定因素和序列决策问题的大量新模型的涌现，进一步刺激了马尔可夫决策过程在理论上和应用领域中长足发展。
本书从简单的例子开始，介绍了马尔可夫决策过程的基本概念、决策过程以及一些常用的基本理论。还介绍了多种最优准则，包括有限阶段准则、折扣准则、平均准则、权重报酬准则、概率准则等。从模型角度考虑了有限状态空间、可数状态空间和一般Borel状态空间；从决策时间上来说，考虑了离散时间、连续时间和半马氏决策时刻问题。本文还介绍了大量的应用实例以及建模方法。本书可作为高年级大学和研究生教材，也可作为运筹学、管理科学、信息科学、系统科学以及计算机科学和工程领域的学者和技术人员的参考书。

序言Ⅲ
一些常用的符号和缩写Ⅶ

第1章引论1
1.1序列决策模型1

1.2马氏决策过程的例子3

1.3马氏决策过程的定义与记号7

1.4马氏决策过程的起源和发展13

第2章有限阶段模型16
2.1最优准则16

2.2有限阶段的策略迭代和最优方程17

2.3最优策略的存在性和算法19

2.4两个例子22

2.5单调策略的最优性26

第3章无限阶段折扣模型31
3.1最优准则31

3.2最优方程32

3.3最优策略的存在性34

3.4策略迭代算法37

3.5值迭代算法40

3.6改进的策略迭代算法45

3.7线性规划算法47

3.8可数状态与行动的模型49

3.9最优单调策略60

3.10最优策略的结构62

第4章无限阶段平均模型64

4.1最优准则64

4.2最优平稳策略的存在性66

4.3平稳策略的一些特征68

4.4最优方程与策略迭代算法75

4.5单链时的情形79

4.6多链时的情形100

第5章权重准则模型与概率准则模型106

5.1折扣权重模型106

5.2折扣与平均权重模型113

5.3MDP的百分比与目标水平116

5.4风险概率准则模型121

第6章连续时间与半马氏模型131
6.1连续时间折扣MDP131

6.2连续时间平均MDP138

6.3折扣半马氏模型141

6.4平均半马氏模型145

6.5服务率受控的一个排队模型148

第7章空集装箱调配问题150

7.1单港口的问题与建模150

7.2无限阶段折扣准则154

7.3无限阶段平均准则156

7.4数值例子158

7.5多港口空集装箱的调配问题159

第8章人力资源模型163
8.1问题163

8.2数学模型165

8.3相关参数分析169

8.4数例171

参考文献173

索引183