数据科学与统计学科研项目回顾：“横行赌场” 基于统计分析原理不确定性过程决策分析，以如何利用算法在“多臂老虎机”游戏中取胜为例

本期项目回顾

我们将带你“云体验”为期七周的线上科研项目，跟随大牛教授学习，在博士导师的辅导下，完成科研课题并撰写科研论文的全过程。

本期课题：

#01 项目介绍

项目介绍：

“多臂强盗”问题是概率论中的一个经典问题，亦是深度强化学习中的重要模块。人们针对解决此类不确定性序列决策问题，提出了“多臂强盗”算法框架（Multi-Armed Bandits，简称MAB，中文又译作“多臂老虎机”）。近年来这一算法框架因优异的性能和较少的反馈学习等优点，在推荐系统、信息检索到医疗保健和金融投资等诸多应用领域中受到了广泛关注。

本课题正是以此框架为核心内容，学生将在参与的过程中深入了解算法的基础模型及应用，将认识到被广泛使用的上置信界算法（Upper Confidence Bound，简称UCB）及汤普森采样算法（Thompson Sampling Algorithms）。导师还将讲授自身在该领域的最新研究成果。

项目大纲：

·多臂老虎机问题的基础介绍

·随机多臂老虎机模型

·上置信界（UCB）算法

·贝叶斯强盗策略与汤普森采样算法

·算法应用于实施，算法性能分析

·多臂老虎机算法在推荐系统中的应用

·学术研讨1：教授与各组学生探讨并评估个性化研究课题可行性，帮助学生明晰后续科研思路

·学术研讨2：学生将在本周课前完成程序设计原型（prototype）及伪代码（Pseudocode），教授将根据各组进度进行个性化指导，确保学生优质的终期课题产出

·项目成果展示

·论文指导

#02 导师介绍

导师：Osman

卡内基梅隆大学 (CMU)终身正教授

Osman导师现任是卡内基梅隆大学(CMU)计算机科学学院的终身正教授。此前他是CMU CyLab的博士后研究员。2011年秋季，他还在亚利桑那州立大学担任访问博士后学者。导师于2011年获得马里兰大学(University of Maryland at College Park, MD)的电气和计算机工程博士学位。

导师的研究重点是计算系统的建模、分析和性能优化，并使用应用概率、网络科学、数据科学和机器学习的工具。在数据科学和机器学习的背景下，他正在研究使用顺序样本(例如，多臂机器人)的统计推断和决策，以及弹性分布式机器学习。

#03 项目进行中

导师、副导师与助教的教学以及班主任的全程陪伴，充分保证学员的项目学习过程以及体验，提高项目学习的效果。

课堂截图

#04 项目成果展示

在科研小组成员的共同努力以及导师和班主任团队的指导帮助下，学员将自主完成完整的项目，并最终向导师进行汇报。

成果展示

同时，在写作课程结束后，论文老师将安排论文课。配合论文辅导团队的指导，学生将会把小组的科研成果进一步精细打磨，形成高质量的科研成果产出。

作业展示

#05 学员反馈

班主任沟通截图

学员收获