# 1、研究问题与挑战
解决问题：人类移动模式预测
idea：利用注意力机制和循环网络可以从长范围和稀疏的轨迹数据中预测人类的移动规律
面临挑战：①复杂的序列转移模式，包括时间依赖（不同出发时间对于转移模式的影响），人类的转移模式并不遵循简单的马尔可夫假设，而是具有高阶规律（比如人们可以在他们的通勤路线中去不同的地方（例如早餐地点））②移动模式具有多层次规律，人类移动模式具有多层次周期性规律，包括每日例程，节假日例程
# 2、先前方法不足
早期的基于模式的移动性预测方法不仅受到预定义模式的片面性的影响，而且忽略了对移动性预测至关重要的个人偏好。最近的一些基于模型的方法利用序列统计模型（例如马尔可夫链或递归神经网络）来捕捉人类运动的过渡规律，但是这种方式仍存在几个问题：①无法很好的捕捉复杂的序列规律； ②无法捕捉人类轨迹呈现出的多层次周期性； ③无法很好地处理人类移动数据中的异质性和稀疏性；
# 3、本文解决方案
本文设计了一个多模态嵌入模块，该模块将稀疏特征（例如，一天中的时间、区域、用户）转换为密集表示，然后将其输入递归神经网络，以对轨迹序列中的长程和复杂依赖性进行建模。此外设计了一个历史注意力模块，用来选择与当前预测时间戳高度相关的历史记录，灵活地利用周期性运动规律来增强递归神经网络并提高预测精度，同时学习到的注意力权重为理解预测过程中强调哪些历史活动提供了一种容易解释的方式。该模型利用用户向量表征捕获个性化，RNN 捕捉序列转移关系，历史注意力模块捕获周期性，分别对应先前方法不能解决的问题 3、1、2
# 4、方法介绍
该模型框架如图 1 所示，包含三个部分：特征提取和嵌入；循环模块和历史注意力机制；预测模块
① 特征提取和嵌入部分
将轨迹分为两个部分，历史轨迹和当前轨迹，将位置、时间和用户 ID 这些信息 one-hot 后送入 embedding 层
② 循环模块和历史注意力机制
当前轨迹送入 GRU 层学习序列关系，历史轨迹送入历史注意力模块中学习周期性，GRU 最后的输出作为历史注意力模块的 query。历史注意力选择模块包括一个候选位置生成器和一个注意力选择器，嵌入模块首先将尺寸调节层，将历史轨迹变为时间维度长度固定，空间维度不定的历史轨迹矩阵，之后送入采样层，再通过一层全连接层调整向量维度，之后将该部分再送入 GRU 中，生成的候选位置向量就作为候选轨迹表征向量
③ 预测模块，将循环模块和历史注意力机制模块的输出进行拼接，送到全连接层中，最后经过有负采样的 softmax 层
图 1 DeepMove 框架图
# 5、实验设计与结果
(1) 实验数据集介绍
本文共使用三个数据集，分别网络基站数据集、移动应用数据集和 Foursquare 签到数据集
针对不同数据的处理方式：
Foursquare 签到数据集
- 数据稀疏，平均每个用户一年有 18 个位置访问记录
- 过滤用户签到数少于 10 个的用户记录，并将用户签到数据按照时间间隔划分成会话，进一步过滤掉会话中签到记录少于 5 个的会话和会话数少于 5 个的用户，选择 72 小时作为默认的时间间隔
网络基站数据集、移动应用数据集
- 数据相对稠密
- 将一天划分为 48 个时间段，并将同一时间段的会话聚合为一条记录
(2) 对比方法
- 马尔可夫模型，构造一阶转移矩阵
- PMM
- RNN-based ST- RNN
在 top-1 和 top-5 评价指标上，本文提出的方法均优于其他 baseline
(3) 消融实验
- 提出的两个注意力机制效果比较
- 不同采样策略效果比较
- 加入用户 ID 效果比较
(4) 对不同的用户组进行了分析
- 分别按照移动熵、探索率和活动半径对用户进行了分组，更好的验证模型预测不同类型用户的移动规律的准确率
