📑 原始论文:Learning urban region representations with POIs and hierarchical graph infomax
🌊 项目地址:RightBank/HGI
🎨My Fork:SlieFamily/HGI: A hierarchical graph representation learning by infomax

摘要

结合POI与分层GraphInfomax学习城市区域的表示

本文提出了一种基于层次图信息最大化(Hierarchical Graph Infomax,HGI)的城市区域表示(向量嵌入)学习方法,该方法可以用于各种下游任务。

具体而言,HGI 包括以下几个关键步骤:

  1. 将类别嵌入作为 POI 的初始特征;
  2. 将 POI 通过图结构相互连接,并根据其空间上下文进行图卷积,以捕捉每个 POI 的独特性;
  3. 使用多头注意力机制将 POI 聚合到区域(region)层级;
  4. 在区域层级进行图卷积,以生成区域表示,该表示包含了邻近区域之间的相似性;
  5. 聚合区域表示,以在城市(city)层级生成全局嵌入。

该模型最终通过最大化 POI-region-city 层级之间的互信息来训练,从而促进来自本地(POI)和全局(city)尺度的信息流向 region 的表示,使它们具有局部和全局相关性。

我们在厦门岛和深圳对三个下游任务进行了广泛的实验,包括:估算城市功能分布、人口密度和房价。结果表明,HGI 在所有三个任务中的表现都明显优于多个“基线”,证明了 HGI 能够生成有意义且有效的区域表示。

此外,基于 POI 的区域表示学习方法也有可能适用于增强其他模态(如遥感数据)的表示。

问题发现

有监督学习的缺陷

现今大部分对城市区域的研究都依赖于属于特定任务的有监督学习。这会带来两种缺陷:

  1. 模型和数据表示都学习自一种任务,而对其他类型的任务不一定适用;
  2. 在许多研究分析中,地面实况数据(ground truth data)非常稀少,甚至无法获得,这使得特定任务的监督学习往往是不切实际的。

POI的表示缺乏独特性

已有的 POI 表示研究有着如下几种方法:

  • 借鉴 Word2Vec 进行 POI 分类
  • 利用 KNN 方法 提出了 Place2Vec,分类
  • 应用 Doc2Vec 模型( Word2Vec 的一个变体 ) 进行土地利用分类
  • 语义保持+随机游走+流形学习实现分类

这些工作都有其固有的局限性:它们学习的是 POI 类别的表示,而不是单个 POI 的表示。

设想我们有两个餐厅,其中一个在大学图书馆附近,另一个在火车站附近,原则上他们的语义应该根据空间背景的巨大差异而微妙地加以区分,而已有的研究工作则为它们生成了相同的类别,失去了每个POI自身的独特性。

  • 通过 GCN 学习独立 POI 嵌入,有监督地进行分类

这项工作虽然利用 GCN 实现了学习 POI 独立特征的能力,但是属于监督式学习。

POI 的多层级信息

在对 POI 的特征进行聚合时,已有研究也有着这样的策略:

  • 采用平均池化的方式缓解有效监督的缺乏
  • 利用 LSTM 和 注意力机制进行层级上的聚合

前一种方法忽略了 POI 在对区域的定义时应该有的不同重要性等级;
后一种方法虽然解决了层级问题,但也有两点不足:

  1. 它需要以监督的方式进行训练
  2. 该方法只考虑 POI 对其所在区域影响的一个角度,但在现实中这种影响应该从多个角度进行刻画

考虑上下文关系

如果对 POI 进行表示学习过程中缺乏对其相邻区域的 POI 的学习,则表示信息的价值会有折损。

依赖多模态数据

已有研究中,大多是通过多模态数据来学习更丰富的表示,很少有致力于单纯从 POI 入手进行深度挖掘以获取信息的研究。

方法介绍

针对深度挖掘 POI 信息并进行无监督的表示学习的这个问题,研究者提出了 Hierachical Graph Infomax 方法。具体由以下几个部分组成。

HGI总体结构

POI类别嵌入

设计编码器ϕc\phi_c 实现 POI 类别嵌入,以作为后续图学习过程中的初始节点特征。(所以这一步是预训练

虽然忽略了每个 POI 自身的独特性,但类别嵌入可以在很大程度上反映 POI 的语义信息。

在本文中,研究者采用了目前最先进的方法,即由 Huang et al.(2022) 开发的语义POI类别嵌入

对将POI建成的完美三角剖分(Delaunay triangulation,DT 计算几何学术语)进行空间显式随机游走,然后利用流形学习的拉普拉斯特征映射法,强制共享同属于一级类别的二级类别(们)在嵌入空间中相邻。

最终通过优化下面的目标函数学习得到POI的类别特征。

插入公式

表示单个POI独特性

单个POI的独特性可以通过其空间上下文,即其邻近的 POIs 来塑造。
为此,一种效果较佳的方法是使用图结构对POI进行建模,并利用GCN中的消息传递机制,通过聚合POI邻域中的【类别嵌入】来生成【POI嵌入】。

许多前人的研究已经验证了DT图的适用性,在建立空间矢量数据之间的相互作用的模型上。

边的权重设计如下:

插入公式

利用一层 GCN 结合信息传递机制得到 POI 嵌入:

插入公式

多头注意力机制生成区域嵌入

为了将 【POI 嵌入】用于生成【区域嵌入(raw)】,需要从多个角度来提取每个POI在它所在的重要性。而多头注意力机制正是一种可取的方案。

结合上下文的区域嵌入

将各区域按照邻接关系绘制成边权相等的图,然后(再次)利用一层GCN以结合上下文信息,得到区域嵌入。

面积加权聚合

由于上一步得到的区域嵌入,对于某一城市而言其数量是偏少的,因此确定性聚合函数(如:平均池化)比复杂结构(如:多头注意力机制)具有更好的性能。因为复杂结构很难在如此少的节点数下得到充分的训练。

本文利用区域面积的这种先验知识,对区域特征进行加权以表示最终整个城市的【全局嵌入】。

插入公式

负样本与目标函数

HGI的总体思想遵循了对比学习的范式,因此它的成功取决于对齐性和一致性这两个特性的满足

插入公式

复杂目标背后的直觉是以区域为中心的分层互信息最大化。

在这种以区域为中心的目标下,来自局部尺度POI和全球尺度城市的信息都会流向学习到的区域嵌入,使得它们既具有全局相关性又具有局部相关性.

我们可以观察到,α = 0.5时的表现最好,这意味着从POI和城市到区域的信息流强度相等是有利的。

实验与思考