情感地图:基于街景和深度学习的城市感知计算

情感地图:基于街景和深度学习的城市感知计算

情感地图:基于街景和深度学习的城市感知计算

当你想到欢乐,你脑海中会浮现哪个地方,当你想到活力,哪些地方又会出现在你的记忆里。看似相同的冰冷水泥建筑下面,总有些地方能给人足够的安全感,有些地方却带来无聊与烦躁。城市,也是有着温度和情感的。

内容导读


城市建成环境反映了城市风貌和功能,很大程度上影响着人们在城市活动中的体验、情感和活动。如何获取个体对大尺度城市环境的感知情况一直是相关领域所关心的问题,而传统方法一直受限于样本数据和合适的数据处理方法。

本研究利用街景自然影像来刻画城市物理环境,借助来自全球八万名在线志愿者对56个城市超过10万张街景图片的情感评价数据集,训练了一个深度卷积神经网络模型,来估计个体对城市场景的情感感知评分

模型在对评估任意一张街景图片是否让人感到安全、压抑、生机等六个维度上取得了较高的准确度,并对北京和上海地区的街道进行评估,进行了初步的实证分析。其次,通过量化表达街景图片,研究进一步对街景中各个视觉要素占比和个体感知评分关系进行了多元回归分析,挖掘了一系列影响个体感知的视觉要素,如植被、建筑物比例、天空开放度等。


情感地图:基于街景和深度学习的城市感知计算

本研究为城市物理环境的定量分析提供方法支撑,同时为城市设计、规划和管理提供决策支持。

研究数据


本研究用于模型训练的数据来自于MIT Media Lab开展的Place Pulse 2.0项目。项目搭建了一个个体对街景情感感知评分的在线平台,并邀请全球的互联网志愿者参与实验 – 选择在随机给出的两幅街景图片中认为更安全/压抑/生机/…的一幅图片。实验共采集了来自于全球81,630名志愿者的1,169,078次点击数据。表1列出了实验涉及的110,988张街景图片的采集地点;图1展示了其中的图片样本及相应的评分结果。考虑到街景图片分布得广泛性(包含全球28个国家的56个城市)、志愿者特征的多样性(不同年龄、种族、地域)和评分的一致性(不同属性组间无显著差异),我们认为数据集对于一般个体对一般场景的感知具有一定的代表性。


情感地图:基于街景和深度学习的城市感知计算

表1. MIT Place Pulse数据集中街景图片的全球分布情况


本研究用于北京和上海实证分析的数据集来自于腾讯地图提供的街景图片API接口。数据集包含来自于北京的245,388张街景图片和来自于上海的135,175张街景图片。

情感地图:基于街景和深度学习的城市感知计算

图1. MIT Place Pulse数据集中的街景图片样本及对应的六个感知维度评分

方法与实验


1、 深度卷积神经网络


近年来,以深度卷积神经网络模型为代表的深度学习技术在计算机视觉的各个应用领域中都取得了突破性的进展,其局部链接、权值共享的特点使得模型可以较高效得学习图片空间中的高层次语义信息,进而完成较复杂的任务。本研究基于经典深度卷积神经网络ResNet,在街景图片和个体感知之间进行建模。如图2所示,模型将街景图片作为输入,将图片对应的情感评分得分作为输出,通过训练来预测个体在安全感、生机感等六个维度上对图片的得分。训练收敛的模型可以实现对任意一个城市区域情感感知分布的计算。


情感地图:基于街景和深度学习的城市感知计算

2. 训练深度卷积神经网络(DCNN)来预测个体对街景图片的感知评分

在实验中,我们首先将连续的情感感知评分二值化,利用深度卷积神经网络对图片进行二分类预测,然后对预测的置信度(probability score)进行区间映射,还原情感感知评分的连续值。图3展示了在六个感知维度上准确度随样本数量变化的曲线,较高的样本数量引入了在评分中值附近的噪声。整体上,实验在六个维度的预测中都取得了较高的准确度。

情感地图:基于街景和深度学习的城市感知计算

图3. 实验准确度随样本数量的变化

利用训练收敛的模型,我们对北京和上海区域的街景进行了评分。如图4和图5所示,城市区域的感知分布有明显的空间模式。整体上,安全感、生机感、美丽感等维度在城市环线、高架桥等道路上评分较低,而在路网密度较高的居民区评分较高;安全感、生机感、美丽感等维度在中心城区评分较高,而在外城正在建设或相对不发达区域评分较低。此外,值得关注的是与一般结论相左的城市区域,如北京二环内的异常道路,多呈现比较消极的情感分布。

情感地图:基于街景和深度学习的城市感知计算

图4. 北京市中心城区在六个情感感知维度上评分的空间分布

情感地图:基于街景和深度学习的城市感知计算

图5. 上海市中心城区在六个情感感知维度上评分的空间分布

2、 多元回归分析

情感地图:基于街景和深度学习的城市感知计算

图6. 不同安全感评分区间的街景图片

如图6所示,不同评分区间的街景图片在内容上有显著差异。为了研究街景图片中各个视觉要素比例和个体评分之间的关系,本研究利用多元回归分析来量化各个视觉要素对于六个维度个体评分的贡献度。如图7所示,我们利用基于PSPNet模型的图片语义分割技术获取图片中150类视觉要素(如墙体、建筑、天空、植被等)的占比,作为多元线性回归的自变量。同时,我们将对应图片在六个维度上的情感感知评分分别作为因变量,进行多元线性回归分析,分析结果将显示150类视觉要素中各个要素对于情感感知评分的贡献度(相关性系数)。

情感地图:基于街景和深度学习的城市感知计算

图7. 利用多元线性回归分析来量化个体场景感知与场景要素间的相关关系

情感地图:基于街景和深度学习的城市感知计算

图8. 图片视觉要素占比和情感感知评分间的多元回归分析结果

如图8所示,通过实验,我们对各个要素对于情感感知评分的贡献度进行排序,分别列出了排名前5的正相关要素和负相关要素。我们发现各个感知维度和视觉要素的关系不尽相同。例如,与生机感评分最相关的视觉要素是车辆、道路和人行道;而与美丽感、压抑感和富有感最相关的视觉要素是树木、绿地和花等植被,这些结论与城市规划的传统理论不谋而合。我们还发现一些“反直觉”的结论,例如墙体,在六个感知维度中被认为是负面要素。事实上,墙体作为一种非自然要素,会阻挡视野,遮挡阳光,潜在地影响个体对于周围环境的感知。

总结


本研究利用街景自然影像来刻画城市视觉环境,提出了一种基于深度学习的方法来模拟个体对城市街道场景进行情感感知评分。与此同时,本研究利用多元回归分析对影响个体感知的一系列要素进行了挖掘,一定程度上回答了问题:“什么样的视觉要素最能影响人们的感受”。


本研究为城市物理环境的定量分析提供方法支撑,同时为城市设计、规划和管理提供决策支持。研究成果发表在Landscape and Urban Planning中。

本项目由城室科技与北京大学合作完成

原文转载于未名时空公众号。

城室科技,致力于大数据和人工智能,欢迎合作。

参考文献

[1] Fan Zhang, Bolei Zhou, Liu Liu, Yu Liu, Helene H. Fung, Hui Lin, Carlo Ratti. (2018). Measuring human perceptions of a large-scale urban region using machine learning [J]. Landscape and Urban Planning, 80, 148-160.

https://doi.org/10.1016/j.landurbplan.2018.08.020

[2] Fan Zhang, Ding Zhang, Yu Liu, Hui Lin. (2018). Representing place locales using scene elements [J]. Computers, Environment and Urban Systems, 63, 58-67. https://doi.org/10.1016/j.compenvurbsys.2018.05.005

点击“阅读原文”,查看参考文献。

材料 | 张   帆

编辑 | 李颖欣

往期内容回顾:

T005 城视 | CityEye —— 为拍照调研而生

CityEye | 满足你对城市影像的所有想象

色彩背后的世界——寻找你的缘分建筑

基于人工智能的江岸风貌分析


情感地图:基于街景和深度学习的城市感知计算

城室科技

致力于大数据和人工智能

情感地图:基于街景和深度学习的城市感知计算

原文始发于微信公众号(城室科技):情感地图:基于街景和深度学习的城市感知计算