CITYFACE | AI眼中的街道究竟长什么样

CITYFACE | AI眼中的街道究竟长什么样

CITYFACE平台上个月推出内测后获得了积极踊跃的反馈,我们的开发人员也在持续的更新平台ing,预计将在8月中旬推出公测,请大家不要吝啬期待!

也希望大家相信,在城市影像大数据的研究和CITYFACE平台的开发上,我们是认真的——今天给大家介绍的、城室科技合伙人张帆在顶级学术期刊CEUS上发表的论文,就是城室科技最新的科研成果。


片尾有彩蛋!

1

作者介绍


城室科技合伙人。北京大学助理研究员,2017年在香港中文大学获得博士学位;2015-2017年在麻省理工学院Senseable City Lab访问;2013年在联合国亚太经社委员会实习。

2

内容导读

        研究利用街景影像来定量分析城市视觉环境,借助深度学习模型挖掘街景内容,并提出了场景表达向量(street visual descriptor)和场景语义树(street scene ontology)两个分析框架。基于香港的实例开展城市视觉环境的定量分析和定性理解,并将学术成果整合到CITYFACE城市影像大数据平台,为数据分析提供了基础。

CITYFACE | AI眼中的街道究竟长什么样

3

研究框架

1.场景表达向量(street visual descriptor)

        场景表达向量由视觉要素组成,用来量化表达特定的城市场景。基于深度学习的场景语义分割方法,计算出图片中每一个像素点所属的语义类别,获取场景中的视觉要素(例如建筑物、车辆、天空等)。形成一个64维向量,向量中的每个维度代表一个特定类别的物体(例如建筑物)在图片中占比。

CITYFACE | AI眼中的街道究竟长什么样

图 1. 基于深度学习的场景语义分割方法

CITYFACE | AI眼中的街道究竟长什么样

图 2. 不同类型道路的街景和其对应的场景要素占比分布

        图2显示了主干道、次干道、高速公路、隧道中主要物体的占比情况,可以看到他们的64维向量有较显著的差异。相对的,通过一张街景图片的64维向量,也可以推它测所在的场景类型或道路类型。

2. 场景语义树(street scene ontology)

       场景语义树表达了城市问题的不同层级要素,例如可持续发展的设计问题可以基于自然景观和人造地物的要素分布。我们梳理了64类的所属类别、层级和关系,提出了场景语义树,如图3所示,白色节点为64类物体,橙色和蓝色节点为抽象的层级和类别。

CITYFACE | AI眼中的街道究竟长什么样

图3. 场景语义树

       场景语义树的建立,进一步方便我们定性的理解场景类型与街道类型,同时定量得分析场景的内容和类别。例如某区域植被的观测过程中,我们既可以关心某一类植被(树木、花、草地等)的具体分布,也可以将与植被相关的6类物体聚合起来,观测植被的整体覆盖情况。


4

基于香港的实例

1.区域和数据

        以香港油尖旺地区为研究区域,沿路网每5米为间隔,采集了源于谷歌街景的41,838 张街景图片。

CITYFACE | AI眼中的街道究竟长什么样

图4. 研究区域:香港油尖旺地区

2.利用场景表达向量观测雨棚和信号灯分布

        如图5(a)所示,雨棚的分布指出了有路边摊位和市场的区域,在城市风险降低和管理方面可以增加关注。图5(b)中可以发现交通灯分布在街道交叉口附近,这与常识一致。

CITYFACE | AI眼中的街道究竟长什么样

图 5. 香港油尖旺地区雨棚和交通信号灯的分布

3.利用场景语义树观测自然植被和建筑物分布

        如图6所示,我们聚合了场景语义树中“Natural”类别和“Building”类别下的所有视觉要素,并展示了其在油尖旺地区的空间分布。我们发现在该地区路网密度较高的地方自然要素分布较少,而建筑物密度较高。

CITYFACE | AI眼中的街道究竟长什么样
CITYFACE | AI眼中的街道究竟长什么样

图 6. 香港油尖旺地区“Natural”类别和“Building”类别的分布

4.场景要素比例和路网空间句法指数的关系

        场景表达向量和场景语义树提供了一个对城市空间进行定量和定性研究的工具。表1展示了油尖旺地区场景要素的比例和路网空间句法指数的相关关系。我们发现 “Connectivity”较高的地区建筑物(building)、人造地物(Construction,Man-made)、动态要素(Dynamic)的占比较高,而自然要素(Natural),天空开放度(Sky),植被(Vegetation)占比较少。结论揭示了城市风貌与城市路网拓扑结构间显著的强相关关系。

CITYFACE | AI眼中的街道究竟长什么样

表1. 油尖旺地区街道场景要素的比例和路网空间句法指数的相关关系

5

城市影像大数据平台运用

       场景表达向量(street visual descriptor)和场景语义树(street scene ontology)与CITYFACE城市影像大数据平台结合紧密,对上海街景影像数据感兴趣的朋友可以访问CITYFACE城市影像大数据平台,8月中旬将开放公测,满足你对城市数据的全部想象。

       CITYFACE 城市影像大数据平台利用人工智能、深度学习技术,综合分析海量图片影像,实现了对街道、城市多指标、多维度的量化评估。

CITYFACE | AI眼中的街道究竟长什么样

图 7. CITYFACE 城市影像大数据平台构成

       目前已可以在平台上获取基于街景影像的行人、小汽车、自行车数量统计数据,对于分析街道、城市不同尺度上的交通流量、路权分配可以发挥重要作用。

       此外还有摩托车、公交车、卡车、红绿灯、停止标志等街道特征的统计,正式公测阶段将提供街道更多指标等你探索。

CITYFACE | AI眼中的街道究竟长什么样

图 8. CITYFACE行人数量统计界面

       在未来的研究中,利用场景表达向量和场景语义树可以为进一步分析城市风貌与社会经济状况、居民活动等的联系情况提供支持,帮助我们更好地理解城市和自然环境。


       欢迎大家在这篇推送下对我们的研究和CITYFACE 城市影像大数据平台提出建议,我们会再次抽取好看的读者赠送邀请码

参考文献

Zhang, F., Zhang, D., Liu, Y., & Lin, H. (2018). Representing place locales using scene elements. Computers, Environment and Urban Systems.

原文始发于微信公众号(城室科技):CITYFACE | AI眼中的街道究竟长什么样