StreeTalk,给你一个感观世界

StreeTalk,给你一个感观世界

1 背景

这个项目来自于去年上海市经信委主办的城市开放数据竞赛的一个作品,和其他项目不同的是,这个project没有采用官方提供的开放数据而仅仅由三人完成。虽然这项工作还不完整,距离推向市场的产品仍有一定的距离,但我们依然很喜欢这一产品,所以今天将他在这里做一个简单介绍,希望大家喜欢。我们三人的微型团队收获十强,并见诸包括新华网、人民网等各主流媒体。


StreeTalk,给你一个感观世界

2 基本理念

整个idea源自于一个很小的故事:两个月前我约了朋友去吃饭。因为刚搬家不久,对于周围的环境不是很熟悉,于是机缘巧合的使用了高德的步行导航,搜索去近铁广场的步行路线。惊讶的是,我发现它给我导了一条非常阴森恐怖的道路。整条路上人行道破败不堪,没有路灯,且更没有沿街的店铺。事后我才知道这条路的围墙背后竟是一个在拆迁的棚户区。当我胆战心惊地回到家里,始终在想着同一个问题。“为什么要给我导这么一条路?”

StreeTalk,给你一个感观世界

其实答案也很简单,仅仅因为“时间”两个字。没错,这条路确实是走到目的地最快的路,可事实上这么阴森的路被导航仪推荐出来有种毛骨悚然的错愕。换做一名女生来走,估计情况会变得更糟糕吧。

StreeTalk,给你一个感观世界

3 研究方法

那么又一个问题来了,除了时间,可不可以用别的标准来衡量?譬如在这件事中,我更在意的是街道的“安全感”。可是安全感该怎么去衡量和计算呢?大家请看这样的两幅图:相信如果可以选择的话,多数的人宁可绕路也不愿意走左边这条路。因为它看起来实在是太不安全了。

StreeTalk,给你一个感观世界

其实把街道照片两两比较是一种很好的方法。MIT的Media Lab在几年前就采用了同样的思路来统计人们对于街道的安全感。他们也是每次给两张照片,询问被访问者哪张看起来更安全。当他们积累了120多万次的点击之后,通过计算,每张被比较的照片都可以处理为0-10的安全感评分。


StreeTalk,给你一个感观世界

可又一个问题来了,即使可以用同样的方法来为我们国内的街景照片像这样找人来打分计算。但当面对数千万的城市街道图像的时候,这分可怎么打得完?这时候就需要人工智能了,为了克服这问题,我们采用了深度学习的技术,让计算机从已打过分的每张照片中抽取深度图像特征。


StreeTalk,给你一个感观世界

然后再通过多任务学习的方法,我们给上海市230多万张城市街景照片进行了分类。这里我们选取一些打分的结果给大家看,区别还是挺明显的。同样以10分为满分,高安全感得分的街景照片,多数有着丰富的绿化、 干净整洁的马路,而低 安全感评分的街景照片中,我们则看到了各种脏乱差的环境,没有公共设施、没有人烟,甚至很难想象这里是上海。


StreeTalk,给你一个感观世界


4 应用案例

更进一步,我们希望这些计算结果为人们的出行提供帮助 。所以我们做了一个安全感评分地图,具体见如下的Demo。我们将这些打分移植到了路线规划上,当人们在选择出行的时候,系统将自动计算沿线每段道路的安全感平均分。譬如以决赛场地现在所在的市北工业园为例,如果我们打算步行去大宁公园,从距离上看确实还不错,不过这个安全感评分有些路段似乎并不是特别理想,我们可以点击具体路段查询周边的街景照片,可以看出确实上面这段的街景照片和下面的给人感觉有一定的差别。话说还记得我之前说的我家那条破路么,它的安全感得分只有4分。

【城室科技】StreeTalk_Demo1—在线播放—优酷网,视频高清在线观看视频

http://v.youku.com/v_show/id_XMTg4NDM5NjMwMA==.html

不仅如此,接下来我们的关注点还将从整体感知进一步转移到物体感知。就好比将这张照片分解为各个有意义的原素,比如不同的车类,标示、人、植被等等。因为如果能知道街景照片中,具体哪些要素在影响着人的感知的话,那么就能为城市研究、城市规划提供决策支撑。

StreeTalk,给你一个感观世界

StreeTalk,给你一个感观世界

同样的方法也可以用在安全感上,我们挑选高分和低分的两组照片,让计算机标出来他认为哪部分更起作用。


StreeTalk,给你一个感观世界


我们发现在高分区的照片更多的高亮了绿化、人、店铺、书报亭、甚至开阔的马路等等,还挺有意义的。而低分区呢则清一色地明显框出了各种脏乱差集中的地方。


StreeTalk,给你一个感观世界

这第二个Demo将展示我们要素识别的更高级的技术 。第一种称为物体检测识别,我们可以在视频中标出高达80多种的要素,囊括了小汽车、卡车、公交车、自行车、行人、路灯、甚至花坛等等,而第二种技术称为场景语义分割,该技术则精确到了像素级的划分,可以把道路、天空、建筑等完全切割区别开来。


【城室科技】StreeTalk_Demo2—在线播放—优酷网,视频高清在线观看视频

http://v.youku.com/v_show/id_XMTg4Mzk5NTEwMA==.html

各位朋友如果有兴趣尝试我们的StreeTalk产品,可以发邮件给我们:liuliu@citorytech.com

最后再附上一个我们当时的团队介绍视频,委托一位视频剪辑编导所做,很带感:

【城室科技】StreeTalk_团队介绍—在线播放—优酷网,视频高清在线观看视频

http://v.youku.com/v_show/id_XMTg4NDY4NTczNg==.html


以上就是这次决赛介绍的主要一个产品,另一个关于街边摊的工作下次另文介绍。有兴趣的朋友也可以在这里观看:StreeTalk 项目 – 城室

http://www.citory.net/streetalk/


CitoryTech 感谢你的支持

原文始发于微信公众号(城室科技):StreeTalk,给你一个感观世界