京东刘海峰:京东技术架构的边界还在延伸

京东刘海峰:京东技术架构的边界还在延伸

半个月前 原创 至顶网CIO与应用频道

2018年7月10日-12日,2018中国大数据应用大会在成都召开,大会以"大数据赋能数字中国"为主题。会上京东基础架构部副总裁刘海峰接受采访表示,京东的基础架构一直在不断完善,主要分为计算、存储、中间件、共享等,京东还有着自己的研发体系,未来所有的创新也都将从业务需求出发。

以下为采访实录:

主持人:您负责京东的整个技术架构,请您介绍一下京东技术架构的研发体系?

刘海峰:我是2013年加入京东一直做技术架构的建设,技术架构顾名思义就是整个京东商城,乃至整个京东集团一些共享的技术服务,主要包括:第一个是存储,第二个是计算,第三个是中间件,第四个电商共用的一些整体的工程实施的工作。

第一方面,存储主要是分成非结构化的数据存储,主要是商品图片为主的一些对象存储的服务;结构化存储主要是数据库的工作,当然还有缓存,还有一些检索类的存储的服务,整体构成我们整个存储的技术体系。

第二方面,计算资源管理,我们需要对多个区域,多个数据中心所有的计算资源做统一的管理和调度,去满足在线服务,甚至离线计算的一个统一管理和调度的需求,一方面能够提升计算效能,另外一方面也通过智能化的调度,能够降低整体硬件的采购成本。

第三方面,电商的中间件,也就是我们可以把共性的一些电商应用的架构,以及基础的服务把它抽象出来,形成一种共享的服务,去支持所有的业务,然后提高应用开发者的效率。比如说中间件服务里面最核心的两块,一个是我们微服务的框架,把服务端整个微服务开发的整个的框架抽象出来,让大家更快地去开发服务端的应用。另外一方面就是消息系统,或者说数据总线,通过可靠的消息的传递,去做服务之间的异步化和结耦。

除此之外可能还有很多共享的,或者说一些中长期的工程上的实施,比如说异地多活。另外还有我们每年大促整体工程的协调,这也是一些共用的技术工作,怎么样做故障的演练,怎么做全链路在线流量的压测,还有整体一些资源的规划等等。

主持人:京东目前自研的多一些,还是开源的技术多一些?

刘海峰:可能这个不能一概而论吧,更多是相结合的,我举个例子,比如说在计算管理,在弹性计算,或者说在数据中心操作系统这方面,我们主要是基于开源的技术,最早是OpenStack,现在更多的是基于Kubernetes,Kubernetes是一个非常好的开源项目。在今年年初,我们也加入了Kubernetes背后的CNCF基金会,成为白金会员。在分布式存储,以及中间件体系,我们主要是以自主研发为主,这个道理更多的是因为有很多自己独特的一些业务需求,我们会把它变成自己的一个核心的技术能力。

主持人:产业内开源技术种类特别繁多,传统企业沟通对于开源技术甚至都很难去评估和选型,京东而言是怎么考虑这些技术的路径选择?

刘海峰:在做一个项目,在解决一个具体问题的时候,我们会根据现在团队和现在公司一些技术积累,也会对外面开源,或者其他公司工作做一个充分的调研。整体看近期的目标和中期要达到的目标,避免重复造轮子。以计算资源管理而论,之前做私有云,OpenStack相对来说比较成熟,自己开发的话可能要有很多重复的建设,所以说我们在整个2014年、2015年更多是通过OpenStack。所以说开源有很多时候也是很多工具,你怎么样去组合它,这里面依然有很大创新的空间。但是在2016年1月份的时候,那时候OpenStack最成熟,然后Kubernetes整个新的容器集群管理的平台,我们团队通过研讨发现新的机会来了,Kubernetes作为新的一个技术的平台一定会有更好的发展,它更适合大型企业,内部更弹性的计算资源调度的需求。所以我们果然从OpenStack切换到Kubernetes,在这过程中我们也做了很多的创新,比如说我们把在线应用,中间件,缓存和database,以及后端的离线的计算,统一编排的一个大的平台里面去做削峰填谷,智能化的调度。所以说总结一点,应用什么手段,就是自己去造一把锤子和买一个锤子,这不是关键的问题,关键是说你怎么样去解决实际的业务需求。

主持人:无论是在营销的过程,还是运营的过程,您从基础架构的角度而言,谈谈数据在哪些部分发挥的作用?

刘海峰:京东是一家零售企业、电商公司,从物流角度它也是一家物流的公司。但是从单纯的技术角度,京东绝对是一家大数据的公司,京东B2C的模式有很多海量的高质量的数据,但所有的数据,最核心、最基础的是商品,所以你可以认为商品的数据是京东整个业务和产品的一个基石。那么在整个海量商品的管理过程中的话,我们有很多独特的一些技术挑战,比如说商品数据怎么样去存储?怎么样去计算?怎么样去挖掘和学习?

京东对商品的数据或者我们整体的大数据,我们主要做两方面的事,第一个是不断地提升用户的体验;另外一个,向后来看的话,是提升我们的运营效率,或者说更好地去赋能商家以及我们自己内部的采销。那么面向消费者这部分智能的话,我们更多的是去做千人千面,去做个性化的这种用户体验的提升,这部分工作不光是搜索推荐和广告,其实还包括对前端,对商品图片,我们要做很多的工作都是围绕消费者的体验。怎么样去提升自己的运营效率,是我们对所有的商品定单,所有的数据做深入的挖掘,去更多指导我们整个供应链,以及内部采销的一些行为,当然也赋能商家。

主持人:要支持这么多的业务范畴,研发体系是整个公司最有价值的部分,但是往往也是资源相对稀缺的部分,您怎么去平衡调度这些不同业务的需求在其中的关系?

刘海峰:这是所有公司都会面临这样一个挑战,对于京东来说,我们现在可能有一万多人研发的团队,大家分成很多很多的部门,我也负责基础架构部。以我的部门为例,其实我们很多的客户是各个业务线的应用的开发者,在这个过程中的话,我们要评估很多比如说对计算,对存储很多资源的需求,我们更多通过两种手段,第一个是通过技术的手段,不断提高自己的技术能力,让整个的架构的发展,让计算和存储的服务不再成为问题。第二,也会通过管理和合作,建立这种默契和信任,然后一起把事情做成。

我举一个例子,比如说我们每年的大促,都面临着资源规划以及加计算资源的这样一个问题,其实是随着这几年的发展,我们做了智能化的计算资源的调度,我们通过超卖还有一些抢占式的资源调度,能够使得大促的计算资源分配不再是问题,只要是合理的一个范围内,大家可以增加它任意所需的计算资源,这个资源实际上是通过调度,通过一个更好的智能化的一个分配,通过技术手段去创造出来的。也就是说我们一次大促,通过一个智能化的调度然更进一步的平台化,提高整体的效率,降低成本。

主持人:现在大促对京东的技术研发体系还是一个挑战吗?

刘海峰:坦率地说,在前些年的时候,挑战还是蛮大的,因为公司发展速度非常快,我们很多技术需要完善。但最近这两三年的话,大促对我们来说更多的,相对来说,技术备战也越来越轻松了,它更多的成为我们一个party,一个文化的传承。

比如说我们在这几年过程中,我们演化出了很多的大促的工程的方法。比如说每年大促,我们都会做三次全链路的压测,用一种类似人工智能的方法去模拟人的行为,部署在全国各地的很多代理节点上,然后我们会模拟并发一千万个用户同时访问京东下单,这样对所有的线上系统做一个全链路真实流量的压测,这个是通过很大的工程改造实现的,通过类似很多这种技术上不断地前进。

主持人:您作为技术架构体系的负责人,您日常的工作范畴是怎么去管理?

刘海峰:我们大概有300人的团队,分成存储、数据库、图片服务、应用运维、中间件等等很多的方向,主要的工作的线索分成两条:第一个就是纯技术的研发,比如说我们专门有团队做数据库。另外还有一条线,根据业务的需求,跟其他团队去广泛合作,其实在一个大的互联网公司做技术架构,只有把纯的技术系统的经验,跟这家公司业务的发展,和他们整个产品研发的需求紧密结合的时候,才能发挥最大的价值,主要是按照这个思路来定的。所以一方面就是脚踏实地,另外一方面就是能够志存高远,并且能够了解业务的需求,能够往前看一步,保持一定的前瞻性。我基本的心得可能是这样的。

主持人:作为一个优秀的架构师需要具备什么样的素质和条件?

刘海峰:三方面,第一个方面,要有扎实的技术的基本功,很多必须要从一线做起来,有很强的编码、算法和工程的能力。第二个方面,要对公司的业务各个方面有一个比较好的理解和把握。第三个方面,需要有一些软的素养,就是大局观、沟通能力、表达能力,要能够跟团队一起工作。

主持人:京东在整个技术的理念是怎么样的?在新技术上采取什么样的态度?

刘海峰:对于一家稍微成规模大的企业来说,就是多样性跟统一性的一个平衡,另外一方面,你整体公司的技术对战也要有一定的规整性,当然也要鼓励创新性。但是在一些具体的产品上,可以有一定的多样性和尝试性,而且对于一些新的技术,我觉得很多时候需要去用一个辨证的眼光来看。最终还是看怎么样一个取舍,能够对公司整体的技术实力发展最有帮助,而且很多时候还是不能做一个纯粹的跟随者,要做一个推动者。

主持人:未来整个京东基础架构创新还有哪些方向?

刘海峰:京东一直是一家比较务实的公司,我们的一些基础创新也都是紧跟我们业务的需求,必须要创造商业价值。主要的基础创新还是两个方面,第一个还是夯实电商基础,一方面我们要进一步提升消费者的体验,比如若千人千面、用户体验的升级迭代。另外一方面,商城的中台的可扩展性,我们都在做大规模的重构,希望能够支持京东后面更大规模的扩展,以及在全球海外的布局。

同时我们也在使用机器人和人工智能的技术提升运营效率,这更多是体现在物流部分,希望能够把仓、配,还有一些其他物流环节自动化。比如说仓储里面的一些机器人。在这个过程中有很多技术的挑战,也是挺期待业界的同行,不管是工业界,还是学术界的同仁们,能够多多关注和支持我们。

分享到微信分享到其它
2018中国大数据应用大会
科技行者 每条内容都是头条的新闻客户端 APP下载
即将跳转至电脑版页面您确认跳转吗?
取消 跳转