AI+大数据+IoT：G7的架构实践

近来，5G概念的提出以及最近的落地实行，包括对AI数据的要求，对工程师的挑战都将越来越大，大数据该怎样去利用并运作？大数据应该如何和AI等产业进行结合创新？

针对大数据时代下数据可以如何去运用的问题，G7基础研发平台首席架构师王刚在易观“开源与生态——开发者专场”进行了题为《G7 - AI+大数据+IoT架构实践》的主题演讲，以下是演讲实录。

1.什么是物流IoT？

G7是致力于建设中立、开放的技术平台，构建产业互联的生态系统，通过「AI+IA」（人工智能+智能资产）战略，赋能物流企业与车队客户、提升行业整体效率的企业。截至目前，G7服务的客户超过6万家，连接车辆超过120万台。

什么是IoT，这是来自灵魂的拷问，各位可以百度一下，最简单的说就是Internet of Things。那么物流是什么？简单概括最重要的就是“运输”这个词。

物流IoT就是通过物联网的技术来进行对运输过程的实时管理、跟踪和监控，这样看起来还是相对比较可以理解的东西。

我现在所属的团队主要负责的是车队管理的SaaS基础平台，我们做了大量的优化，构建了物流IoT中台，在上面支撑了3大核心业务，一个是安全保险业务，一个是金融结算与能源服务，还有一个就是智能装备。

下面就是G7的技术体系，最下面这一层是我们的设备端，中间有网关，有业务平台，还有业务系统，最上面有前端、移动端，再加上独立出来的运维体系，如果你把最下面的这一排“设备端”抹掉，你会发现这跟互联网公司的架构几乎是一样的。

2. IoT物流模式下大数据的体系架构

最下方的大数据基础设施就是标准的开源体系，在其上有算法平台、业务建模以及数仓，我们把算法平台放在模型和数仓的下面，更多的是因为可以抽象后作为一个基础能力，在G7很多场景中都会用涉及到算法的复用。

有一个最有特色的叫做G7Brain，这是为车队的队长提供一个智能化的如何运营、服务、管理的好东西，由于和本次课题关联性不太大，以后有机会再详细说说。

3.大数据下物流IoT的核心

G7的数据处理也是用的常见的Lambda架构，车辆有一些基础的信息，这些信息可以通过车载设备获取到并定期的上报到服务端，在上报时会遵从G7定义的协议，我们称之为报文，在服务端收到报文后有网关做解析，报文会经过两条管道分别处理后存入HBase或者Hive。

网关比较有特色，是专门针对在IoT场景下的多平台分路网关，这是G7的全球首创，当前正在申请专利，网关也和本次课题关联性不太大，以后有机会再详细说说。

在网关将协议解析之后，数据将直接推送到Kafka，G7的Kafka是所有技术中最繁忙的一环，平均每秒有90万消息会在Kafka流入/流出，峰值时甚至会达到150万每秒。在Kafka上我们有一套GMQ管理系统，在内部通过GMQ保障所有Kafka集群的稳定、高效运作。

公司流计算这块用的是Flink，这也是Flink在IoT领域中全球首家落地支撑核心业务的案例。Flink每天处理40亿+的数据，这些数据一共是4T，车机事件每天有4000万左右，Flink中还有大量的平台事件计算，平台事件主要包括进出区域、疲劳判定、超速、怠速等，这些都是我们Flink计算的。近期也将会有实时机器学习的风险预测算法在Flink内上线发布。和Kafka一样，在Flink之上也构建了一套Glink管理系统，在内部通过Glink保障所有Flink任务的稳定、高效运作和资源隔离、调度。

HBase中存储的数据具备5要素，也就是who、 when 、where、what、how，who就是我们的上报的设备IMEI，地点就是GPS信息，事件就是发生的事情，从上报到入库完成整个流程的时间是500毫秒。

我们刚才说的那些500毫秒，结合起来就是这样一个大屏，这个是22号的，屏幕上这些红紫色的点，就是高危车辆，这只是14：45：33这一瞬间发生的高危车辆大数据架构图，另外在截止到下午接近3点钟的时候发生了15起碰撞和侧翻的事件，这些事件随时随地都可能发生，一旦发生都会实时的在大屏上呈现出来。

离线这块，我简单的找了几个案例，第一个案例是装卸点的识别，有些司机会半路悄悄的卸货，我们针对装卸点做了识别算法，能够把货车的摄像头虚拟成像，根据时间，识别出来卸货、装货的情况，这个也是申请了专利的。

4.大数据物流IoT下的安全保险

美国的高速公路安全局统计的在美国发生的事故，每3000个司机发生事故就有一个人死亡，重伤是303，这是千分之一的概率，中国有2000多万的司机，每一年车毁人亡的事故是5万，折算一下比美国的比例还要高。

很多货车在发生交通事故的时候，影响的并不是一个车的事情，而是一串车、几个家庭的事情，我们为此成立了安全保险事业部。

物流的流动性特点决定做安全保险不能纯粹的依赖于平台端的，中国有大量的信号盲区，G7在安全保险方面是主要由设备端为主，通过设备、平台、人、AI服务结合起来做的安全服务。车辆行驶在网络信号的盲区的时候，我们就纯粹的让车机去做算法。安全事件发生后，AI会第一时间介入，如果AI介入无效，再由人介入。

5.硬件智能化浪潮正深刻改变传统领域

智能家居、智能穿戴、智能终端……越来越多围绕生活、工作场景的硬件设备正实现联网智能化，并形成“人与物”、“物与物”的连接，同时带来了数据分析的新应用探索。

用户什么时间用设备？用的是设备的什么功能？反馈出怎么样的数据洞察？这些洞察最终会变成业务价值，驱动产品改进与优化，实现业务上的精益成长。

易观方舟在相关行业应用案例：

作为九阳旗下专注于研发胶囊饮品机的独立子品牌，Onecup的定位着实让人眼前一亮。在继承了九阳健康优质品牌血统的同时，Onecup将欧美盛行的胶囊咖啡机，与在我们国民度极高的豆浆机完美融合，利用先进的萃取技术，将豆浆的制作时间从30分钟压缩到1分钟，做到1颗胶囊一键式即时畅享。

依靠易观方舟这样的数据智能平台，智能硬件企业可以能加便捷高效地开展数据分析、用户管理和产品迭代工作，帮助运营人员以更低的上手门槛实现自动化运营。

创维集团旗下的家电服务提供商“安时达商城”，拥有线上平台、线下服务网络以及及多元化服务能力的安时达。

朝着国内领先的到家服务平台发展的安时达，携手易观方舟通过后续在数据智能和精细化用户运营方面深度合作，研究用户消费习惯，挖掘用户需求痛点，共同为消费者/品牌方提供更加高效便捷的到家服务体验。

易观方舟针对智能硬件的解决方案，侧重于将庞大的线下用户群引流到线上，形成私域流量，通过线上运营实现用户数据价值的再度挖掘。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!