Fork me on GitHub

新一代车联网数据基座架构 - 基于 YMatrix 的最佳实践

以下文章来源于 https://zhuanlan.zhihu.com/p/646789616

导读本文将以从业者的角度分享工业数智化的转型,并以车联网为例,介绍基于YMatrix的最佳实践。

全文目录:

  1. 趋势:拨云见日

  2. 价值:日月长新

  3. 痛点:知易行难

  4. 方案:滴水石穿


分享嘉宾|于成铭 北京四维纵横数据技术有限公司 架构方案总监

编辑整理|王吉东 昆仑数据

出品社区|DataFun


01/趋势:拨云见日

1. 数智化转型



数智化,包括了数字化与智能化;其中数字化是基础,智能化是目标。

数智化带来的价值主要包括两个部分:

  • 一个是大型工业企业普遍关注的降本增效,能给企业带来实际的、可衡量的收益;
  • 另一个是为用户提供创新体验,数智化具备提供给用户"从无到有"这样全新体验的能力。

数智化的实践方向为,将企业核心从物理世界为主、信息系统为辅的形态,转换为数字世界为主、线下环节为辅的形态,即数字原生企业。

具体的实施路线是要将数据作为企业核心生产要素和战略资源,实现数据资产化和数据经营化。并且通过全链路全要素数据打通,实现对全生命周期的产品、流程和服务进行数智化管理,并实现数据的实时分析和应用,从而为企业带来更高的生产效率、更低的成本,从而为客户带来更好的体验。

2.智能网联汽车



智能网联汽车(Intelligent Connected Vehicle,ICV)这一概念是由"智能化"和"网联化"这两个概念组成的。其中,"智能化"是目标,"网联化"是手段与前提。

"智能化"不是简单的有和无,而是涵盖从数据监控到安全舒适、节能、高效行驶,再到智能驾驶、智能出行,是一个量变的过程;其中每一项技术都会随着时间推移逐渐变化和完善,同样也是个量变的过程。

"智能化"每个阶段的突破都对"网联化"有着更高的要求,如搭载更先进的车载传感器、控制器、执行器等装置,以及融合更先进、更高效的通信技术与数据分析处理技术;因此,"智能化"需要以"网联化"作为基础。

3.智能网联汽车数智化转型

具体到智能网联汽车行业的数智化转型,有以下几点体会:

  • 讨论智能网联汽车数智化转型,不能局限于车联网的搭建,而是要着眼于更高的维度。车联网更多是强调服务和运维阶段,而车辆的生产制造阶段也需要通过智能化手段去关注,甚至要更进一步考虑生产制造数据与车联网运营数据的联合。
  • 要从车辆生产制造、营销服务全流程到企业经营层进行全面思考,包括如何在技术体系、组织关系上对转型提供有效的支撑。


上图中可以看出,对于智能网联汽车数智化转型的应用平台,相对通用的能力主要是私有云的基础能力,包括私有云基础设施、应用运维中心、安全保障中心的建设能力等;在私有云能力的基础上,深入着手落实卓越的数据平台,统一数据标准和数据定义,以及数据原生组织协作机制等,最终形成统一能力开放平台,赋能用户创新,实现企业价值。

02/价值:日月长新

1. 车联网赋能全面升级售后服务体验

  • 为客户提供更加个性化、定制化的售后服务,包括车辆驾控功能服务、车辆后市场服务、出行服务、生态服务等,让车辆的售卖和维保不是价值呈现的终点,同时提高客户忠诚度并增强车企品牌形象与竞争力。
  • 借助全周期数字化运维平台,将场景数据、车辆数据等回传信息处理整合分发至数据需方。
  • 数据需方包括整车厂研发部门、4S店运维部门、第三方服务部门等。
  • 各数据需方基于各自领域的算法和应用为客户提供数字化服务,共同组成数字生态,完成客户的体验升级。


2.车辆行驶过程与运行模式分析

  • 车联网数据分析的基础是车辆状态的判定,如按静置、充电、行驶等状态分段,大量的后续算法依赖于此。
  • 而车辆行驶状态的判定需要逐行、前后行的数据变化判定,这依赖于面向过程语言的分析。
  • 车联网海量数据分析的难点是如何将面向单车的、面向过程的算法应用于所有待分析的车辆且分析过程高效。


上表列出车辆行驶过程部分关键变量,以及核心的预警逻辑,用来判断典型的故障预警,包括充放电过程预警、温度预警、SOC预警等;并将核心预警逻辑从算法中被剥离出来,形成智能巡检,将算法结果推送给运维人员。

3.基于机理与大数据的车辆故障预测性维护

  • 预测性维护是技术方向,也是服务理念,其价值即包含显性的降本增效,也包含隐性的客户满意度。
  • 基于融合车辆设计阶段、试验阶段的数据平台。通过机理与大数据技术的结合,将其理论建模与实际数据相结合,针对关键部件部署预测性维护算法。
  • 分析不同的工况下的数据表现,在部件发生故障前定位问题,提前介入维护,降低整体风险与成本。
  • 提高车主对信息的掌控度,让车主更自由的安排维修保养,把客户满意度提升到新的维度。


4.预测性维护常见技术路线------机理+大数据



以一个人为例,一个人在100米跑、1公里跑、20公里跑的状态下,以及在安静状态、吃饭状态、睡眠状态下,都会有各项的指标。以心跳为例,传统的指标是定义一个固定的阈值(比如170或180这样的数值)作为上限,测量数值一旦达到上限就报警,这是最基本的阈值管理;然而实际上,如果一个人在睡眠状态下心跳达到了100甚至110,就可以判断其状态不正常了,而这个是传统阈值所检测不到的。



回到上图汽车的例子,旋转轴承的偏心是其中的一个测量变量,如果使用单阈值的方式,那就只会在轴承偏心超过一定阈值的情况下报警;而如果将偏心结合压力、速度、温度等因素综合考虑,在一定的状态下,当其他取值在一定范围内而偏心过高的情况下,轴承就已经存在问题,这种方法比通过单一阈值的方法能够更早地发现问题,从而更早地介入处理,间接节省了部件的成本。

因此,预测性维护的主要技术方式是:

  • 基于数字孪生的预测性维护=异常识别(预测模型)+故障推导(故障机理)
  • 收集丰富工况下物理对象的状态矩阵,并将它们汇聚成基准状态空间,即为数据驱动的数字孪生模型。
  • 此模型能够根据当前工况,预测出这个工况下状态"应该"是怎么样的,通过它与现实状态的偏差识别异常。
  • 根据异常指标的组合,结合专家知识,判定可能的异常根因和应对方法。

5.基于生产工序数据的准确溯源追溯

生产制造领域,最核心的一点是对生产数据进行准确的溯源追溯。

  • 提升车企的品牌信誉和消费者信任度,降低企业的召回风险和成本,提高效率和运营管理水平,实现可持续发展。
  • 由于不确定哪些产品和原料会在未来产生问题,因此在部署追溯系统的过程中,不能是特定产品与原料的简单覆盖。
  • 通过全量生产数据接入与高效的关联分析,让追溯达到对生产环节的"人、机、物、料、法、环"更全面的覆盖效果。


通过溯源追溯,把整个生产工序中包括原料、工序、成品等每个环节的输入和输出串联起来,不仅可以实现故障的溯源追溯,更重要地是实现更全面的全生命周期管理。

6.业财融合与生产过程监控

业财融合与生产过程监控的意义在于:

  • 通过融合采购、工厂运营、人力资源与生产制造数据,建立业财融合体系,实现业务与财务视角的统一;
  • 让生产制造运营者可以及时发现并解决产线各类问题根因确保产能,直观透明的成本投入产出呈现为降本指明了方向;
  • 通过实时汇聚各生产执行系统数据并与历史进行对比,强化生产过程流程监控,优化信息化系统的接口和对接,建立可视化可追踪、高度柔性的生产过程监控,解决生产执行中的异常无法及时发现,影响生产效率等实际问题。


7.基于产品指标的工艺优化

通过前后工序的关联整合,分析生产过程中同一类设备在某一工序各项指标的历史表现,通过现象促使我们追溯机理,进而实现基于产品指标的工艺优化:

  • 基于各生产基地、前后工序的数据互联互通与汇聚融合;
  • 通过对产品生产制造前后相关工序的工艺参数与对应产品的检测指标数据进行批量分析;
  • 洞察过程控制指数的同时,可以在顶层视角发现潜在的关联关系与规律,如车身冲压、焊接参数对总装的影响;
  • 进一步地,通过生产工艺参数与产品运维阶段数据的批量联合分析,找寻潜在关联。
  • 从实际的产品数据表现找到可信的工艺参数优化方向。


以下图为例,也许设备的数据在单一维度下的观测值(均值、方差、离散系数、箱线图等)并不"突出",但是当统计维度发生变化,通过"类比"可以发现设备的异常:



首先基于其中一套工序的SN,通过装配关系表将其递归到另一套工序的SN;然后通过另一套工序或设备进行分组统计后续工序中的整体表现,这样可以得到在前序工序下不同设备、不同工艺参数选择对后续带来的影响。

03/痛点:知易行难

1.顶层痛点:理念难统一,价值难量化

企业转型升级的愿景是美好的,但现实的道路却荆棘密布。根据麦肯锡对全球800多家传统企业的数字化转型调研,大约70%的企业停留在转型试点阶段,无法实现价值和竞争力的突破。转型阶段性成功的更是少之又少。

  • 缺少合理的顶层设计,点状应用难以集成。
  • 数据基础差,制约智能化创新。
  • 技术应用难以突破试点。

数智化转型其本质的难点在于其价值链过长:没有一个老板不支持数智化转型,但没有⼀个老板无条件支持数智化转型。因此,好的转型既要高瞻远瞩,又要脚踏实地;既要短期有效果,又要长期有视野。

2.底层痛点:缺乏适用于数智化转型的数据基础设施

上述痛点具体到工业行业,主要的现状在于缺乏适用于数智化转型的数据基础设施:

(1)业务单元和应用场景多样:

研发中心、售后诊断、报警预警、数字汽车、电子围栏、驾驶行为分析、电耗分析、充放电分析、驾驶循环等各个部门都对数据有需求,且需求各不相同。

(2)数据量大指标多:

  • 生产溯源数据随产量和时间膨胀,传统平台触达存储计算瓶颈;
  • 车机信号可达每天几十亿条,指标从几百到几千,写入量大,容易延迟。

(3)采集和上报频率多样:

固定采集和变化采集,实时上报和延迟上报,延迟上报时间不可控。

(4)数据类型与数据分析多样:

车机、埋点、GPS等数据,涉及时序、文本、JSON、地理位置等类型数据。

(5)数据处理、分析效率低:

胶水代码泛滥,执行缓慢,影响判断时效,影响迭代进程。



具体到架构实现角度看,数据往往通过消息中间件进入系统,进而通过Hadoop体系进入HBase、Flink、MySQL、ES等架构。然而,不同的组件、不同的技术栈会带来很大的数据迁移成本以及运维成本,导致整个过程效率低下:

  • 数据接入慢,数据迁移难;
  • 技术栈膨胀,开发迭代慢。

04/方案:滴水石穿

1. 制造服务融合数字化转型架构

智能网联汽车数智化转型中所产生的价值,依然可以从职能上划分各自领域,但具体的实现已经离不开业务间的数据融合,融合甚至跨越制造与服务的界限,贯穿整个链路。与其说数据孕育智能,不如说信息融合孕育智能。因此,信息的交互不仅仅需要简单的数据互通,其数量、质量、分布、多样性、标签缺⼀不可。数据标准,数据质量的作用不容忽视。



如上图所示,生产制造大数据平台和车联网大数据平台基于统一的数据基座进行多源异构数据的交互和融合。

生产制造大数据平台的数据主要来自MES系统,上层基于MES系统中各地各类业务数据、设备指标数据、设备状态数据以及生产过程数据,完成产品溯源、业财融合、供应商管理、预测性维护等业务。

而车联网大数据平台内部基于服务器内置的数据回传模块(T-Box),实现客户关系管理以及边缘数据落地等功能,最终完成数字化营销、产品运营与健康管理、智能网联汽车预测性维护等业务。

(1)车企智能制造顶层数智架构



如上图所示,各地各业务数据建立本地MES系统,包括生产运营系统、运筹执行系统、全面运营管理等,在边缘数仓完成本地业务的处理;各边缘数仓的数据回传汇聚至总部数据平台,由总部统一提供各类应用能力;边缘端也具备应用能力,但仅限本地数据。

(2)智能网联汽车顶层数智架构



车联网的底层架构不同于智能制造,因为车联网数据是存储至大数据集群的。通过数据网关,通过Kafka或对象存储,再经过消费程序进行必要的数据清洗,然后进行负载均衡处理并入库,最终汇聚到大数据集群中。

经过以上一套流程,数据全部存储至数据库中;上层应用首先基于各项业务,从操控、使用、性能、用户行为、环境、工况等各个维度进行特征提取,从各自视角构建数据明细层,供上层算法分析使用。

算法分析包括以下三大类算法:

  • **指标探索:**对数据指标进行最新值查询、窗口回溯、聚合计算等操作、或者基于几个指标的函数进行业务指标的二次开发,通过 API 对外提供接口服务;例如:最新值、峰值、峰值差、跳变,聚合等等;
  • **数字汽车:**为每辆车进行数字孪生建模,记录每辆车的全量数据并进行统计分析,勾勒出用户的通行习惯,创建用画像,如:互联网日常通勤族、接送孩子的家庭用户等等标签,为个性化的用户服务提供支撑;
  • **报表分析:**提供日常经营报表分析,并为数据科学家提供平台,实现算法建模,面向全量运营车辆分析发掘共性问题,以数据驱动整体运营效率。

更上层的业务应用包括售后服务、行为预警、轨迹查询、车险优化、充电桩选址等业务。

(3)适合数智化转型的人员组织架构调整,位置决定视角

下面分享一个华为数据之道中采用的数字化的架构。



①数据 Owner

1)公司级:

  • CDO(首席数字官)

2)领域级:

  • 实线汇报质量运营部
  • 虚线汇报公司级数据 Owner

②数据管理部

1)公司级:

  • 实线汇报质量与流程IT管理部
  • 虚线汇报公司级数据 Owner

2)领域级:

  • 实线汇报业务领域 GPO
  • 虚线汇报公司数据管理部

3)内部角色:

  • 信息架构工程师
  • 数据治理工程师
  • 数据平台工程师
  • 数据分析师
  • 数据科学家

上述架构的一个特点是:有专门的数据owner和数据管理部。上述架构仅供参考,不一定每个企业都要照搬上述架构,而是需要思考:在实际数字化转型过程中,部门间的协作有没有因为企业架构而带来阻碍?如果有,就需要做出改变。

2.统一数据标准与模型,统一数字"语言"

(1)数据标准:确保数据一致的关键



如上图中左表所示,不同的部门对同一客观事物的描述用词会存在差异性,因此存入数据库就会出现不同的字段,这样会给后期联合分析带来极大的麻烦;因此,制定企业内部的数据标准,是确保数据一致的关键。

(2)数据模型:对数据和关系的描述

除了构建统一的数据标准,还需要构建数据模型,从数据视角对现实世界进行特征的模拟和抽象,根据业务需求抽取信息的主要特征,反映业务信息(对象)之间的关联信息,实现对数据和关系的描述。

以一台车为例,在这套数据模型体系下,通过车辆编号、地理位置、客户信息、制造数据、运营数据等维度将这辆车的整体信息描述出来,这是实现将生产、制造和运维阶段的数据进行融合的基础。

3.卓越数据基座,满足海量数据存储、计算、分析与融合

第三个基础是构建卓越的数据基座,要满足以下能力:

  • 海量数据接入能力
  • 各类数据场景处理能力
  • 实时计算能力
  • 高效执行可预计的批量任务
  • 不可预计的临时任务开发方便
  • 丰富的数据分析方法支持
  • 标准开发语言,低门槛,可传承
  • 安全稳定的数据服务


4.YMatrix 超融合数据库

传统的数据架构类似"搭积木",结构复杂,不易维护;四维纵横自研产品------YMatrix 超融合数据,基于多核数据库技术,使用一款数据库支持几乎所有数据类型的所有操作,可实现时序明细、最新值、关联查询、实时分析、离线分析等功能,大大提高了数据的查询分析效率。



5.YMatrix超融合数据库架构

YMatrix数据库支持所有存储类型的所有操作,外围工作(Dirty Job)只需完成⼀次,不断迭代。

下图是YMatrix超融合数据库的整体架构,将车辆制造数据和运行数据接入到系统中,系统通过多模引擎支撑不同的数据类型和不同的数据操作方式,内建python、SQL、C等不同分析语言,通过接口支撑前端开发应用和数字化应用。



6.性能卓越、分析高效,快速实现数据洞察

下面以几个例子来说明YMatrix的性能:



YMatrix TPCH数仓性能为 HIVE 的26.7倍。

YMatrix 的TPCB测试并发性能超 150 万 TPS。

YMatrix SSB 性能优于 ClickHouse 30%以上。

7.SQL 内建面向分析与查询,计算贴近数据

对于车联网分析这一应用场景下,使用面向过程的语言,将一辆汽车的分析流程应用到海量汽车上,主要方法是将python代码注册到数据库内成为数据库的内置函数,进而通过SQL的方式调用实现这部分功能,利用服务器资源实现多台设备的并行分析,相较于传统的方式会更加高效。

数据库的内置函数主要支持以下两种:

(1)Python/R/Java

  • 应用Python/R/Java代码原地处理库内海量数据,大量函数库支持,Pandas、Numpy等。

(2)TensorFlow/机器学习

  • 使用主流AI库对数据库内部海量数据原地训练和分析;
  • 监督学习、无监督学习、统计分析、图计算等。

以上就是本次分享的内容,谢谢大家。




本文地址:https://www.6aiq.com/article/1690644611721
本文版权归作者和AIQ共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出