"人-机-物智能"的挑战、思考及应用实践

  作者:迎九 时间:2024-05-09来源:EEPW

编者按:注:根据杨天若教授在第21届CCF全国嵌入式系统大会上的讲演整理,未经讲者确认


1   智慧城市与人-机-物智能

随着以信息技术、人工智能(AI)为代表的新兴科技快速发展,我们正在进入“人-机-物”三元融合的万物智能互联时代。为了实现人-机-物的互联互通,是否可以找到类似TCP/IP协议等计算机业的标准元素,并研究它们的共性,以服务智慧城市(智慧交通、智慧社区、智慧家庭等)应用?

1716279717296907.jpg

但是现在还没有什么核心技术和关键理论(后面会有杨天若教授理念的简单介绍)。为什么还没有什么相关理论?因为三元空间的差异很大。三元空间主要由三部分组成:信息空间、物理空间和社会空间。

●   信息空间:主要是计算、通信、控制,特点是离散的、逻辑的、数字化的。

●   物理空间:是自然的、人造的系统,受自然规律支配,具有时间连续性。

●   社会空间:是人在社会交往中形成的空间,为人类思考、行动、感知、交互和协作提供平台。

可见,在这三个空间中,每个空间有自己的学科,例如信息空间有电子、计算机等,物理空间有物理、材料、化学等,社会空间有社会学、心理学等。但是没有一个学科能够把这三个空间融合。

当然,我们非常希望出现爱因斯坦这样的天才形成一套理论,但目前还没有。不过,这三个空间的融合已势在必行。目前已有两个空间之间的融合,例如如果以信息空间为基础,与社会空间相融合,有情境感知、基于用户行为的主动服务等,未来有元宇宙等;如果以信息空间为基础,与物理空间进行融合,就是物联网、数字孪生等。

三个空间的融合可以更好地为我们提供前瞻性、个性化的服务。

image.png

图:人-机-物智能的发展阶段

2   人-机-物智能面临的挑战

人工智能当前发展迅猛。杨天若教授认为有几个发展阶段。

第一阶段。传统人工智能阶段,是在信息层面和逻辑方面去做。

第二阶段。但是后来人们发现有很多问题解决不了,因为神经元网络是从物理世界得到启发而来的,后来受到了社会空间的影响,现在到了技术融合的智能阶段。为什么?人工智能发展了这么多年,可解释性和基本理论实际上没有本质上的提高。但为什么现在人工智能特别火?并不是因为强人工智能的发展,而是因为弱人工智能,即人-机-物智能的蓬勃发展。人-机-物智能不一定非要像人一样能够思考,但是能行使部分职能,因此目标较小,较容易实现。现在由于有强大的算力,丰富的应用场景,无处不在的通讯,使人-机-物智能变得无处不在。

挑战一:缺乏人-机-物智能的系统级设计

物理空间、信息空间、社会空间的差异巨大,怎么进行融合?尽管目前还没有什么理论,但有一个方法可以尝试,即从数据入手。数据是三个空间的一个共同点:每个空间都会产生数据,根据这些数据进行融合,这是一条可行之路。因此,是否可以从这些空间中提取出一种系统化的方法?以下杨天若教授介绍了怎么去做仿真。

image.png

按照这个思路,如果想做一件事情不可能一蹴而就,是一个逐步迭代提高的过程。因此可以先设计一个人-机-物系统,可以借鉴EDA(电子设计自动化)的方法。现在EDA的方法是从上到下、从高层到低层(gate级,门级)。

是否可以设计一套像EDA的方法,把人-机-物系统做统一的设计,使三个空间能够互通融合?

杨天若教授的思路是:首先进行大数据分析,进行系统分析,然后产生出智能决策,之后再快速做自动化;再做一次;不断地周而复始,以达到理想的人-机-物系统。

挑战二:怎样进行融合?

如果这个理论/方法论可行,就有几个相关的问题需要考虑。

第一,怎么去做自动化设计?做嵌入式的人都知道,设计电子电路用EDA工具,同样,我们能不能做类似EDA的人-机-物系统?答案是肯定的。杨天若教授团队做了“Petri网的超空间流”模型。

第二,怎么进行融合?现在大部分人做的还是大数据,数据大就行了,把原来的方法拿过来套用,但是缺乏一个整体的方法论。有没有一个整体系统的方法能够更好地把它们进行融合?

挑战三:怎样反馈、自适应、迭代学习?

第三,怎么能够反馈、自适应、迭代学习?即做出基于高阶Petri网的张量反馈机制,实现人-机-物智能系统的自适应优化设计。

主要是以上三个方法。杨天若教授主要介绍前两点。第一,准备做一个自动化的设计方法,第二,对多模态进行分析。

3   人-机-物智能的关键技术

关键技术一:系统级设计方法

人们熟悉的EDA软件是怎么做的:从上到下,一开始写Verilog HDL(硬件描述语言),或者用一些最简单的Python或C语言,它会自动地编译生成出中层语言,然后到高层语言、到gate,最后逐步自动化生成。

那么,是不是可以做成“人-机-物系统”这种自动化系统?于是杨天若教授团队就往这个方向来做。首先把想要的部分用高层、C语言/简单的语言来进行简单的描述,然后自动化生成一个中间模型,之后经过映射,最后再优化,并逐步迭代,生成一个系统。

做完之后,再做数据分析。数据分析里有一个挑战:怎么具体进行设计自动化?杨天若教授团队已做了一套整体系统,像EDA一样从上到下,已经做出了初步原型,现在正在逐步把它商业化。

关键技术二:多模态数据分析方法研究

这也是一个有意思的点,即怎样做数据分析?现在人们做数据分析,无非视频归视频,图像归图像,输入文本归文本,最后再合起来,因为现有的方法都是各自独立的。那么,有没有一种理论或方法能够把这几个部分合在一起?

杨天若教授团队采用了张量模型。很多人在大学时学过向量、矩阵、张量。张量是一种高阶高维的数据表达形式,优势如下。

①可表示。不管是什么样的异构数据:结构化、半结构化或非结构化数据,可以想办法把它们都纳入到一个框架之下。也许它们的阶数不同(3阶、4阶或5阶),因为数据的特征不一样,但是它们是可以归纳在一个框架下的。

②可操作。有很多矩阵理论,例如矩阵分解、矩阵加减乘除取余,张量也同样如此,只不过是更高阶的,有很多数学理论可用。

1716447208482085.png

③可计算/存储。现在有很多硬件来支持,例如张量核、TPU等。

④可以做分析。实现推荐、预测、聚类和分类等。

这样可以做到张量的融合。尽管数据、知识、智慧、服务等每一层都可做,但每层之间是割裂的,有没有一个理论能够把这几层打通?因为有些知识可以反馈到数据,数据可以反馈给知识,知识可以反馈给服务,但是有没有一种方法论能把它们统一起来,使它们之间可以互操作?它的表述还是传统的方法。

image.png

图:基于张量模型的人-机-物大数据的统一表示

现在就用这种张量的表述方法来表示原始数据,也可以把知识来进行更高阶的知识表示与认知和推理。不一定是知识图谱,传统的、高科技的都可以,然后可以用数学方法对它进行一些操作、融合,还有很多的理论可以使用。

根据此理论,杨天若教授发展了一整套根据张量的表达方式,做表征、分解、特征提取,包括张量和深度计算。

例如做深度学习时有这种现象:输入时是一个向量,无论怎样的特征数据,都要把它割裂成向量,然后输出来进行学习。

可以想象一下原来的数据,如果是更高阶的表示/张量的形式,那么直接进行学习,效果是否会更好?确实这样更好。从张量的深度学习到知识图谱,都可以用一整套的张量理论来进行学习,而得出来的效果也确实比较好。

但是还有一个问题:张量计算的特点是计算量特别大(因为是高阶的),TPU能够很好地去弥补这种缺陷。这里重点提一下TPU。TPU是谷歌最近推广的一种处理器,T就是Tensor(张量)的意思,TPU即张量处理单元。可以把很多张量运算放到TPU里去做,有些不适合的放在GPU里去做,或者放在CPU里去做,以此使异构计算能够更好地帮助进行计算。

4 应用案例

杨天若教授团队已经做了一些项目,例如在湖北和江苏的智慧交通场景得到了实际应用,并在为海南自贸港项目做研发。

●   智慧交通

与常州市公交以及湖北交投合作,其“人-机-路/车”是一个典型的人-机-物的系统。第一步,怎么去做系统设计?设计完后怎么去做数据分析?然后进行反馈。

例如在人-车-路的大数据中,有天气、路线、公共汽车上的视频等都是非结构化的数据。这些数据怎么融合?通过张量分析模型,最终可以做到线路分布、客流分析和预测等。杨天若教授领衔的项目从2016年开始就已经用到了江苏省常州市公交的200多条线路上,公交车2000余辆,每年累计服务量近亿次。

第二个案例是湖北交投的智慧交通,高速路的综合监管平台和智慧服务区也是以数据为中心的。

●   智慧自贸港

海南自贸港计划在2025年封关,封关以后有很多智慧应用,涉及如何使各种应用互联互通。

设想远程仍然采用上述这种模式:第一,先做总体的系统设计分析,然后进行数据驱动和数据分析,再进行决策,回来之后进行迭代的提高,最终使设计出来的应用能够真正地达到互联互通的目的。

海南大学成立了协同创新中心,由多个学院、近100支团队组成。这些团队根据整体思路分成了不同的方向。有的做基础产品,例如材料与器件、通信芯片、传感芯片、网络等。杨天若教授团队主要做系统设计,把人-机-物系统的设计方法进行有效的集成,然后进行数据分析,这是以张量人工智能为主要特色的分析、预测、决策。当然也不排除别的方法,其他团队从另外的角度来做,最终都会提供这种决策。安全也非常重要,有三支团队分别去做密码安全、网络安全、数据安全。

这些工作最终是为了服务自贸港应用。自贸港的应用是由一些典型的应用组成的,例如智慧导航、热带农业、深海探测、水下网络、智慧养老、离岸金融等,这些都是海南的主要特色。

5 结束语

希望这些整体的思路和应用能够应用起来,真正达到人们所期望的智慧应用、互联互通的目的。

关键词: 人-机-物 人机物 张量 边缘人工智能

加入微信
获取电子行业最新资讯
搜索微信公众号:EEPW

或用微信扫描左侧二维码

相关文章

查看电脑版