11月1日，以“无界BOUNDLESS.数织未来AI同行”为主题的2024TechWorld智慧安全大会在北京召开。中国工程院院士邬江兴出席并发表题为《如何让AI应用系统安全向善》的主题演讲。
01.
AI系统安全问题思考与剖析
邬江兴谈到，当前AI有着极其丰富的应用空间，但也带来了前所未有的挑战。从AI应用系统的安全问题出发，AI应用系统可以分成两部分，即大模型和具体算法、运行环境。邬江兴把AI应用系统安全问题分成非内生的和内生的，并表示，其核心是内生安全的问题。内生安全根据目标对象的不同又可分为个性化问题、共性化问题。
根据黑格尔的自在性矛盾原理(Hegel's Principle of Contradiction)和哥德尔不完备定律(G del's Incompleteness Theorems)，任何技术系统都不可能设计出数学意义上的“当且仅当”功能集合。网络内生安全问题不可能彻底消除。
AI运行环境必定要运用存储程序控制机理以及软硬件构件，因而网络内生安全问题不可避免。模型设计、训练、推理各阶段依赖的软硬件系统均存在基于漏洞后门等内生安全问题的威胁破坏。
邬江兴指出，网络内生安全问题全面挑战当今数字生态系统底层驱动范式。可信计算、区块链、零信任等所有加密/认证类的算法或体制机制，如果没有安全的软硬件实现系统---受信任执行环境(TEE)，仅仅是算法可信永远实现不了可信应用系统。
关于网络空间内生安全
网络空间凡是包含存储程序控制构造数字元素的系统，如果不能杜绝软硬件代码设计脆弱性，则自在性矛盾导致的内源性安全问题，在网络攻击或其他不确定因素扰动下，局部或全局性不确定安全事件将不可避免，简称网络内生安全问题(Endogenous Safety&Security Problem，ESSP)
02.
AI运行环境内生安全问题解决之道
邬江兴在演讲中谈到，“我们推导出内生安全存在性定理，这是科学新发现，内生安全有第一、二定理和两个引领构成，这个是大家都认同的。根据这样一个定理我们发明了绿色安全构造，叫动态异构冗余DHR。内生安全构造有效性建立在必要多样性定律&相对正确公理基础上，内生安全不依赖基于先验知识和加密类技术的传统网络安全防御范式。”
内生安全存在性猜想
如果能将复杂的广义不确定扰动问题变换为DVR域内差模或有感共模形式表达的安全事件，则内生安全在原理上也许可以成立。
广义不确定扰动问题
已知或未知安全问题
随机或不确定安全问题
人为或非人为安全问题
功能安全或网络安全或信息安全二者或三者交织问题
内生安全存在性定理-科学新发现
内生安全第一定理
内生安全第二定理
有记忆信道随机性引理
非随机噪声有记忆信道随机性引理
“构造决定的内生安全”能为AI应用系统数据采集、模型训练、模型推理应用等各阶段提供高可用、高可靠、高可信三位一体的“受信任执行环境--TEE”。
03.
AI算法模型个性化安全问题
谈到人工智能存在的内生安全个性问题，即算法安全基因缺陷，邬江兴将其背后的原因归纳为“三性”：即神经网络的“黑盒”特点导致人工智能存在不可解释性、深度学习对样本的过度依赖学习导致结果的不可判识性以及深度学习的知识提炼模式导致学习结果的不可推论性。
不可解释性(Non-Interpretability)
工作原理不明确
人们对于AI是如何从数据中学习知识规则的过程尚不明晰。AI内部的学习过程被视作黑盒，难以被准确描述，更难被人类理解。
问题发现定位困难
AI算法模型黑盒子是基于数据的训练拟合机制而得，数据的真实性和完备性、模型的鲁棒性和泛化性等方面都可能存在问题，但对问题的搜索定位存在较大困难(问题不确定性)
不可判识性(Non-verifiability)
数据存在质量差异、来源差异
AI模型由数据驱动，数据的质量、来源影响模型输出结果；微软聊天机器人上线后收到了大量不良数据，在启动16个小时后就已经“学坏”了，不停地吐脏话。
价值对齐差异大结果判定难
加之人类存在文化民族差异、教育认知差异等客观存在，目前缺乏有效的技术手段使AI算法模型与人类价值观完全对齐。
不可推论性(Non-Inferability)
仅仅是比我看到的多，但是并没有产生新的认知
AI仍局限于从已知数据中提炼知识规律，对于动态性知识、未知的未知等方面，与人类举一反三能力还有差距。
AI安全的问题能用AI完全解决？
显然是否定的，该结论存在哲学逻辑矛盾，AI不能提前知晓或基于已有知识推理出不确定安全威胁的存在。
04.
内生安全构造
一体化的实现可信AI应用(推理)系统
基于内生安全架构创建安全可信AI应用(推理)系统
基本原理：通过构建多个差异化的AI算法模型(Multiple differentiated AI models)，并融合输出裁决算法实现价值对齐，以发现或纠正AI应用系统中的差模性质安全问题。
模型训练数据的特异性分析
结果：差异化的训练数据可以得到多样化的AI神经网络模型，模型间对于AI攻击的结果也呈现出显著差异。
模型训练方法的特异性分析
结果：利用差异化的训练方法能够使AI神经网络模型产生特异性，其在面对AI攻击时结果存在差异性。
AI模型的特异性分析
结果：AI算法对输入数据十分敏感，在数据预处理阶段稍作变化，就可能形成差异化的推理结果。
模型推理分析能力的特异性分析
结果：对同一任务多个AI神经网络模型进行可解释性分析，能够可视化观察到异构模型之间推理的差异性。
05.
内生安全构造子系统差异化实现方法
多样性才是解决正道，技术实现方法见下：
构建多个差异化的AI算法模型
针对同一应用，差异化网络结构(differentiated network structures)可构建多个具有特异性的深度学习算法模型。
差异化的网络结构与对抗迁移性存在强关联，模型多样/异构化(model diversity/heterogeneity)成为必要安全机制。
融合裁决多个差异化的AI算法模型
模型的不确定度估计方法(uncertainty estimation methods)能够为内生安全架构中融合裁决算法提供最优化理论支撑(optimal theoretical support for the holistic decision-making algorithms)。
实验表明：基于必要多样性定律和相对正确公理，内生安全构造能够有效发现并处置系统中差模性质的广义安全事件。
06.
内生安全构造的可信AI应用系统实践
邬江兴表示，当前AI应用系统责任与风险严重失衡，AI应用系统开发商明知产品存在安全问题仍将产品无所顾忌地推向市场。我们既不能机会主义地使用安全性尚不能承诺的AI应用系统，又不能完美主义地追求绝对可信AI应用系统。
网络内生安全范式应当是AI可信应用系统理论发展方向，对此，邬江兴预言，但凡实用化的AI系统必须满足正确公理和必要多样性定理，如果不是这样，一定不是具有实用化的应用安全系统。
最后，邬江兴谈到，智能时代需要正确的理论方向，亟待发展安全可信的AI应用系统，让AI健康向善，服务人类的生活。
