首个视频生成模型一经发布，便引起全球高度关注。但与此同时，人工智能（）技术的高速发展，也进一步加深了业内人士对其安全性的担忧。
美国加利福尼亚大学伯克利分校信息学院哈尼法里德教授指出，文本生成视频技术的快速进步，使我们愈发接近真伪难辨的境地。如果这项技术与驱动的声音克隆技术结合，那么人们可以深度伪造他人从未说过的话、做过的事。
从网上流传的片段不难发现，在刻画复杂场景时，生成的视频中仍存在一些不符合客观规律的错误。这说明，这些伪造视频到目前为止仍然肉眼可辨。但白帽黑客公司社会认证安全联合创始人雷切尔托巴克表示，绝对有能力产出可以骗过普通人的视频，因为许多人尚未意识到篡改视频和修改图片一样简单。
对于信息真实性方面的安全隐患，发言人表示，在正式公之于众前，公司将采取多项重要的安保措施。比如，组织行业专家开展安全演习，同时公司也在开发工具，辅助检测误导性内容。此外，图像生成模型配套的安全工具也将应用于。
在政府层面，的推出势必将加速信息安全监管措施的出台。日前，欧盟各国政府已批准《欧盟人工智能法案》，欧洲议会预计将于月签署这项法案。如一切顺利，这套法规将于年生效。
据悉，该法案将禁止使用存在不可接受风险的系统，例如使用生物识别数据推断公众敏感特征的系统；高风险应用（如招聘和执法中使用的系统）必须满足一定条件，比如开发人员必须证明其模型对用户安全透明，符合隐私法规，且不存在歧视；对于风险较低的工具，开发者仍需在用户与生成的内容进行交互时明确告知。该法案适用于在欧盟地区运行的模型，任何违反规定的公司都可能面临金额高达其年度全球利润的罚款。
为执行该法案，欧盟委员会将成立一个办公室，负责监督通用模型，并由独立专家提供咨询。该办公室将研究相关方法，以评估这些模型的能力并监测其风险。不过，德国利希超级计算中心研究员杰尼亚吉采夫提出质疑称，即使像这样的公司遵守法规并提交数据，但公共机构未必有足够的资源充分审查提交的内容。
作者：孙欣祺
来源：文汇报