AI 作图内卷加剧:AI作图领域内卷现象深度解析

AI头条· 2023-07-20 11:05:53

自生成式 AI 登场以来,工业革命的奇景每天都在上演。

仅在图像领域,众多企业与高校密集发布的重磅模型接连带来令人目眩神迷的震撼体验。如果说 AI 绘画在一开始曾给人类艺术家带来被替代的恐慌,那么,随着这一绘画工具的数量与类型愈加丰富,AI 绘画也开始了内卷——纷至沓来的 " 新神 " 也不断将曾经的老大推下王座,可谓 " 遍地是大王,短暂又辉煌 "。

实现五倍文生图效率提升

最近,Meta 宣布开发出一款名为 CM3Leon(发音类似于 " 变色龙 ")的人工智能模型,该模型可以根据文本生成超高分辨率的图像,也可以为图像生成文本描述,甚至可以根据文本指令编辑图像。

CM3leon 的训练采用了从仅文本语言模型中调整而来的方法,此方法简单,并可产生强大的模型,它表明基于 tokenizer(分词器)的 transformer 模型可以和现有的基于 Diffusion(扩散)的生成模型一样有效地进行训练。

即使只在一个只有 30亿文本符号的数据集上进行训练,CM3leon 的零样本性能与在更广泛的数据集上训练的较大模型相比也不逊色

Meta表示,CM3leon 的计算量比Stable Diffusion、Midjourney 等基于Diffusion 的模型少了五倍,但它在文本到图像生成方面实现了最先进的性能在视觉问答和长篇说明各种视觉语言任务中表现出色。例如,CM3leon 可以处理更复杂的 prompt,在文本引导下编辑图片中天空的颜色,在图片中房间的特定位置添加水槽和镜子等物体。

在对最广泛使用的图像生成基准测试(零样本 MS-COCO)的性能进行比较时,CM3leonFID(Fr é chet Inception Distance,用来计算真实图像与生成图像的特征向量间距离的一种度量,FID 值越小则相似程度越高值为4.88,在文本到图像生成方面确立了新的SOTA(state of the art,最先进的技术水准),优于 Google 的 Parti ( FID 7.23 ) 、Stable Diffusion ( FID 8.32 ) 、OpenAI 的 DALL-E2 ( FID 10.39 ) 等一系列知名图模型。这一成就突显了检索增强的潜力,并凸显了扩展策略对自回归模型性能的影响。

CM3leon 具有自回归模型的多功能性和有效性,同时保持了低训练成本和推断效率。它是一个因果掩码混合模态 ( CM3 ) 模型,因为它可以生成基于任意其他图像和文本内容序列的文本和图像序列。这大大扩展了以前仅支持文本到图像或仅支持图像到文本的模型的功能。

业界认为,CM3leon 的能力已跃居多模态市场巅峰。Meta 表示,CM3Leon 是图像生成和理解领域的一大进步,但也承认该模型可能存在数据偏见的问题,并呼吁行业加强透明度和监管。

计算机视觉迎来 GPT-4 时刻

图像分割是图像理解的重要基石,也是计算机视觉 ( CV ) 领域中的一个重要研究方向,在自动驾驶、无人机、工业质检、病理影像分割等领域都有着举足轻重的地位。

随着深度学习技术的兴起,早期依靠亮度、颜色和纹理等低级特征的图像分割方法逐渐被淘汰,基于神经网络的图像分割方法取得了巨大的突破——通过训练深度神经网络,可以学习到更高层次、更抽象的特征表示,从而能够更准确地进行图像分割。

今年 4 月,Meta 发布了首个基础图像分割模型 SAM(即 Segment Anything Model,分割一切模型),以及对应的数据库 SA-1B,瞬间引爆了 AI 圈。SAM 是面向通用场景的图像分割模型,可用于任何需要对图像进行识别和分割的场景,基于 prompt 工程,可以成为内容创作、AR/VR、科学领域或通用 AI 系统的组件,实现多模态处理。

SAM 大大提升了普通 CV 模型的图像分割能力,对于未知和模棱两可的场景也能实现较好的图像分割效果,有望大幅降低计算机识别门槛。英伟达 AI 科学家 JimFan 曾表示 "SAM 是计算机视觉领域的 GPT-3 时刻 "。

但仅仅 3 个月后,SAM 的地位就受到了挑战。

最近,香港科技大学团队开发出一款比 SAM 更全能的图像分割模型,名为 Semantic-SAM。Semantic-SAM可以完全复现 SAM 的分割效果并达到更好的粒度和语义功能, 支持通用分割(全景、语义、实例分割)、细粒度分割、具有多粒度语义的交互式分割、多粒度图像编辑广泛的分割任务及其相关应用。

此外,Semantic-SAM在粒度丰富性、语义感知性、多功能等方面优势明显,完胜 Meta 的 SAM:只需单击一下即可输出多达 6 个粒度分割,与 SAM 相比,更可控地匹配用户意图,无需多次移动鼠标寻找想要分割的区块

仅对图像进行分割已无法满足 AI 研究人员们的野心。视频分割是自动驾驶、机器人技术、视频编辑等应用场景的基础技术,但 SAM 无法处理视频分割任务。

近日,来自苏黎世联邦理工学院、香港科技大学、瑞士洛桑联邦理工学院的研究人员突破了上述局限,其发布的 SAM-PT 模型将 SAM 的零样本能力扩展到动态视频的跟踪和分割任务上,在多个视频物体分割数据集基准中取得了稳定且强大的零样本性能。

AI 绘图的另一面

继不断更新 Zoom Out(平移)、Pan(扩展)等新功能后,Midjourney 最新的 V6 版本也将会在本月内发布。日前,AI 绘图独角兽 Stable Diffusion 也推出了一项素描转图像的服务 Stable Doodle。

对于内容创作者等 C 端用户来说,AI 作图工具的迭代与进化带来的高精度、高质量的内容赋予了更优质的体验和更多元的选择;借助 AI 内容生成和图像分割 / 识别模型,可穿戴设备的 AR/VR 人机交互效率和使用体验将得到显著提升,工业、自动驾驶、医疗等领域的工作效率、识别的精准度也将大幅提升。

但在此良夜之中,仍匍匐着一些被遮盖的隐患。

随着模型的不断更新和迭代,用户的绘画或图像数据可能会被上传到云上的服务器,或被用于训练更为先进的模型,导致一些隐私与版权问题;同时,无限制的 AI 制图也正被用于基于真实人物的色情图片的制作,试探着法律的底线。

AIGC 不断变革内容生产模式的同时也影响着内容的消费方式,更新奇更惊艳的生成内容带来的刺激转瞬即逝。在无数次输入文字描述的选择中、在回声效应的不断固化下,AI 的画笔究竟会创造出无比丰富的内容市场还是千篇一律的审美取向,答案令人担忧。



您可能关注: AI作图
文章链接: http://www.huangxinwei.com/aizixun/204.html Chat gpt人工智能中文版在线对话

[免责声明]如需转载请注明原创来源;本站部分文章和图片来源网络编辑,如存在版权问题请发送邮件至398879136@qq.com,我们会在3个工作日内处理。非原创标注的文章,观点仅代表作者本人,不代表炎黄立场。

轻创AI创作系统

炎黄CRM智能客户管理系统是一款全面而高效的客户关系管理工具,专门设计用于帮助企业更好地管理他们的客户资源和业务关系。该系统结合了强大的客户关系管理功能与先进的智能化技术,旨在提升客户满意度和忠诚度,从而实现更高的业务效益。