这几天,最新发布的 Stable Diffusion 3 和 Luma AI 的视频生成模子 Dream Machine 接踵发布约炮专区,但这两个模子却用止境专有的神气震荡到了网友们。Dream Machine 加上二创脑洞成为清闲泉源,SD3 输出的诡异图片却泄气着浓浓的「玄色幽默」。
昨天降生的 AI 视频新霸主 ——Luma AI 的 Dream Machine,再次在整个互联网掀翻激越。网友们昨天还集体示意,要断念 Pika 和 Runway 了,Dream Machine 最好!
借着每个月免费生成三十次的羊毛,全球纷纷试用。然则,其中有不少翻!车!了!
AI 圈大佬阿尔特曼、老黄和 Greg 正一团和煦地合影,下一秒 Greg 就已而变脸,一拳揍在阿尔特曼胸前。随后三东说念主堕入缠斗模式,现场乱成一团。
以及底下这个 OpenAI 曾经一团和煦的大合影 ——
历程 Luma 模子的高东说念主之后,又酿成了大乱斗气象。
但其实 Dream Machine 并不是一个有「暴力倾向」的模子,它很少生成打架气象。
比如底下这个,通过奥斯卡受奖礼的合照生成出的视频,脑怒依旧温馨。
看来 OpenAI 的「宫斗」太彰着,连模子齐知说念了相片背后的故事。(不会是 Sora 给 Dream Machine 传了八卦吧)
网友实测让 Luma 生成动画,发现画面极其诡异 ——
白色的狗头速即出当今身体的各部位,随后白狗有丝分裂出第二只白狗,临了白狗径直和棕狗达成了换头。
竟然,四年寒窗无东说念主问,一旦翻车六合知。况兼,有推特网友发现,Luma 止境倾向于让图片中的东说念主物回身离开,比如底下这张威利・旺卡。
把多样头像图片输入进去,取得亦然访佛的猖狂。
这天然无关宏旨,然则这种单调且「固执己见」的生成猖狂有些令东说念主恼火,大概是模子怕我方搞出「变脸」,是以干脆让东说念主物记忆了。
Luma AI 色彩包天然翻车案例好多,然则创意无尽的网友们照旧发掘出 Dream Machine 一个止境有出路的欺诈 —— 生成色彩包动图。
比如这张止境闻名的模因图片,浅近被用于 p 成多样色彩包:
把图片输入给 Luma 的模子,它会「脑补」出什么画面?
是正牌女友不悦吵架?
照旧干脆离异另觅新欢?
看出来 Dream Machine 的 drama 特色了,脑补出来的齐是大型东说念主性修罗场。
致使约炮专区,这个色彩包还舞到了 Andrej Karpaty 大佬眼前,他也示意我方受到了一些 AI 工夫的震荡。
Luma AI 将图像蔓延为视频的新模子确乎是另一趟事。我凭直观知说念这很快就会成为可能,但看到它并想考异日的迭代仍然是另一趟事。
再输入一只色彩倔强的柴犬相片,就取得了一张齐备的动图。
但底下这个生成猖狂相对平凡,东说念主物记忆后,脸上的色彩也隐藏了。
凭证闻名的「地铁老东说念主看手机」生成动图后,苍凉的嗅觉似乎加重了。
把图片生成模子和 Luma 放在通盘用,还会碰撞出出东说念主料想的恶果。
有东说念主突发奇想,用 Midjourney 生成一张教皇穿羽绒服的图片,再让他走几步,已而可儿了起来。
搭配 Stable Diffusiion 3 生成的诡异东说念主体图片,输出的动图确实是「恐怖」恶果加倍。
Luma 不仅莫得把无理的东说念主体更正过来,况兼一误再误。拉近镜头后,东说念主物正本正常的色彩齐变得令东说念主发指了。
发出这些视频的帖子中,博主还很王法地附上了一句「I'm sorry…」,驳斥示意,看完就后悔了。
SD 3 翻车说到刚放出的 Stable Diffusion 3 的「翻车」图片,这亦然网友们最近的清闲泉源。
「我很久没这样郁勃过了。」
Stability AI 示意,这是他们「迄今为止最复杂的图像生成模子」,却引来了全网群嘲。生成的一堆「无理」图片反而让东说念主以为它大幅衰退,落伍于 Midjourney 和 DALL-E。
图片的「无理」进程有多严重呢?是看了可以作念恶梦的地步。
比如,生成出的手指不仅数目区别,阵势也十分离奇,根底不像东说念主类的手指。
这张图让东说念主已而意象《少顷全天地》的「腊肠手指」设定。
要是只是是手指也还说得畴昔,毕竟这一直是图像生成模子的「恶疾」。相关词,SD3 照旧到了连东说念主类算作、躯干齐不成好好生成的地步了。
底下这张草地上的东说念主体图片,险些照旧成为 SD3 翻车的瑰丽性标记了,全身高下莫得一个地点是合理的。
在沙滩上的这两张,乍一看外形还可以,细看才能发现存许多恐怖之处。
更匪夷所想的还鄙人面 ——
在 Reddit 的帖子上,网友致使发出哄笑般的质疑「这应该是个见笑吧?」
「一段时刻前,StableDiffusion 还在与 Midjourney 竞争,当今它看起来就像一个见笑。至少咱们的数据集是安全和说念德的!」
即使与 Stability 之前发布的模子比较,也能看出 SD3 的权臣衰退。
有网友用计划的 prompt 输入给 SD 1.5、SDXL Turbo 和 SD 3,并比较了这三个模子的输出猖狂。
最早的 SD 1.5 即使没目的作念到百分百正确、传神,至少不会乖谬到离谱和「恐怖」的进程。
上一代 SDXL Turbo 生成的图片在真确感除外还作念到了构图和光影的好意思感。
底下的这个对比愈加彰着,SD3 和 SDXL 的才调仿佛不在一个寰球。
这不禁让东说念主怀疑,SD3 到底奈何了?
有 Reddit 用户以为,Stable Diffusion 3 的剖解学失败是由于 Stability 坚捏从熟识数据中过滤掉成东说念主实质(即 NSFW 实质,not suitable for work)。
「信不信由你,严格审查模子也会去除东说念主体剖解学实质,是以…… 这等于发生的原因。」
这个说法天然乍一听不妥当直观,却有迹可循。
当 prompt 触及到 熟识数据采集未能很好代表的观念时,模子就会凭证我方的雄厚进行最好说明。
而 SD3 生成的恐怖猖狂,等于在莫得实足熟识数据时,它眼中的东说念主体合理方法。
访佛的问题在以前曾经出现过,比如 2022 年发布的 Stable Diffusion 2.0 也无法很好地泄露东说念主体。
橾在线观看那时,联系东说念主员很快发现,审查包含赤身的成东说念主实质会严重荫庇模子生成准确东说念主体剖解学的才调。
因此,Stability AI 在 SD 2.1 和 SD XL 中速即调遣了计谋,才让模子还原了一些因坚韧过滤 NSFW 实质而失去的才调。
在模子预熟识时代可能发生的另一个问题是,用来从数据采集删除成东说念主图像的 NSFW 过滤器有时太过抉剔,有时地删除了可能并不冒犯的图像,从而褫夺了模子在某些情况下对东说念主类的形色。
对此,有网友忖度「(SD3) 只好图片中莫得东说念主类就能正常责任,我以为他们立异的 NSFW 过滤器把统共类东说念主形象齐当成了 NSFW。」
Stability AI 深陷泥沼Stability 在本年 2 月通告了 Stable Diffusion 3,并打算推出多个版块。
最新发布这一版被称为「Medium」,有 2B 参数。模子的权重照旧开源,既能从 Hugging Face 下载,也能通过 Stability Platform 进行现实。
论文地址:https://arxiv.org/ abs / 2112.107522 月官宣后不久,SD3 模子权重的发布却延伸了,这激起了 Stability 存在工夫问题或惩办不善的坏话。
事实上,Stability 这几个月在东说念主事方面实在十分庞杂,其首创东说念主兼 CEO Emad Mostaque 于三月份下野,随后是一系列裁人。
三位 Stable Diffusion 的灵魂东说念主物 ——Robin Rombach、Andreas Blattmann 和 Dominik Lorenz 也 —— 离开了公司。
此外,Stability 致使还面对着资金方面的贫乏。2023 年以来,公司财务景色欠安的音书一直在流传。
对于一些 Stable Diffusion 的粉丝来说,SD 3 Medium 的失败是公司惩办不善的外皮猖狂 —— 亦然事态恶化的彰着迹象。尽管公司尚未苦求歇业,但在看到新模子后,一些用户启动写下对于歇业的玄色幽默段子:
「我猜当今他们能以一种安全且说念德的神气歇业了。」
参考贵府:
https://arstechnica.com/information-technology/2024/06/ridiculed-stable-diffusion-3-release-excels-at-ai-generated-body-horror/
https://futurism.com/the-byte/new-stable-diffusion-is-mangled
告白声明:文内含有的对外跳转通顺(包括不限于超通顺、二维码、口令等阵势)约炮专区,用于传递更多信息,节俭甄选时刻,猖狂仅供参考,IT之家统共著述均包含本声明。