AI绘画专栏之Stablediffusion SD/SDXL Comfyui Stableforge全网第一套系统的AI绘画课

发布于:2024-04-17 ⋅ 阅读:(89) ⋅ 点赞:(0)

【选题思路】

随着深度学习和计算机视觉的进步,AI绘画逐渐成为了可能。通过大量的数据训练和复杂的算法模型,AI可以学习艺术家的绘画风格,并生成以假乱真的艺术作品。这种技术的突破,使得AI能够模仿各种绘画风格,从古典到现代,从印象派到抽象艺术,尽显无限创造力。

本期我们以AI绘画开源作品Stablediffusion为例进行讲解,简称SD,但是SD目前最大的问题还是显存占用问题,特别是个别视频插件,包括最近出的Stability videoAI,更是将显存占到了极致,再加上4090的禁售,这对硬件玩家很不友好,那么可以考虑将你的AI绘画应用部署到腾讯云,结合GPU服务器达到线上使用的效果,使用COS对象存储你的图片

# [分享内容直达](https://cloud.tencent.com/developer/article/2396114)

# [全套面试题已打包2024最全大厂面试题无需C币点我下载或者在网页打开](https://pan.quark.cn/s/865a0bbd5720)

### [AI绘画关于SD,MJ,GPT,SDXL百科全书](https://yv4kfv1n3j.feishu.cn/docx/MRyxdaqz8ow5RjxyL1ucrvOYnnH)

### [2024Python面试题](https://pan.quark.cn/s/44c5c32a6776)

### [2024最新面试合集链接](https://pan.quark.cn/s/3f87b884cfb4)

### [2024大厂面试题PDF](https://pan.quark.cn/s/6ce0b0b0207c)

### [面试题PDF版本](https://pan.xunlei.com/s/VN_qC7kwpKFgKLto4KgP4Do_A1?pwd=7kbv#)

### [java、python面试题](https://drive.uc.cn/s/2aeb6c2dcedd4)

### [项目实战:AI文本 OCR识别最佳实践](https://cloud.tencent.com/developer/article/2304343)

### [AI Gamma一键生成PPT工具直达链接](https://gamma.app/signup?r=sqgovd3iif5btr4)

### [玩转cloud Studio 在线编码神器](https://cloud.tencent.com/developer/article/2272077?areaSource=&traceId=)

### [玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间](https://cloud.tencent.com/developer/article/2291530?shareByChannel=link)

### [史上最全文档AI绘画stablediffusion资料分享](https://zkk-1300025204.cos.ap-nanjing.myqcloud.com/%E5%8F%B2%E4%B8%8A%E6%9C%80%E5%85%A8StableDiffusion%E8%B5%84%E6%96%99%E5%8C%85.csv)

### [AI绘画 stable diffusion Midjourney 官方GPT文档 AIGC百科全书资料收集](https://blog.csdn.net/weixin_42373241/article/details/132341577?spm=1001.2014.3001.5501)

### [AIGC资料包](https://drive.uc.cn/s/6077fc42116d4)
 

AI绘画50篇合集专栏请点击AI绘画的全部内容 - 阅读清单 - 腾讯云开发者社区-腾讯云 (tencent.com)

领取百川大模型2400万token【玩转向量数据库】限量 LLM 百川大模型限时Baichuan2400万免费tokens! 送向量数据库免费实例-腾讯云开发者社区-腾讯云 (tencent.com)

【写作提纲】

1.AI绘画三件套

2.AI绘画生成原理

3.AI绘画提示词

4.AI绘画提示词步数与CFG之间的关系

5.腾讯云AI绘画平台

6.AI绘画行业案例

7.AI绘画设计案例

8.总结

AI绘画三件套

以Stable diffusion为例

稳定扩散(Stable Diffusion)是一种用于图像生成的人工智能模型,它基于扩散过程。扩散过程是指,将一个图像经过多次迭代,逐渐变得模糊、扩散的过程。在这个过程中,图像的细节信息会逐渐消失,只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性,即在扩散过程中,模型能够学习到图像的稳定特征,从而生成具有较高质量的图像。

稳定扩散模型通常使用生成对抗网络(GAN)进行训练。GAN 由两个部分组成:生成器和判别器。生成器负责生成图像,判别器负责判断图像是真实图像还是生成的图像。在训练过程中,生成器和判别器互相对抗,生成器试图生成更真实的图像以欺骗判别器,判别器则试图识别出真实图像和生成图像。通过不断的迭代训练,生成器能够提高生成图像的质量。

U-Net 是一种特殊的生成对抗网络结构,它主要用于图像生成任务。U-Net 的结构呈“U”形,它将生成器和判别器都拆分成两个部分,分别位于“U”形的两端。其中,一端的生成器负责生成低分辨率的图像,另一端的生成器负责生成高分辨率的图像。判别器也同样分为两部分,分别对应低分辨率和高分辨率的生成器。 U-Net 之所以有效,是因为它采用了一种称为“跳跃连接”的技术。跳跃连接允许低分辨率生成器直接获取高分辨率生成器的输出,从而帮助低分辨率生成器更好地学习到高分辨率图像的细节信息。通过这种方式,U-Net 能够生成高质量、高分辨率的图像。

AI绘画生成原理

当我们想要构建一副脑海中的画面,我们先构思画面来书写提示词,下面我们会专门介绍关于提示词部分的书写,然后由模型解析文本,反推汉字或者文本到Clip学习,接着由U-Net端到端的生成图片,然后由VAE来上色,那么一个简单的绘画流程就完成了,这个图片由噪点逐步变为清晰的过程,我们称之为扩散。

其中clip一共有12层2表示在倒数第二层停止处理,通常不能超过6当参考层的深度浅且在这个阶段就被跳过时,传递的信息量也会减少,最终以不准确的信息噪声影响生成的图像,以认为Clip Skip和CFG Scale之间没有相互作用,它们是完全不同的东西

当向平静的湖面扔了一个小石子,水波纹向周边扩散最终恢复平静的过程,我们称之为稳定扩散,在图像生图原理中扩散过程是指,将一个图像经过多次迭代,逐渐变得模糊、扩散的过程。在这个过程中,图像的细节信息会逐渐消失,只保留下整体的结构信息。稳定扩散这个名字来源于这个过程的稳定性

AI绘画提示词

文生图:根据文本提示生成图像

图生图:根据提供的图像作为范本、结合文本提示生成图像

提示词由主题人物,元素,背景,灯光,等多个维度构成,提示词对于prompt属于小维度,在prompt维度包含文本对话提示词,AI绘画提示词等等,但遵循原则是统一标准,大部分的画面或者效果是可以通过提示词实现的

提示词不能包含换行符(非绝对)!!!!逗号分割除外

提示词语法

() 强调更多,[] 强调较少,{} 是 NAI 对 () 的“实现”,<> 用于嵌入,小数指定 (1:1.5) 的数量

(eye) 在最终结果中会比 [eye] 有更多的权重,(eye:1.4) 会比正常情况多增加约 40%,(eye:0.6) 会减少约 40 % 这也可以对某个地方增加画面的权重

([提示]:[数字小于 1]) = [使用此语法] 2 of {} = 1 of (),准确率 <1%

通常的AI绘画都要依靠于硬件,对于显卡的要求显存,内存都有相当高的要求,以Stablediffusion为例,基础部署流程同云服务器部署步骤一样显卡建议N卡即英伟达的显卡,显存建议12G以上,固态建议2T,与主板兼容读写速度更佳

1.显卡配置要求为N卡优先,适配程度高,CPU与主板要求不高,但需要跟显卡适配,运行过程温度较高,所以散热需要跟上,需要ATX3.0电源或者850W以上(针对90系列显卡),可以物理降温,空调拉倒最低

本地部署步骤,下面有一键安装包无需任何操作,不需要准备任何环境,但基础环境需要自己准备,方便后续使用

优先有N卡的来,1060/ti也能玩,A卡能玩吗?苹果!!!也能玩,但是A卡的教程少,显存不够的也劝退,总之AI有风险,N卡在咆哮。

2.论文和资料极其多,丧心病狂的多

3.苹果电脑需要系统在12.1+但是建议大家N卡

4.笔记本也可以,所有的N卡在低配环境下可以使用CPU跑图,但是建议大家N卡(算了手动滑稽)

AI绘画提示词步数与CFG之间的关系

  • 低 CFG:图片糊、看起来雾蒙蒙的,色彩对比弱,构图也比较差,总之,图片结构未定型
  • 高 CFG:图片对比度非常强,色彩非常饱和,甚至会过饱和,颜色和结构失调,正常情况下不会超过6,实际测试超过6虽然也会出现正常图片,但不建议超过2

但现在不需要显卡的AI绘画他来了~~~腾讯云AI绘画特惠活动 (tencent.com)

N多绘画风格可选

分为需要API版本可自定义接入AI绘画_AI作画_AI图像创作-腾讯云 (tencent.com)

点击产品控制台

点击接口文档---->点击调试

分为参数区和代码区

选择离自己近的大区,并填写正向反向提示词

点击小星星可以跳转到参数说明

填入自己想要的风格我选择赛博朋克风格113,其他参数如果不清晰可以不填写

成功响应后会返回图片的base64内容握们需要二次解析,代码方面进行接口解析即可,可以改变Rsp的类型为URL,即可返回图片URL

import base64
import requests
def png_to_base64(file_path):
    with open(file_path, "rb") as image_file:
        encoded_string = base64.b64encode(image_file.read())
        return encoded_string
# 图像Base64信息
image_base64 =png_to_base64(r'')

# API端点URL
url = "png-info"

# 构造请求参数
payload = {
  "image": image_base64
}

# 发送POST请求
response = requests.post(url, json=payload)

# 打印请求响应
print(response.text)

复制

分为在线体验的两个版本腾讯云智能图像创作平台 (tencent.com)

只需要输入简单的正向反向提示词即可实现自己想要的画面,选择合适的风格,我们这里选择插图风格

图生图的风格迁移

这里以我的头像参考

不输入任何提示词便可以转换为日系动漫风格

腾讯云智能图像创作平台

提示词:

一位睿智的老人,穿着中国传统服装,表情庄重,凝视远方,(最佳质量,4k,8k,杰作:1.2),超精细,(逼真,写实,写真:1.37),雾山景观,寺庙建筑,戏剧性的天空,生动的色彩,金色的阳光,(概念艺术,历史插图,史诗艺术),忧郁的心情

AI绘画行业案例

目前已知的在实际生活中能够收到AI绘画影响最深的几个行业

1.AI原画师
2.广告与设计
3.游戏原画师/设计师
4.室内设计与建筑行业
5.创意设计Logo设计
6.AI漫画小说视频等等

目前在实际生活中的朋友真真确确的感受到了AI绘画对行业职业的冲击,这并非是替代性的,因为AI绘画始终无法一次性满足客户的要求,特比是商用涉及大量的版权,字体,侵权等问题,就拿前段时间爆火的AI绘画侵权案判责来说,AI绘画还存在一定的隐患,但是AI绘画始终是工具,是提升生产力,提升工作效率的工具

1.AI原画师:大量的比赛和原画师已经开始接受有AI创作,个人二创修改的形式,也不乏有人是抵制排斥AI绘画的,但是据我所知的一些中大型公司利用AI绘画做出对应的产品,让原画师使用AI绘画,甚至制作视频,是确确实实的提升了效率的

2.广告与设计:AI绘画在广告设计方面可达到真实场景的海报制作,插画,儿童画,平涂,厚涂,简笔画,小人书等等,

3.游戏原画师/设计师:在游戏行业通过对角色的定位,打造一定的新角色,游戏道具,游戏动作,游戏封面等等

4.室内设计与建筑行业:这个很是常见了,大量的室内设计分类案例,俯视图,原线稿实现真实场景,毛坯房装修的各个风格,甚至可以1秒生成

5.创意设计Logo设计:将客户的Logo进行二次创作,上色,实现创意填充,甚至凭空捏造一个Logo这都是AI绘画可以实现的

6.AI漫画小说视频:由AI绘画产生动漫角色,然后搭配剪辑工具制作一部小说视频,这也是市场上大量的C端用户正在制作的使用的软件,且用户市场巨大,用户接受度比较高,播放和收益也很客观

新京报新闻

AI绘画设计案例

1.出图

Logo二创

工业风格/室内设计/室内饰品

创意字体 原子组件 字母light flow

太平

花瓣字体

金属姓氏

Logo

电商出图

官网图片

对比图片

全量测试结果(结果集较多)

美食篇

中秋主题

海报

模特动漫版本

模特真人

3D图标ICON

楼阁

(goden_full_moon:1.8), architecture, bj_ancient_city, bridge, building, castle, cloud, east_asian_architecture, full_moon, moon, night, no_humans, outdoors, pagoda, reflection, scenery, sky, stairs chinese_tower, lake, golden colored thhem, east, delayed photography, realistic scenery, paper carving, virtual engine 5, 

Nagetive:
EasyNegative, paintings, sketches, ugly, 3d, (worst quality:2), (low quali7:2), (normal quality:2), lowres, normal quality, 
((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, manboobs, backlight, (ugly:1.3), 
(duplicate:1.3), (morbid:1.2), (mutilated:1.2), (tranny:1.3), mutated hands, (poorly drawn hands:1.3), blurry, (bad anatomy:1.2), (bad proportions:1.3), extra limbs, (disfigured:1.3), (more han 2 nipples:1.3), (more than 1 navel:1.3), 
(missing arms:1.3), (extra legs:1.3), (fused fingers:1.6), (too many finges:1.6), (unclear eyes:1.3), bad hands, missing, 
fingers, extra digit, (futa:1.1), bad body, double navel, mutad arms, husearms, (puffy nipples, dark areolae, dark nipples, rei no himo, inverted nipples, long nipples), ng_deepnegative_v1_75t, pubic hair, fat rolls, obese, bad-picture, 
chill-75v, 

复制