Mac上的Dreambooth替代方案:在Apple Silicon上训练AI模型

尝试在我的M3 Max上安装Dreambooth。花了四个小时追踪CUDA依赖错误,然后才意识到整个方法都是错误的。

Apple Silicon对AI工作确实很强大。但工具假设使用NVIDIA,这个假设几乎打破了一切。你闪亮的M3 Max坐在那里,96GB统一内存准备工作,但Dreambooth训练指南告诉你去获取云GPU或切换到Windows。

快速答案: Mac用户可以使用云平台(如Apatero.com)、使用针对Apple Silicon MPS优化的SimpleTuner或Kohya_ss进行本地LoRA训练,或使用Textual Inversion方法来训练自定义AI模型。对于具有32GB+统一内存的M系列芯片,LoRA训练通常效果最好。

事实是Apple Silicon改变了想要训练AI模型的Mac用户的游戏规则。虽然传统的Dreambooth工作流程专门为CUDA构建,但现在存在几个强大的替代方案,它们要么利用Apple的Metal Performance Shaders,要么通过优化的云平台完全绕过本地训练。

要点总结

• 传统Dreambooth需要CUDA,无法在Mac上原生运行
• LoRA训练比完整Dreambooth更轻量,在M2 Pro/Max/Ultra和M3/M4芯片上效果很好
• SimpleTuner和Kohya_ss都通过MPS后端支持Apple Silicon
• Apatero等云平台提供最简单的路径,无需本地设置
• M1和基础M2芯片由于内存限制在训练时会遇到困难
• Textual Inversion为概念学习提供最轻量的替代方案
• 在M3 Max或M4上本地训练可以工作,但预计训练时间比NVIDIA GPU更长

为什么传统Dreambooth在Mac上不工作

Dreambooth从一开始就是为CUDA设计的,即NVIDIA的并行计算平台。当Google的研究人员在2022年开发Dreambooth时,他们构建它来利用NVIDIA的张量核心和CUDA工具包,以便在微调期间进行高效的梯度计算。

问题不仅仅在于原始计算能力。你的Mac可能比大多数配备RTX 4090的游戏PC拥有更多的统一内存。问题在于架构兼容性。

像FP16的混合精度训练、梯度检查点实现和内存高效注意机制等CUDA特定操作都是为NVIDIA硬件编写的。PyTorch支持Apple的Metal Performance Shaders后端,但许多训练脚本尚未适应正确使用它。

尝试在Mac上运行传统Dreambooth脚本通常会导致三种结果之一。脚本立即失败并显示CUDA错误,它回退到需要几天而不是几小时的仅CPU训练,或者它使用如此多的内存以至于你的系统在训练中途崩溃。

根据Hugging Face的硬件要求文档,标准Dreambooth训练需要至少24GB的VRAM用于SDXL模型。大多数Mac用户没有意识到Apple Silicon上的统一内存与专用VRAM的行为不同,这使得直接比较具有误导性。

在Mac上训练的实际选择是什么?

Mac用户有三条现实的训练自定义AI模型的路径。你可以使用Apple Silicon优化工具进行本地训练,使用处理繁重工作的云平台,或采用在Mac硬件约束内工作的更轻量训练方法。

如果你有64GB或更高的M2 Max、M3 Pro/Max/Ultra或具有大量统一内存的M4芯片,本地训练是有意义的。云训练适用于任何拥有不错互联网的人,无论你的Mac规格如何。像LoRA和Textual Inversion这样的更轻量方法甚至可以在具有16GB RAM的基础M1和M2机器上运行,尽管训练时间会考验你的耐心。

关键决策因素是你计划训练模型的频率。如果你每月为个人项目训练一次,Apatero.com等云平台比优化本地工作流程更具经济意义。如果你每天迭代自定义模型,投资本地训练设置时间会很快得到回报。

基于云的训练 - 阻力最小的路径

云训练平台通过浏览器让你访问NVIDIA GPU来解决Mac兼容性问题。你上传训练图像,通过网络界面配置参数,训练完成后下载训练好的模型。无需本地设置,无CUDA错误,MacBook上无热节流。

Apatero.com为Mac用户提供最简化的云训练体验。该平台通过简单的界面处理Dreambooth、LoRA和SDXL训练,不需要命令行知识。你连接Google Drive或Dropbox,选择训练图像,平台会根据你的数据集大小自动优化设置。

定价模型按训练会话收费,而不是按小时GPU租赁,这意味着你提前知道成本。训练LoRA通常根据图像数量和模型基础花费2-5美元。对于重视时间的Mac用户,这比花八小时排查本地训练脚本要便宜得多。

如果你想运行自定义训练脚本,RunPod和Vast.ai提供更大的灵活性。你按小时租用GPU实例,通常RTX 4090等效的费用为每小时0.30-0.80美元。这些平台让你完全控制,但需要更多技术知识来设置训练环境。

Google Colab仍然受欢迎用于实验,尽管免费层在较长的训练会话期间经常断开连接。每月10美元的Pro版本提供对T4和A100 GPU的更稳定访问,使其对于偶尔的训练需求是可行的。

云平台的主要优势是一致性。在M3 Max上可能需要12小时的训练会话在云RTX 4090上45分钟完成。你可以在睡觉前开始训练,醒来后获得完成的模型,而不用担心Mac的电池寿命或过夜的热性能。

你真的可以在Mac上本地训练LoRA模型吗?

是的,LoRA训练通常比Dreambooth提供更好的结果,用于角色一致性和风格转移。LoRA或低秩适应,与完整Dreambooth微调相比,训练的参数集要小得多。如果你有足够的统一内存,这使得它在Apple Silicon上是可行的。

LoRA在Mac上效果更好的技术原因涉及它如何修改基础模型。LoRA不是像Dreambooth那样更新所有模型权重,而是将小的可训练矩阵注入注意力层。典型的LoRA文件为50-200MB,而完整Dreambooth检查点为2-7GB。

内存要求大幅下降。Dreambooth需要24GB+ VRAM用于SDXL,而LoRA训练可以在16-20GB中通过适当优化工作。这使得它在M2 Pro和M3基础模型的范围内,尽管训练时间不会匹配专用GPU。

现代LoRA训练脚本通过PyTorch 2.0+支持Apple的MPS后端。这意味着你的训练实际上使用Apple Silicon上的神经引擎和GPU核心,而不是回退到CPU。与仅CPU方法相比,速度差异很大,MPS加速训练运行速度快3-5倍。

实际性能因芯片代数而异。具有96GB统一内存的M3 Max可以在2-4小时内训练1024x1024 SDXL LoRA,使用30-40张训练图像。具有32GB的M2 Pro对于相同任务需要6-8小时。具有16GB的基础M1和M2芯片在SDXL上遇到困难,但可以合理地处理SD 1.5 LoRA训练。

工作流程比云平台涉及更多设置,但让你完全控制。你可以暂停训练,在会话中调整学习率,并快速迭代,而无需上传/下载延迟。

SimpleTuner - Apple Silicon原生训练

SimpleTuner作为第一个专门考虑Apple Silicon支持而构建的训练框架之一出现。开发人员积极维护MPS兼容性并针对Metal Performance Shaders进行优化,使其成为Mac最友好的本地训练选项。

该工具支持Stable Diffusion 1.5、SDXL和Flux模型的LoRA和完整微调。配置通过YAML文件而不是命令行参数进行,一些用户发现这对于管理多个训练项目更清晰。文档包括针对Mac用户的具体说明,而不是将MPS支持视为事后想法。

安装需要适当的Python环境,通常通过Miniconda或Miniforge管理。你将安装具有MPS支持的PyTorch,下载SimpleTuner存储库,并配置你的训练数据集。如果你仔细遵循文档,该过程需要30-60分钟。

SimpleTuner相对于替代方案提供的一个优势是内存效率。代码库包括针对统一内存架构更好工作的Apple Silicon特定优化,如梯度累积策略。这意味着与通用训练脚本相比,你可以在RAM较少的Mac上训练更大的模型。

M3和M4芯片上的训练速度接近旧NVIDIA GPU(如RTX 3060 Ti)的速度。虽然不能与现代云GPU竞争,但对于你可以在午餐时间或过夜运行训练的实际工作流程来说足够快。

学习曲线比使用Apatero的网络界面更陡峭,但你获得了像自定义注意机制、高级增强选项和优化器设置的精细控制等功能。对于想要深入理解模型训练的用户,SimpleTuner提供了不需要NVIDIA硬件的路径。

Kohya_ss在Mac上如何工作?

Kohya_ss,流行的Stable Diffusion训练GUI,在2023年添加了实验性Mac支持。该工具现在在M2和M3芯片上运行得相当好,尽管某些功能在MPS后端下仍然有问题。

Kohya_ss的主要优势是其成熟的功能集。它支持LoRA、Dreambooth、Textual Inversion和各种高级技术,如自定义调度器和网络合并。GUI使这些功能无需编辑配置文件即可访问,这吸引了不想专门在终端工作的用户。

Mac安装需要使用命令行安装程序而不是Windows可执行文件。你将克隆存储库,运行设置脚本,并使用MPS支持配置PyTorch。ComfyUI Mac M4 Max设置指南涵盖了适用于Kohya_ss的类似环境配置步骤。

Mac上的性能落后于同一工具在NVIDIA硬件上实现的性能。Kohya_ss最初为CUDA优化,MPS后端实现没有利用Apple Silicon的所有功能。预计训练时间比可比NVIDIA GPU长40-60%。

某些高级功能(如某些注意机制和特定优化器设置)可能在Mac上抛出错误。开发人员优先考虑Windows/Linux CUDA支持,因此Mac用户通常需要更长时间才能获得错误修复。这使得它对于Mac特定工作流程不如SimpleTuner可靠。

GUI仍然是杀手级功能。如果你重视可视化配置而不是原始性能,Kohya_ss在Mac上提供最用户友好的本地训练体验。只是准备好偶尔排查NVIDIA硬件上不会发生的MPS相关错误。

Textual Inversion是一个可行的替代方案吗?

Textual Inversion代表了教Stable Diffusion新概念的最轻量方法。它不是修改模型权重,而是学习代表你主题的新文本嵌入。生成的文件很小,通常小于100KB,训练需要最少的计算资源。

这种方法在任何Mac上都有效,包括具有16GB RAM的基础M1和M2型号。即使在较旧的硬件上,训练通常也会在30-90分钟内完成。低资源要求使Textual Inversion对于不能或不想使用更密集训练方法的用户来说是实用的。

权衡是能力。Textual Inversion擅长学习特定对象、艺术风格或简单概念。它在复杂主题(如具有可变姿势、光照和表情的特定人物)上遇到困难。LoRA可以在不同场景中捕捉角色的完整肖像,而Textual Inversion在有限的上下文中提供近似值。

对于某些用例,这种限制无关紧要。如果你想教Stable Diffusion你的公司标志、特定的艺术技术或独特的对象,Textual Inversion效果很好。快速训练时间意味着你可以使用不同的数据集快速迭代以找到有效的方法。

使用Automatic1111扩展或命令行脚本的训练过程很简单。你提供3-8张显示你概念的不同角度或上下文的图像,设置像"sks"这样的文本标记来表示它,然后运行训练。模型学习将你的标记与视觉概念关联起来。

质量很大程度上取决于数据集策划。使用背景、光照或取景不一致的图像会混淆训练过程。你最好的结果来自清晰、聚焦的图像,清楚地显示主题而没有干扰。

在不同M系列芯片上应该期待什么性能?

硬件能力在Apple Silicon代数之间差异很大。了解你的芯片的现实训练性能有助于设定期望并决定本地训练对你的工作流程是否有意义。

具有8-16GB统一内存的M1和M2基础型号在现代AI训练中遇到困难。你可以训练Textual Inversion和小型SD 1.5 LoRA,但SDXL训练可能会崩溃或需要过长时间。这些机器更适合使用Apatero等云平台,而不是本地训练。

具有32GB+内存的M1/M2 Pro和M2 Max可以合理地处理LoRA训练。预计SDXL LoRA训练在1024x1024分辨率下使用30-40张图像需要4-6小时。SD 1.5训练更快,为1-2小时。你会希望在训练期间关闭其他应用程序以避免内存压力。

M3 Pro和M3 Max代表Mac训练变得实用的地方。改进的神经引擎和更高的内存带宽带来了明显的差异。具有96GB的M3 Max可以在2-3小时内训练SDXL LoRA,接近可行的迭代速度。Flux Apple Silicon性能指南显示了适用于训练工作负载的推理的类似改进。

M3 Ultra和M4 Max/Ultra芯片最终使Mac进入严肃本地训练的对话。训练时间与RTX 4070 Ti等中档NVIDIA GPU竞争。你可以在一天内实际迭代模型多次,而不是将每个训练会话视为过夜事务。

热性能比基准测试建议的更重要。MacBook Pro在持续训练负载下会节流,特别是14英寸机箱中的M3 Max型号。Mac Studio和Mac Mini配置在多小时训练会话期间更好地保持性能。如果你认真对待本地训练,请考虑桌面Mac配置。

训练更大的模型(如Flux LoRA)需要更多内存和计算。即使M4 Max在Flux训练上也遇到困难,单个epoch可能需要8-12小时。对于尖端模型,无论你的Mac规格如何,在适当的GPU上进行云训练仍然是务实的选择。

本地训练与云训练的实际成本是多少?

财务分析取决于你训练模型的频率以及你的时间价值。云平台按会话或GPU访问小时收费。本地训练每会话的边际成本为零,但需要前期时间投资于设置和较慢训练的持续时间成本。

假设你每周训练一个LoRA。使用Apatero.com每次训练会话3-4美元,每月大约花费12-16美元。该平台处理设置、参数优化,并在快速GPU上运行,可在一小时内完成训练。你的实际时间投资是上传图像和配置设置的10分钟。

在M3 Max上本地训练相同的LoRA需要2-3小时的计算时间。你的时间投资包括初始设置、事情出错时的故障排除以及监控训练进度。即使计算是免费的,你也花费了几个小时,这些时间可以用于其他工作或项目。

如果你每天或一天多次训练,本地训练经济性会大幅改善。前期设置时间在数十次训练会话中摊销。在2-3小时内训练LoRA的M3 Max或M4对于快速迭代变得实用,而这在云平台上每月会花费数百美元。

与运行配备NVIDIA GPU的专用PC相比,Mac上的功耗可以忽略不计。M3 Max在满载下消耗60-80W,而配备RTX 4090的系统消耗350-450W。在定期训练一年中,这在电费上节省了真正的钱,特别是在高成本地区。

硬件折旧是严肃用户的因素。如果你专门为AI训练购买M3 Max Mac Studio,那是3000-4000美元的投资。以每月15-20美元的云定价用于休闲使用,你需要12-15年才能达到收支平衡。但如果你已经拥有Mac用于其他工作,训练就成为免费的附加功能。

真正的成本是机会成本。花费在排查MPS后端错误或等待8小时训练会话上的时间是没有花在创意工作上的时间。对于每小时收费50-150美元的专业人士,为即时云训练支付3美元显然比花4小时配置本地训练更便宜。

分步指南 - 推荐的工作流程是什么?

最佳方法取决于你的Mac规格、技术舒适度和训练频率。以下是如何决定并开始使用最适合你情况的选项。

对于具有M1或基础M2 16GB型号的Mac用户

完全跳过本地训练并使用云平台。设置Apatero.com帐户,大约需要5分钟。连接你的图像存储,上传20-40张你主题的训练图像,并配置基本设置,如训练步骤和学习率。平台根据你的数据集建议最佳参数。

从LoRA训练开始,而不是完整Dreambooth,因为结果通常对角色和风格学习更好。让训练在30-60分钟内完成,然后下载你训练好的模型。你可以在ComfyUI、Automatic1111中本地使用它,或直接通过Apatero的生成界面使用。

这个工作流程每次训练会话花费2-4美元,零本地设置。你避免了会在低规格Mac上崩溃训练的内存压力问题。

对于具有32GB+内存的M2 Pro、M2 Max、M3或M4的Mac用户

你可以根据训练频率在本地和云之间选择。对于每月一次或两次的偶尔训练,坚持使用云平台以方便。对于每周或每天训练,本地设置变得值得。

安装Miniforge以管理Python环境,而无需Rosetta转换层。使用Python 3.10或3.11创建新环境,然后安装具有MPS支持的PyTorch。克隆SimpleTuner存储库并遵循Mac特定的设置说明。

在专用文件夹中组织你的训练图像,使用一致的命名。图像应该是高质量、光线充足并清楚地显示你的主题。对于角色,包括各种姿势和表情。对于风格,展示演示艺术方法的多样化构图。

使用到图像、基础模型和训练参数的路径配置SimpleTuner的YAML文件。从保守设置开始,如1500步和1e-4学习率。运行训练并通过每100-200步生成的样本图像监控进度。

训练将需要2-6小时,具体取决于你的芯片和设置。完成后,在你首选的生成工具中测试你的LoRA。Flux LoRA训练原则广泛适用于不同的模型类型。

对于具有64GB+内存的M3 Max/Ultra或M4 Max/Ultra的Mac用户

你有足够的马力进行严肃的本地训练工作流程。遵循上面的M2/M3设置步骤,但推动更激进的训练设置。你可以在更高的分辨率下训练,使用更大的批量大小,并尝试像先验保存这样的高级技术。

如果你喜欢基于GUI的训练管理,请考虑Kohya_ss。可视化界面使管理多个训练项目和比较会话之间的设置变得更容易。按照Mac特定说明进行安装,并期待一些试错以使一切顺利工作。

你的工作流程应包括系统的数据集策划。构建按主题组织的已清理、标记图像库。当你可以快速启动新训练会话而无需争先恐后地收集图像时,这项前期工作会获得回报。

在过夜或工作时间(当你不需要Mac的全部性能时)进行训练。设置训练每500步保存检查点,以便在某些东西崩溃时可以恢复。使用iStat Menus或类似工具监控系统温度,以确保热节流不会杀死训练速度。

在认为完成之前彻底测试训练的模型。使用不同的提示生成20-30张图像,以验证LoRA捕获了你想要的内容。与基础模型比较,以确保更改是改进而不是质量下降。

在Mac上训练Flux模型呢?

Black Forest Labs的Flux模型代表了图像生成的当前最先进技术,但它们在训练方面也比SDXL要大得多且要求更高。在Mac上本地Flux训练在技术上是可能的,但即使高端硬件也会推到极限。

Flux LoRA训练会话需要32GB+内存用于基础dev模型,40GB+用于pro版本。这使得它在M3 Max和M4 Max配置的范围内,但即使在顶级硬件上,训练时间也会延长到6-12小时。Flux训练技巧指南涵盖了在Mac上有帮助的优化技术。

内存压力成为主要瓶颈。Flux的变压器架构使用与Stable Diffusion不同的注意机制,并非所有机制都针对MPS后端进行了优化。你可能需要将批量大小减少到1并使用梯度累积来在可用内存中适应训练。

云训练对Flux模型更有意义,除非你经常训练它们。本地Flux训练的时间投资足够大,以至于为快速云GPU付费既节省时间又减少挫败感。Apatero的平台支持Flux LoRA训练,具有与SDXL模型相同的简单界面。

如果你确实尝试本地Flux训练,请使用捕获你主题的最小数据集。从15-20张高质量图像开始,而不是40-50张。具有适当多样性的较少图像训练更快,并且通常比具有冗余示例的大数据集提供更好的结果。

常见问题

你可以在Mac上原生运行Dreambooth而不使用CUDA吗?

不,传统Dreambooth实现需要CUDA,无法在Mac上运行。然而,LoRA训练提供类似或更好的结果,并通过MPS后端在Apple Silicon上工作。SimpleTuner和Kohya_ss等工具支持Mac训练,无需CUDA硬件。

你需要哪个M系列芯片进行AI模型训练?

具有32GB的M2 Pro是实际SDXL LoRA训练的最低要求。具有64GB+的M3 Max或M4提供更好的性能,训练时间为2-4小时,这是合理的。M1和基础M2型号适用于Textual Inversion,但在LoRA训练中遇到困难。

M3 Max上的LoRA训练与RTX 4090相比需要多长时间?

具有96GB的M3 Max为30-40张图像训练SDXL LoRA需要2-3小时。RTX 4090上的相同训练需要20-30分钟。Mac训练比现代NVIDIA GPU慢4-6倍,但对于不需要即时结果的用户来说仍然实用。

云训练比购买具有足够RAM的Mac更便宜吗?

对于偶尔训练,是的。每次会话3-4美元的云训练每月训练每年花费36-48美元。M3 Max Mac Studio花费3000-4000美元。除非你每周训练多次或已经拥有硬件,否则Apatero.com等云平台提供更好的经济性。

LoRA和Dreambooth训练之间有什么区别?

LoRA训练小型适配器层,而不是修改整个模型权重。这需要更少的计算,产生更小的文件,并且通常提供更好的角色一致性。Dreambooth执行完整微调,但需要24GB+ VRAM,并且倾向于在小数据集上过度拟合。详细比较在这里。

Mac能否在本地处理Flux模型训练?

在技术上,具有64GB+内存的M3 Max或M4 Max上可以,但训练时间延长到8-12小时。Flux模型比SDXL大得多,使它们更适合云训练,除非你需要频繁训练。内存压力会导致低规格机器上崩溃。

SimpleTuner在Mac上比Kohya_ss效果更好吗?

SimpleTuner具有更好的Mac特定优化和更可靠的MPS支持。Kohya_ss提供更成熟的GUI和功能集,但主要为CUDA设计。对于仅Mac工作流程,SimpleTuner提供更好的性能和更少的兼容性问题。

你需要多少训练图像才能获得良好的LoRA结果?

15-40张图像通常效果最好。太少的图像模型不会很好地泛化。太多冗余图像浪费训练时间而不会改善结果。专注于姿势、光照和上下文的多样性,而不是数量。

为什么在Mac上训练会崩溃并显示"内存不足"错误?

Mac上的统一内存在CPU、GPU和神经引擎之间共享。后台应用程序、浏览器选项卡和系统进程消耗训练需要的内存。关闭除训练脚本和终端之外的所有内容。如果崩溃持续,请减少批量大小。Apple Silicon性能优化涵盖内存管理。

初学者应该从本地训练还是云平台开始?

初学者应该从Apatero.com等云平台开始。本地训练需要环境设置、故障排除和参数调整,这会让新手感到沮丧。云平台让你立即训练模型,并在投资时间进行本地设置之前学习什么有效。

做出决定 - 本地还是云训练?

本地Mac训练和云平台之间的选择不是二元的。大多数用户受益于战略性地使用两种方法的混合工作流程。

当你需要快速结果、想要以最少的设置进行实验或没有足够的Mac硬件时,使用云训练。像Apatero.com这样的平台擅长在没有技术障碍的情况下使训练变得可访问。每次训练会话的成本足够低,即使是定期用户也可以为其方便和速度证明云训练的合理性。

当你经常训练、想要对参数的深度控制或享受技术学习过程时,投资本地训练设置。具有M3或M4芯片的Mac用户在完成初始设置后有足够的功率进行实用的本地工作流程。在自己的硬件上训练自定义模型的满足感吸引许多用户,超越纯粹的经济学。

也要考虑你的创意工作流程。如果训练是快速迭代的一部分,在那里你每个项目生成、训练、重新生成多次,本地训练更适合。如果你训练一次然后生成数百张图像,训练速度不如生成速度和质量重要。

你的Mac规格最终决定本地训练变得多么实用。不要与硬件限制作斗争。M2 Pro可以成功训练LoRA,但你将在云平台上对繁重工作负载有更好的体验,同时将本地训练保存用于较小的实验。

AI训练景观快速发展。一年前在Mac上遇到困难的工具现在运行得相当好。Apple继续通过每次操作系统更新改进Metal Performance Shaders。今天不切实际的可能明天变得可行,因此随着软件和硬件的改进,定期重新审视你的决定。

目前,大多数Mac用户最有成效的方法是将云训练用于重要项目,将本地训练用于实验和学习。这种混合工作流程最大化了速度和学习,同时有效管理成本。