Khắc Phục Sự Cố Đào Tạo LoRA - 10 Vấn Đề Hàng Đầu và Giải Pháp 2025

Đào tạo LoRA của bạn tiếp tục bị lỗi với các thông báo lỗi khó hiểu hoặc tạo ra các kết quả không sử dụng được. Bạn đã tuân theo các hướng dẫn một cách chính xác nhưng vẫn gặp phải overfitting, sự cố cấp CUDA bộ nhớ hoặc khả năng tổng quát kém. Hiểu rõ 10 vấn đề đào tạo LoRA hàng đầu và các giải pháp đã được chứng minh của chúng sẽ biến các lỗi bất lực thành các mô hình tùy chỉnh thành công thực sự hoạt động.

Câu trả lời nhanh: Hầu hết các lỗi đào tạo LoRA xuất phát từ overfitting (tốc độ học quá cao hoặc thiếu đa dạng bộ dữ liệu), underfitting (tốc độ học quá thấp hoặc quá ít bước), lỗi bộ nhớ CUDA (kích thước batch quá lớn), chất lượng bộ dữ liệu kém hoặc ghi chú không chính xác. Khắc phục sự cố có hệ thống các vấn đề cụ thể này giải quyết 90 phần trăm các vấn đề đào tạo.

Bạn đã dành hàng giờ chuẩn bị bộ dữ liệu của mình. GPU của bạn đã chạy qua các bước đào tạo trong ba giờ qua. Bạn tạo các hình ảnh thử nghiệm và phát hiện rằng LoRA chỉ tạo ra một tư thế cụ thể và ánh sáng. Hoặc tệ hơn, nó không tạo ra bất cứ điều gì có thể nhận dạng được. Sự thất vọng tăng lên khi bạn không thể xác định điều gì đã sai.

Đào tạo LoRA kết hợp nhiều biến phức tạp. Chất lượng bộ dữ liệu, các tham số đào tạo, hạn chế phần cứng và cấu hình phần mềm đều tương tác theo các cách không rõ ràng. Một vấn đề ở bất kỳ khu vực nào cũng dẫn đến lỗi đào tạo. Khắc phục sự cố có hệ thống tách biệt các vấn đề cụ thể và áp dụng các bản sửa đích nhân thay vì điều chỉnh tham số ngẫu nhiên. Mặc dù các nền tảng như Apatero.com loại bỏ những phức tạp đào tạo này thông qua cơ sở hạ tầng được quản lý, nhưng hiểu rõ khắc phục sự cố xây dựng kiến thức AI đào tạo thiết yếu.

Vấn đề 1: Overfitting Tạo Ra Ghi Nhớ Thay Vì Học

Overfitting là vấn đề đào tạo LoRA phổ biến nhất. Mô hình của bạn ghi nhớ các hình ảnh đào tạo cụ thể thay vì học các đặc trưng có thể tổng quát hóa. LoRA kết quả chỉ tái tạo các tư thế, ánh sáng và thành phần chính xác từ bộ dữ liệu của bạn.

Nhận Diện Các Triệu Chứng Overfitting

Chỉ Số Trực Quan:

Hình ảnh được tạo ra phù hợp với dữ liệu đào tạo quá chính xác. Bạn yêu cầu các tư thế hoặc cài đặt khác nhưng nhận được cùng một tư thế từ hình ảnh đào tạo của bạn. Thay đổi chi tiết prompt có tác dụng tối thiểu. LoRA bỏ qua các hướng dẫn xung đột với dữ liệu đào tạo được ghi nhớ.

Các yếu tố nền từ hình ảnh đào tạo xuất hiện không thích hợp trong đầu ra được tạo ra. LoRA ký tự của bạn được đào tạo trên các bức ảnh phòng ngủ luôn tạo ra nền phòng ngủ bất kể những prompt chỉ định các cảnh ngoài trời.

Số Liệu Đào Tạo:

Tổn thất đào tạo tiếp tục giảm trong khi tổn thất xác thực ngưng trệ hoặc tăng. Sự phân kỳ này cho thấy mô hình đang phù hợp với nhiễu dữ liệu đào tạo thay vì học các mẫu có thể tổng quát hóa. Theo nghiên cứu từ các nhà huấn luyện Civitai, các điểm kiểm tra tối ưu thường xảy ra ở 60-80 phần trăm tổng số đào tạo dự kiến trước khi overfitting áp đảo.

Giá trị tổn thất giảm xuống dưới 0,05 hoặc tiến tới số không. Tổn thất cực thấp cho thấy ghi nhớ hoàn hảo dữ liệu đào tạo thay vì hiểu biết được học. Giá trị tổn thất thực tế cho các LoRA được đào tạo tốt dao động từ 0,08 đến 0,15.

Nguyên Nhân Gốc Của Overfitting

Thiếu Đa Dạng Bộ Dữ Liệu:

Đào tạo trên 15-20 hình ảnh gần như giống hệt nhau đảm bảo overfitting. LoRA khuôn mặt của bạn được đào tạo trên 20 ảnh kiểu hộ chiếu sẽ chỉ tạo ra những bức chân dung kiểu hộ chiếu. Mô hình học "đây là cách đối tượng trông như thế nào" thay vì hiểu cấu trúc khuôn mặt mà tổng quát hóa cho các góc và ánh sáng khác nhau.

Theo phân tích đào tạo LoRA, yêu cầu bộ dữ liệu tối thiểu khác nhau tùy theo độ phức tạp. Nhận dạng ký tự đơn giản cần 20-30 hình ảnh đa dạng. Các LoRA linh hoạt với nhiều kiểu dáng yêu cầu 100+ hình ảnh bao gồm các tư thế, điều kiện ánh sáng, quần áo và bối cảnh khác nhau.

Quá Nhiều Bước Đào Tạo:

Đào tạo vượt quá điểm hội tụ tối ưu gây overfitting. Đường cong tổn thất của bạn phẳng ở bước 800 nhưng bạn tiếp tục sang bước 2000. Những 1200 bước bổ sung đó dạy mô hình ghi nhớ thay vì tổng quát hóa.

Tốc Độ Học Quá Cao:

Tốc độ học trên 5e-4 thường gây overfitting nhanh chóng, đặc biệt là với các bộ dữ liệu nhỏ. Mô hình thực hiện các cập nhật tham số lớn phù hợp với các ví dụ đào tạo riêng lẻ thay vì học dần dần các mẫu chung.

Thứ Hạng Mạng Quá Cao:

Thứ hạng mạng xác định số lượng tham số LoRA. Thứ hạng 128 hoặc 256 cung cấp sức chứa thừa cho các khái niệm đơn giản. Sức chứa bổ sung này cho phép ghi nhớ các chi tiết dữ liệu đào tạo thay vì buộc mô hình học các đại diện có thể tổng quát hóa hiệu quả.

Giải Pháp Overfitting Đã Được Chứng Minh

Tăng Đa Dạng Bộ Dữ Liệu:

Thêm 10-20 hình ảnh bổ sung với các tư thế, ánh sáng, quần áo và nền cảnh khác nhau. Ngay cả với cùng một đối tượng, sự đa dạng ngăn chặn ghi nhớ. Theo các bài kiểm tra thực tế được ghi lại trong hướng dẫn LoRA toàn diện, sự đa dạng về góc độ, ánh sáng và bối cảnh ngăn chặn overfitting trong khi duy trì tính nhất quán ký tự.

Mỗi hình ảnh đào tạo phải cung cấp thông tin độc đáo. Mười hình ảnh trong cùng ánh sáng nhưng với các góc đầu hơi khác nhau cung cấp đa dạng tối thiểu. Năm hình ảnh có ánh sáng, tư thế và bối cảnh hoàn toàn khác nhau dạy các mẫu hữu ích hơn.

Giảm Bước Đào Tạo:

Giảm số bước đào tạo của bạn xuống 30-40 phần trăm. Nếu bạn đã đào tạo 2000 bước và thấy overfitting, hãy thử lại với 1200-1400 bước. Lưu các điểm kiểm tra mỗi 100-200 bước để xác định điểm dừng tối ưu trước khi overfitting bắt đầu.

Tạo hình ảnh thử nghiệm tại nhiều điểm kiểm tra. Thường xuyên, điểm kiểm tra ở 60-70 phần trăm đào tạo tạo ra kết quả tốt hơn so với điểm kiểm tra cuối cùng. Đồ thị tổn thất đào tạo không kể toàn bộ câu chuyện. Đánh giá chất lượng hình ảnh xác định điểm kiểm tra tối ưu thực tế.

Giảm Tốc Độ Học:

Giảm tốc độ học từ 3e-4 hoặc 5e-4 xuống 1e-4 hoặc 8e-5. Tốc độ học thấp hơn gây ra học tập chậm hơn, dần dần hơn tổng quát hóa tốt hơn. Đào tạo mất nhiều thời gian hơn nhưng tạo ra kết quả tuyệt vời hơn.

Đối với đào tạo Flux LoRA cụ thể, nghiên cứu cho thấy 1e-4 hoạt động đáng tin cậy trên hầu hết các trường hợp sử dụng. SDXL được hưởng lợi từ 2e-4 cao hơn một chút. SD 1.5 chịu được 3e-4 do kích thước mô hình nhỏ hơn.

Giảm Thứ Hạng Mạng:

Giảm thứ hạng từ 64 hoặc 128 xuống 32 hoặc 16. Thứ hạng thấp hơn buộc mô hình học các biểu diễn hiệu quả thay vì ghi nhớ chi tiết. Theo các kỹ thuật đào tạo nâng cao, LoRA khuôn mặt hoạt động tốt ở thứ hạng 32 trong khi các LoRA kiểu thường chỉ cần thứ hạng 16.

Thứ hạng nhỏ hơn cũng tạo ra kích thước tệp nhỏ hơn và suy luận nhanh hơn. LoRA thứ hạng 32 tải và xử lý nhanh hơn đáng chú ý so với thứ hạng 128 trong khi thường tạo ra chất lượng tương đương hoặc tốt hơn thông qua khả năng tổng quát hóa tốt hơn.

Triển Khai Hình Ảnh Chính Quy Hóa:

Hình ảnh chính quy hóa cho mô hình biết loại chung nên trông như thế nào mà không cần chủ thể cụ thể của bạn. Đào tạo một LoRA người với 30 hình ảnh của chủ thể của bạn cộng với 150 hình ảnh chính quy hóa của những người khác ngăn chặn overfitting.

Mô hình học phân biệt chủ thể cụ thể của bạn khỏi lớp "người" chung chung thay vì học rằng tất cả mọi người trông giống như chủ thể của bạn. Tỉ lệ chính quy hóa 3:1 hoặc 5:1 (chính quy hóa cho các hình ảnh đào tạo) hoạt động tốt cho các LoRA ký tự.

Vấn đề 2: Underfitting Tạo Ra Các LoRA Yếu Không Hiệu Quả

Underfitting tạo ra vấn đề ngược lại của overfitting. LoRA của bạn học thông tin không đủ và hầu như không ảnh hưởng đến đầu ra tạo ra. Áp dụng LoRA tạo ra các thay đổi tối thiểu hoặc không thể nắm bắt các đặc điểm độc đáo của chủ thể của bạn.

Nhận Diện Các Triệu Chứng Underfitting

Hình ảnh được tạo ra chỉ có độ giống nhau mơ hồ với dữ liệu đào tạo. LoRA ký tự của bạn được đào tạo trên một người cụ thể tạo ra các khuôn mặt chung chung với sự giống nhau nhẹ nhưng thiếu những đặc điểm độc đáo. Tăng cường độ LoRA lên 1,2 hoặc 1,5 giúp một chút nhưng không bao giờ tạo ra kết quả thuyết phục.

Mô hình không phản hồi từ kích hoạt của bạn. Prompting "ảnh của [triggerword]" tạo ra những người ngẫu nhiên thay vì chủ thể được đào tạo của bạn. LoRA học thông tin không đủ để nhận ra và tái tạo khái niệm dự định.

Nguyên Nhân Gốc Của Underfitting

Bước Đào Tạo Không Đủ:

Dừng đào tạo ở 300-400 bước khi cần 800-1200 bước ngăn chặn học tập thích hợp. Đường cong tổn thất của bạn vẫn cho thấy giảm nhanh khi đào tạo dừng lại, cho thấy mô hình đang tích cực học và cần thêm thời gian.

Tốc Độ Học Quá Thấp:

Tốc độ học 1e-5 hoặc 5e-6 gây ra học tập chậm cực độ yêu cầu hàng ngàn bước. Mô hình thực hiện các cập nhật tham số nhỏ xíu tích lũy học tập quá chậm để đào tạo thực tế kéo dài.

Kích Thước Bộ Dữ Liệu Không Đủ:

Đào tạo các LoRA kiểu đa khái niệm phức tạp chỉ với 10-15 hình ảnh cung cấp thông tin không đủ. Mô hình không thể học các mẫu có thể tổng quát hóa từ dữ liệu hạn chế như vậy. Các khái niệm đơn giản hoạt động với các bộ dữ liệu nhỏ nhưng các LoRA linh hoạt phức tạp cần dữ liệu đào tạo đáng kể.

Chất Lượng Hình Ảnh Kém:

Hình ảnh đào tạo độ phân giải thấp, mờ hoặc nén nặng ngăn chặn học tập thích hợp. Mô hình không thể trích xuất các tính năng rõ ràng từ các hình ảnh 256x256 pixel hoặc các bức ảnh có hiện tượng nén JPEG nghiêm trọng. Theo hướng dẫn chuẩn bị bộ dữ liệu, độ phân giải tối thiểu 512x512 pixel là thiết yếu cho đào tạo chất lượng.

Từ Kích Hoạt Không Có Trong Chú Thích:

Quên bao gồm từ kích hoạt của bạn trong chú thích hình ảnh có nghĩa là mô hình không bao giờ học liên kết từ với chủ thể của bạn. LoRA có thể học khái niệm hình ảnh nhưng sẽ không kích hoạt khi bạn sử dụng từ kích hoạt trong prompt.

Giải Pháp Underfitting Đã Được Chứng Minh

Tăng Bước Đào Tạo:

Kéo dài đào tạo từ 400 sang 800-1200 bước. Theo dõi các đường cong tổn thất và thế hệ mẫu để xác định khi nào mô hình đạt đến đào tạo tối ưu. Đối với Flux LoRAs, 800-1200 bước thường tạo ra các kết quả được đào tạo tốt. SDXL thường yêu cầu 1500-2500 bước do kiến trúc khác nhau.

Lưu và kiểm tra các điểm kiểm tra mỗi 200 bước. Điều này xác định điểm tối ưu khi học tập hoàn thành nhưng overfitting chưa bắt đầu. Điểm kiểm tra ở bước 1000 có thể hoạt động tốt hơn so với bước 1400 ngay cả khi tổn thất đào tạo thấp hơn ở 1400.

Nâng Cao Tốc Độ Học:

Tăng tốc độ học từ 1e-5 lên 2e-4 hoặc 3e-4. Tốc độ học cao hơn tăng tốc độ học nhưng yêu cầu giám sát cẩn thận để ngăn chặn overfitting. Bắt đầu với 2e-4 và điều chỉnh dựa trên kết quả.

Đào tạo Flux thường sử dụng 1e-4 làm đường cơ sở. Nếu underfitting xảy ra ở 1e-4, hãy thử 2e-4. SDXL chịu được tốc độ học cao hơn khoảng 3e-4. Thử tăng dần thay vì nhảy trực tiếp đến các giá trị tối đa.

Mở Rộng Kích Thước Bộ Dữ Liệu:

Thêm 10-20 hình ảnh đào tạo bổ sung bao gồm các khía cạnh khác nhau của chủ thể của bạn. Đối với các LoRA kiểu, bao gồm 30-40 hình ảnh thể hiện kiểu nghệ thuật trên các chủ thể khác nhau và thành phần. Các khái niệm phức tạp cần nhiều dữ liệu hơn so với nhận dạng khuôn mặt đơn giản.

Chất lượng quan trọng hơn số lượng. Hai mươi hình ảnh đa dạng chất lượng cao vượt quá năm mươi bức ảnh chất lượng thấp gần như giống hệt nhau. Mỗi hình ảnh nên dạy mô hình điều gì đó mới về chủ thể hoặc kiểu dáng của bạn.

Cải Thiện Chất Lượng Hình Ảnh:

Thay thế hình ảnh độ phân giải thấp hoặc nén bằng các phiên bản chất lượng cao. Mở rộng hình ảnh nhỏ hơn lên 512x512 tối thiểu bằng cách sử dụng các mô hình mở rộng chất lượng. Xóa những bức ảnh mờ hoặc chiếu sáng kém cung cấp nhiều tiếng ồn hơn tín hiệu. Xem xét các kỹ thuật mở rộng từ hướng dẫn mở rộng ESRGAN để chuẩn bị bộ dữ liệu.

Chất lượng nhất quán trên bộ dữ liệu của bạn ngăn chặn mô hình từ việc học các hiện tượng hoặc mẫu nén. Tất cả hình ảnh phải có độ phân giải và mức chất lượng tương tự.

Xác Minh Từ Kích Hoạt Chú Thích:

Kiểm tra tất cả các tệp chú thích bao gồm từ kích hoạt của bạn. Đối với các LoRA ký tự, mỗi chú thích phải bắt đầu hoặc bao gồm cụm từ kích hoạt duy nhất của bạn. "ảnh của xyz123person" hoặc "xyz123person đứng" thay vì chỉ "người đứng".

Các từ kích hoạt duy nhất ngăn chặn xung đột với kiến thức mô hình hiện có. "john" xung đột với sự hiểu biết của mô hình về Johns chung chung. "xyz123john" tạo ra một mã định danh duy nhất mà mô hình học liên kết với chủ thể cụ thể của bạn.

Tăng Thứ Hạng Mạng:

Nâng thứ hạng từ 16 hoặc 32 lên 64 cho các khái niệm phức tạp yêu cầu thêm sức chứa học. Thứ hạng cao hơn cho phép mô hình lưu trữ thêm thông tin về chủ thể của bạn. Điều này trao đổi kích thước tệp lớn hơn và rủi ro overfitting tiềm năng để cải thiện sức chứa học.

Các LoRA khuôn mặt và ký tự thường cần thứ hạng 32-64. Các LoRA kiểu có thể cần thứ hạng 64-128 để nắm bắt các kỹ thuật nghệ thuật trên các chủ thể đa dạng. Thử tăng dần để tìm thứ hạng tối thiểu nắm bắt khái niệm của bạn một cách đủ.

Vấn đề 3: CUDA Hết Bộ Nhớ Làm Crash Đào Tạo

Lỗi bộ nhớ CUDA đại diện cho vấn đề đào tạo bực bội nhất. Đào tạo của bạn chạy 30 phút rồi crash với các thông báo "CUDA hết bộ nhớ". Quản lý bộ nhớ GPU yêu cầu hiểu biết về yêu cầu VRAM và các kỹ thuật tối ưu hóa.

Nhận Diện Các Triệu Chứng Lỗi Bộ Nhớ

Đào tạo crash sau một vài bước với các thông báo lỗi rõ ràng đề cập đến bộ nhớ CUDA hoặc lỗi phân bổ GPU. Đôi khi đào tạo dường như bắt đầu thành công rồi crash khi yêu cầu bộ nhớ tăng lên trong các giai đoạn đào tạo sau.

Hệ thống của bạn trở nên không phản hồi trong quá trình đào tạo. Các ứng dụng khác sử dụng GPU crash hoặc hiển thị lỗi. Sự bao phủ máy tính để bàn bị lỗi hoặc đông cứng cho thấy sự cạn kiệt bộ nhớ GPU ảnh hưởng đến tính ổn định hệ thống.

Nguyên Nhân Gốc Của Lỗi Bộ Nhớ

Kích Thước Batch Quá Lớn:

Kích thước batch trên 1 tăng theo cấp số nhân việc sử dụng bộ nhớ. Kích thước batch 2 không tăng gấp đôi yêu cầu bộ nhớ mà tăng chúng 2,5-3x. Kích thước batch 4 có thể vượt quá VRAM có sẵn trên GPU tiêu dùng.

VRAM GPU Không Đủ:

Đào tạo Flux LoRAs trên GPU VRAM 8GB mà không tối ưu hóa gây ra crash bộ nhớ. Flux yêu cầu khoảng 14-18GB VRAM để đào tạo thoải mái với cài đặt tiêu chuẩn. SDXL cần 10-12GB. SD 1.5 hoạt động với 8GB nhưng vẫn được hưởng lợi từ tối ưu hóa.

Tối Ưu Hóa Bộ Nhớ Bị Vô Hiệu Hóa:

Quên bật kiểm tra gradient hoặc xformers để lại các tối ưu hóa bộ nhớ đáng kể không hoạt động. Các kỹ thuật này có thể giảm yêu cầu VRAM 30-50 phần trăm nhưng yêu cầu bật rõ ràng.

Độ Phân Giải Đào Tạo Quá Lớn:

Đào tạo ở độ phân giải 768x768 hoặc 1024x1024 tiêu thụ VRAM nhiều hơn đáng kể so với 512x512. Độ phân giải xác định kích thước của các tensor kích hoạt chi phối việc sử dụng bộ nhớ trong quá trình đào tạo.

Giải Pháp Lỗi Bộ Nhớ Đã Được Chứng Minh

Giảm Kích Thước Batch Xuống 1:

Đặt kích thước batch thành 1 trong cấu hình đào tạo của bạn. Theo nghiên cứu về tối ưu hóa đào tạo GPU AMD, kích thước batch 1 cung cấp đào tạo ổn định trên VRAM hạn chế trong khi tích lũy gradient mô phỏng các kích thước batch lớn hơn mà không chi phí bộ nhớ.

Các batch hình ảnh đơn ngăn chặn các loại tăng bộ nhớ trong khi vẫn cho phép học tập hiệu quả. Đào tạo mất thời gian hơi lâu hơn do giảm song song hóa nhưng hoàn thành thành công thay vì crash.

Bật Kiểm Tra Gradient:

Kiểm tra gradient trao đổi thời gian tính toán cho bộ nhớ. Thay vì lưu trữ tất cả các kích hoạt trung gian trong quá trình chuyển tiếp, kỹ thuật tính toán lại chúng trong quá trình chuyển tiếp ngược. Điều này giảm việc sử dụng VRAM 40-60 phần trăm với khoảng 20 phần trăm mức độ phạt tốc độ đào tạo.

Bật trong giao diện đào tạo Kohya_ss bằng hộp kiểm "Kiểm tra Gradient". Đối với đào tạo dòng lệnh, thêm cờ --gradient_checkpointing. Tối ưu hóa duy nhất này thường giải quyết lỗi bộ nhớ trên GPU với 10-12GB VRAM.

Sử Dụng Bộ Tối Ưu Hóa Hiệu Quả Bộ Nhớ:

Chuyển từ AdamW tiêu chuẩn sang optimizer AdamW8bit. Tối ưu hóa tám bit giảm yêu cầu bộ nhớ trạng thái optimizer khoảng 75 phần trăm. Tác động chất lượng là không đáng kể theo nghiên cứu lớn bởi cộng đồng.

AdamW8bit cho phép các cấu hình đào tạo sẽ bị crash. LoRA Flux yêu cầu 18GB VRAM với AdamW tiêu chuẩn chạy thoải mái trong 12GB với AdamW8bit.

Giảm Độ Phân Giải Đào Tạo:

Huấn luyện ở 512x512 thay vì 768x768 hoặc 1024x1024. Độ phân giải thấp hơn giảm đáng kể yêu cầu bộ nhớ. Tác động chất lượng tối thiểu cho hầu hết các ứng dụng vì LoRAs học các khái niệm chứ không yêu cầu so khớp độ phân giải chính xác.

Đối với các chủ đề yêu cầu đào tạo độ phân giải cao (kết cấu chi tiết hoặc các tính năng nhỏ), sử dụng độ phân giải thấp hơn trong quá trình đào tạo ban đầu rồi điều chỉnh ngắn gọn ở độ phân giải cao hơn khi khái niệm được học.

Triển Khai Lượng Tử Hóa GGUF:

Lượng tử hóa GGUF-Q8 cung cấp 99 phần trăm chất lượng so với FP16 trong khi sử dụng khoảng một nửa VRAM. Theo thử nghiệm bởi tối ưu hóa Kontext LoRA, các mô hình lượng tử hóa cho phép đào tạo trên phần cứng tiêu dùng sẽ yêu cầu GPU chuyên nghiệp.

Tải các mô hình ở định dạng GGUF thay vì safetensors khi có sẵn. Lượng tử hóa xảy ra trong quá trình chuyển đổi mô hình và không ảnh hưởng đáng chú ý đến chất lượng đào tạo.

Đóng Các Ứng Dụng GPU Khác:

Trước khi đào tạo, đóng trình duyệt web với tăng tốc phần cứng được bật, trình khởi chạy trò chơi và các ứng dụng sử dụng GPU khác. Ngay cả các ứng dụng nền tiêu thụ VRAM sẽ ngoài cách sử dụng cho đào tạo.

Giám sát việc sử dụng GPU bằng nvidia-smi hoặc Trình quản lý tác vụ trước khi bắt đầu đào tạo. Việc sử dụng đường cơ sở nên dưới 2GB khi không có ứng dụng chạy. Điều này đảm bảo sự sẵn có VRAM tối đa cho đào tạo.

Bật Đào Tạo Duyệt Số Thập Phân Hỗn Hợp:

Độ chính xác hỗn hợp sử dụng FP16 cho hầu hết các tính toán thay vì FP32, giảm một nửa yêu cầu bộ nhớ cho trọng lượng mô hình và kích hoạt. Bật bằng cờ --mixed_precision fp16 hoặc hộp kiểm giao diện tương ứng.

GPU hiện đại (RTX 20 series và mới hơn, AMD 6000 series và mới hơn) bao gồm phần cứng FP16 chuyên dụng cung cấp các cải tiến hiệu suất cùng với tiết kiệm bộ nhớ. GPU cũ hơn có thể thấy lợi ích tối thiểu.

Mặc dù các tối ưu hóa này cho phép đào tạo trên phần cứng tiêu dùng, các nền tảng như Apatero.com cung cấp quyền truy cập vào GPU chuyên nghiệp VRAM cao loại bỏ các ràng buộc bộ nhớ hoàn toàn.

Vấn đề 4: Chất Lượng Bộ Dữ Liệu Kém Ngăn Chặn Đào Tạo Thành Công

Chất lượng bộ dữ liệu xác định thành công đào tạo hơn điều chỉnh tham số. Các bộ dữ liệu có lỗi tạo ra LoRAs có lỗi bất kể cấu hình tham số hoàn hảo. Nhận diện và sửa các vấn đề bộ dữ liệu là điều cần thiết.

Nhận Diện Vấn Đề Chất Lượng Bộ Dữ Liệu

Đầu ra được tạo ra cho thấy các hiện tượng, biến dạng hoặc các mẫu lạ không phản ánh khái niệm dự định của bạn. LoRA ký tự của bạn tạo ra các khuôn mặt có tỷ lệ kỳ lạ hoặc bao gồm hình mờ và các phần tử UI từ hình ảnh đào tạo.

LoRA hoạt động cho một số prompt nhưng thất bại hoàn toàn cho những prompt khác. Sự không nhất quán này thường cho thấy bộ dữ liệu đã dạy thông tin xung đột hoặc không hoàn chỉnh.

Nguyên Nhân Gốc Của Vấn Đề Bộ Dữ Liệu

Hình Ảnh Độ Phân Giải Thấp:

Bao gồm hình ảnh dưới độ phân giải 512x512 dạy mô hình các mẫu chất lượng thấp. LoRA học tạo ra các đầu ra mờ hoặc pixelated khớp với mức chất lượng dữ liệu đào tạo.

Chất Lượng Hình Ảnh Không Nhất Quán:

Trộn lẫn nhiếp ảnh chuyên nghiệp với ảnh chụp điện thoại thông minh và các tải về phương tiện xã hội nén tạo nhầm lẫn. Mô hình không biết liệu có tạo ra đầu ra chất lượng cao hay chất lượng thấp.

Hình Mờ và Phần Tử UI:

Các hình ảnh đào tạo chứa hình mờ, dấu thời gian, phần tử UI hoặc lớp phủ văn bản dạy mô hình tạo ra các phần tử đó. LoRA ký tự của bạn bao gồm hình mờ vì ba hình ảnh đào tạo có hình mờ nhìn thấy được.

Bộ Lọc Chống AI:

Theo nghiên cứu chuẩn bị bộ dữ liệu, bao gồm hình ảnh với bộ lọc chống AI hoặc nhiễu đối kháng là thảm họa cho đào tạo. Các bộ lọc này đặc biệt can thiệp vào đào tạo mạng thần kinh và gây ra suy giảm chất lượng nghiêm trọng.

Thiếu Đa Dạng:

Hai mươi hình ảnh đào tạo đều được chụp từ cùng một góc với cùng ánh sáng cung cấp đa dạng không đủ. Mô hình học rằng chủ thể của bạn chỉ tồn tại trong tư thế và điều kiện ánh sáng cụ thể đó.

Tính Không Nhất Quán Chủ Thể:

Đối với các LoRA ký tự, các hình ảnh đào tạo phải liên tục cho thấy cùng một chủ thể. Bao gồm các bức ảnh của những người khác nhau hoặc trộn lẫn tác phẩm nghệ thuật ký tự từ các nghệ sĩ khác nhau tạo nhầm lẫn về những gì LoRA nên học.

Giải Pháp Chất Lượng Bộ Dữ Liệu Đã Được Chứng Minh

Thiết Lập Tiêu Chuẩn Chất Lượng Tối Thiểu:

Tạo danh sách kiểm tra chất lượng và đánh giá mọi hình ảnh đào tạo:

• Độ phân giải 512x512 tối thiểu, 768x768 hoặc cao hơn được ưa thích
• Tiêu điểm sắc nét trên chủ thể không có mờ chuyển động
• Ánh sáng tốt cho thấy chủ thể rõ ràng
• Không có hình mờ, văn bản hoặc phần tử UI nhìn thấy được
• Không có hiện tượng nén hoặc tiếng ồn
• Chủ thể rõ ràng có thể nhận dạng được và nhất quán với những hình ảnh khác

Xóa các hình ảnh không đáp ứng bất kỳ tiêu chí nào. Bộ dữ liệu 15 hình ảnh tuyệt vời tạo ra kết quả tốt hơn so với 30 hình ảnh bao gồm 15 hình ảnh có vấn đề.

Mở Rộng Hình Ảnh Độ Phân Giải Thấp:

Sử dụng các mô hình mở rộng chất lượng như Real-ESRGAN hoặc SwinIR để nâng cao hình ảnh độ phân giải thấp lên 768x768 hoặc 1024x1024. Tiền xử lý này cải thiện chất lượng đào tạo đáng kể. Tuy nhiên, hình ảnh nguồn độ phân giải cực thấp hoặc mờ không thể được cứu bằng cách mở rộng.

Cắt Và Làm Sạch Hình Ảnh:

Xóa hình mờ, dấu thời gian và phần tử UI thông qua cắt cẩn thận hoặc inpainting. Các quy trình công việc ComfyUI với các nút inpainting có thể sạch sẽ loại bỏ hình mờ trong khi bảo tồn chủ thể. Khoản đầu tư tiền xử lý này mang lại lợi suất tuyệt vời trong chất lượng đào tạo.

Đảm Bảo Tính Nhất Quán Chủ Thể:

Đối với các LoRA ký tự, xác minh mọi hình ảnh hiển thị cùng một người từ các góc có thể nhận dạng được. Xóa các hình ảnh mơ hồ nơi chủ thể bị che khuất, ở xa hoặc được cho thấy từ các góc không rõ ràng thể hiện các đặc điểm của họ.

Đối với các LoRA kiểu, đảm bảo tất cả các ví dụ thể hiện kiểu nghệ thuật giống nhau một cách nhất quán. Đừng trộn lẫn các ví dụ ấn tượng và chân thực thử trong một LoRA kiểu dáng duy nhất.

Thêm Đa Dạng Theo Chiến Lược:

Mở rộng bộ dữ liệu với các hình ảnh bao gồm:

• Ánh sáng khác nhau (tự nhiên, studio, trong nhà, ngoài trời)
• Các góc khác nhau (trước, bên, ba phần tư, cao, thấp)
• Nhiều quần áo và bối cảnh (nếu áp dụng)
• Các biểu lộ và tư thế khác nhau
• Nền tảng đa dạng (để dạy chủ thể chứ không phải môi trường)

Mỗi hình ảnh mới nên dạy mô hình điều gì đó nó chưa biết từ các hình ảnh hiện có.

Xác Thực Chống Bộ Lọc AI:

Kiểm tra hình ảnh đào tạo cho các bộ lọc chống AI hoặc nhiễu đối kháng. Các bộ lọc này thường không nhìn thấy được bằng mắt người nhưng ảnh hưởng nghiêm trọng đến đào tạo. Nếu hình ảnh nguồn đến từ các nền tảng được biết là áp dụng các bộ lọc như vậy, hãy lấy các phiên bản sạch sẽ từ các nguồn thay thế hoặc tệp gốc.

Vấn đề 5: Lỗi Ghi Chú Gây Nhầm Lẫn Đào Tạo

Chú thích hướng dẫn mô hình học từ mỗi hình ảnh. Chú thích không chính xác, không nhất quán hoặc mâu thuẫn gây ra các vấn đề đào tạo mà điều chỉnh tham số không thể sửa.

Nhận Diện Vấn Đề Ghi Chú

Từ kích hoạt của bạn không kích hoạt LoRA. Hình ảnh được tạo ra bỏ qua từ kích hoạt và tạo ra đầu ra ngẫu nhiên. Mô hình học các mẫu hình ảnh nhưng không liên kết chúng với từ kích hoạt.

LoRA phản hồi với các prompt sai hoặc tạo ra các kết quả không mong đợi. Prompting "woman" kích hoạt LoRA ký tự nam của bạn vì chú thích không chính xác ghi nhãn chủ thể.

Nguyên Nhân Gốc Của Lỗi Ghi Chú

Từ Kích Hoạt Bị Thiếu:

Chú thích không bao gồm từ kích hoạt được chỉ định của bạn ngăn chặn mô hình từ việc học liên kết giữa từ và khái niệm. LoRA học "cái gì" nhưng không "khi nào để kích hoạt".

Sử Dụng Từ Kích Hoạt Không Nhất Quán:

Một số chú thích sử dụng "jsmith123" trong khi những chú thích khác sử dụng "john smith" hoặc "johnsmith". Sự không nhất quán này pha loãng học trên các biến thể nhiều thay vì tập trung vào một kích hoạt duy nhất.

Mô Tả Mâu Thuẫn:

Chú thích mô tả các phần tử không có trong hình ảnh hoặc ghi nhãn không chính xác các tính năng nhìn thấy được. "mặc áo sơ mi đỏ" khi chủ thể mặc màu xanh tạo ra nhầm lẫn làm suy giảm chất lượng đào tạo.

Kiểu Ghi Chú Sai:

Theo nghiên cứu ghi chú Flux LoRA, sử dụng các thẻ kiểu danbooru cho các mô hình được đào tạo trên mô tả ngôn ngữ tự nhiên tạo ra kết quả kém. Flux và SDXL đào tạo trên mô tả ngôn ngữ tự nhiên, không phải thẻ. SD 1.5 và mô hình Pony sử dụng thẻ.

Chú Thích Quá Chi Tiết:

Chú thích cực kỳ chi tiết mô tả mọi yếu tố phụ nhỏ làm phân tán tiêu điểm học. Mô hình cố gắng học quá nhiều thứ từ mỗi hình ảnh thay vì tập trung vào khái niệm cốt lõi của bạn.

Chú Thích Chung Chung:

Chú thích như "ảnh của người" cung cấp thông tin hữu ích tối thiểu. Mô hình cần thông tin mô tả cụ thể để học những gì làm cho chủ thể của bạn độc đáo.

Giải Pháp Ghi Chú Đã Được Chứng Minh

Thiết Lập Tính Nhất Quán Từ Kích Hoạt:

Chọn một từ kích hoạt duy nhất và sử dụng nó giống hệt nhau trong mỗi chú thích. "xyz789person" hoặc tên ký tự duy nhất ngăn chặn xung đột với kiến thức hiện có của mô hình. Bắt đầu mỗi chú thích bằng từ kích hoạt để nhấn mạnh.

Định dạng nhất quán ví dụ:

"xyz789person đứng ngoài trời"

"xyz789person mặc áo khoác màu xanh"

"xyz789person cười nhìn vào máy ảnh"

Sử Dụng Kiểu Ghi Chú Thích Hợp:

Đối với Flux và SDXL, sử dụng mô tả ngôn ngữ tự nhiên. "Một bức ảnh của xyz789person mặc áo khoác da đen và đứng trong một văn phòng hiện đại" mô tả hình ảnh một cách tự nhiên.

Đối với mô hình SD 1.5 và Pony, sử dụng các thẻ được phân tách bằng dấu phẩy. "xyz789person, áo khoác da đen, văn phòng hiện đại, trong nhà, đứng, solo, nhìn vào người xem" tuân theo định dạng dữ liệu đào tạo.

Theo thử nghiệm toàn diện, các phương pháp kết hợp kết hợp cả ngôn ngữ tự nhiên và thẻ hoạt động tốt cho các mô hình hiện đại. Điều này đảm bảo cả bộ mã hóa văn bản CLIP và T5 nhận được thông tin thích hợp.

Xác Minh Độ Chính Xác Chú Thích:

Xem xét mỗi chú thích so với hình ảnh của nó. Sửa các lỗi rõ ràng nơi chú thích mô tả các phần tử không nhìn thấy hoặc ghi nhãn không chính xác các tính năng nhìn thấy được. Một chú thích hoàn toàn không chính xác trong bộ dữ liệu 20 hình ảnh có thể ảnh hưởng đáng chú ý đến chất lượng.

Sử dụng các công cụ ghi chú tự động như LLaVa hoặc BLIP làm điểm khởi đầu, sau đó xem xét thủ công và sửa các lỗi. Các công cụ tự động mắc lỗi mà xem xét thủ công bắt được.

Cân Bằng Mức Chi Tiết:

Bao gồm các chi tiết liên quan nhưng tránh các chi tiết quá mức. Mô tả chủ thể, các đặc điểm chính của họ, quần áo, tư thế và cài đặt. Bỏ qua các chi tiết nền không liên quan trừ khi cụ thể đào tạo kiểu dáng nền.

Ví dụ chú thích hiệu quả:

"Một bức ảnh của xyz789person, một phụ nữ tóc vàng trong độ tuổi 30, mặc quần áo kinh doanh bình thường, ngồi ở bàn làm việc và cười ấm áp nhìn vào máy ảnh, ánh sáng tự nhiên, môi trường văn phòng"

Giữ Chú Thích Tập Trung:

Tập trung các chú thích xung quanh khái niệm cốt lõi của bạn. Đối với các LoRA ký tự, tập trung vào chủ thể chứ không phải mô tả nền chi tiết. Đối với các LoRA kiểu, nhấn mạnh các kỹ thuật nghệ thuật thay vì mô tả chủ thể.

Mô hình phân bổ sức chứa học trên tất cả các yếu tố chú thích. Chú thích mô tả quá nhiều thứ ngăn chặn học tập tập trung vào khái niệm chính của bạn.

Sử Dụng Công Cụ Chỉnh Sửa Chú Thích:

Sử dụng WD14 tagger để ghi thẻ tự động ban đầu, sau đó chỉnh sửa thủ công để sửa. Đối với chú thích ngôn ngữ tự nhiên, sử dụng LLaVa vision LLM rồi chỉnh sửa để chính xác và tính nhất quán. Kết hợp các công cụ tự động với xem xét thủ công cung cấp sự cân bằng tốt nhất giữa hiệu quả và chất lượng.

Vấn đề 6: Tốc Độ Học Không Chính Xác Gây Không Ổn Định Đào Tạo

Tốc độ học đại diện cho tham số đào tạo quan trọng nhất. Quá cao gây ra tính không ổn định đào tạo và crash. Quá thấp lãng phí thời gian và tạo ra underfitting. Tìm phạm vi tối ưu tạo ra sự khác biệt giữa thành công và thất bại.

Nhận Diện Vấn Đề Tốc Độ Học

Triệu Chứng Tốc Độ Học Quá Cao:

Đường cong tổn thất oscillates hoang dại thay vì giảm mượt mà. Tổn thất đào tạo nhảy giữa 0,15 và 0,35 ngẫu nhiên thay vì giảm tuần tự. Các mẫu được tạo ra hiển thị những thay đổi chất lượng kịch tính giữa các điểm kiểm tra.

Mô hình tạo ra hiện tượng hoặc đầu ra bị hỏng. Đào tạo phân kỳ hoàn toàn với tổn thất tăng lên vô cùng. Những triệu chứng này cho thấy tốc độ học quá cao để đào tạo ổn định.

Triệu Chứng Tốc Độ Học Quá Thấp:

Tổn thất giảm cực kỳ chậm. Sau 1000 bước, tổn thất đào tạo vẫn ở 0,25 khi nó nên đạt 0,10-0,15. Các mẫu được tạo ra hiển thị cải thiện chất lượng tối thiểu trên các điểm kiểm tra.

Mô hình học rất chậm hoặc dường như bị kẹt. Kéo dài đào tạo thành 3000-4000 bước trở nên cần thiết khi 1000-1500 bước nên đủ với tốc độ học thích hợp.

Nguyên Nhân Gốc Của Vấn Đề Tốc Độ Học

Phương Pháp Một Kích Thước Phù Hợp Với Tất Cả:

Sử dụng cùng tốc độ học cho tất cả các mô hình bỏ qua sự khác biệt kiến trúc. Flux yêu cầu tốc độ học khác với SDXL. Các LoRA ký tự cần cài đặt khác với các LoRA kiểu.

Bỏ Qua Kích Thước Bộ Dữ Liệu:

Tốc độ học nên điều chỉnh dựa trên kích thước và đa dạng bộ dữ liệu. Bộ dữ liệu nhỏ tập trung (15-20 hình ảnh) cần tốc độ học thấp hơn so với bộ dữ liệu lớn đa dạng (100+ hình ảnh).

Cấu Hình Tốc Độ Học Bộ Mã Hóa Văn Bản Sai:

Tốc độ học bộ mã hóa văn bản nên thường là 50 phần trăm hoặc ít hơn tốc độ học UNet theo các tham số đào tạo nâng cao. Sử dụng tốc độ bằng nhau gây ra mô hình overfitting cho các prompt cụ thể thay vì học các khái niệm hình ảnh.

Giải Pháp Tốc Độ Học Đã Được Chứng Minh

Sử Dụng Tốc Độ Cơ Sở Cụ Thể Cho Mô Hình:

Bắt đầu với các tốc độ học cơ sở được chứng minh này:

Flux LoRAs:

• UNet: 1e-4 (0,0001)
• Bộ Mã Hóa Văn Bản: 5e-5 (0,00005)

SDXL LoRAs:

• UNet: 2e-4 (0,0002)
• Bộ Mã Hóa Văn Bản: 1e-4 (0,0001)

SD 1.5 LoRAs:

• UNet: 3e-4 (0,0003)
• Bộ Mã Hóa Văn Bản: 1.5e-4 (0,00015)

Những giá trị này đại diện cho các điểm bắt đầu được cộng đồng kiểm tra. Điều chỉnh dựa trên kết quả nhưng sử dụng những giá trị này làm đường cơ sở ban đầu.

Điều Chỉnh Cho Kích Thước Bộ Dữ Liệu:

Bộ dữ liệu nhỏ (15-25 hình ảnh) cần tốc độ học thấp hơn. Giảm đường cơ sở 30-50 phần trăm. Đối với bộ dữ liệu 20 hình ảnh, sử dụng 7e-5 thay vì 1e-4 cho Flux.

Bộ dữ liệu lớn (80-150 hình ảnh) chịu được tốc độ học cao hơn. Tăng đường cơ sở 20-30 phần trăm. Đối với bộ dữ liệu 100 hình ảnh, hãy thử 1.2e-4 hoặc 1.3e-4 cho Flux.

Triển Khai Bộ Lên Lịch Tốc Độ Học:

Bộ lên lịch Cosine dần dần giảm tốc độ học trong quá trình đào tạo, bắt đầu cao và giảm dần thành mức thấp. Điều này cho phép học nhanh ban đầu rồi tinh chỉnh cẩn thận. Cosine với khởi động lại cung cấp lợi ích bổ sung bằng cách định kỳ đặt lại tốc độ học để thoát khỏi các tối thiểu cục bộ.

Tốc độ học không đổi hoạt động tốt cho hầu hết các trường hợp nhưng bộ lên lịch cung cấp tối ưu hóa bổ sung cho đào tạo nâng cao. Bắt đầu bằng hằng số, thêm bộ lên lịch khi đào tạo cơ bản hoạt động đáng tin cậy.

Giám Sát Đường Cong Tổn Thất:

Xem tiến triển tổn thất đào tạo. Giảm mịn và ổn định cho thấy tốc độ học thích hợp. Dao động hoang dại có nghĩa là quá cao. Giảm cực kỳ chậm cho thấy quá thấp.

Tạo hình ảnh thử nghiệm mỗi 100-200 bước. Đánh giá chất lượng hình ảnh bắt được các vấn đề mà đường cong tổn thất bỏ lỡ. Đôi khi tổn thất giảm mịn nhưng chất lượng được tạo ra vẫn kém, cho thấy các vấn đề khác ngoài tốc độ học.

Đặt Tốc Độ Bộ Mã Hóa Văn Bản Đúng:

Cấu hình tốc độ học bộ mã hóa văn bản ở 0,5x tốc độ UNet. Nếu UNet sử dụng 1e-4, bộ mã hóa văn bản nên sử dụng 5e-5. Điều này ngăn chặn mô hình overfitting cho các prompt cụ thể thay vì học các tính năng hình ảnh.

Một số cấu hình đào tạo tắt đào tạo bộ mã hóa văn bản hoàn toàn bằng cách đặt tốc độ thành 0. Điều này hoạt động cho các khái niệm đơn giản nhưng hạn chế tính linh hoạt LoRA cho các prompt phức tạp.

Vấn đề 7: Tốc Độ Đào Tạo Quá Chậm Lãng Phí Thời Gian và Tiền Bạc

Đào tạo chậm trở nên đắt tiền khi sử dụng cho thuê GPU đám mây. Một công việc đào tạo mất 2 giờ sẽ mất 8 giờ, gấp bốn lần chi phí. Tối ưu hóa tốc độ đào tạo cung cấp lợi nhuận đầu tư ngay lập tức.

Nhận Diện Vấn Đề Đào Tạo Chậm

Các lần lặp đào tạo mất 3-5 giây khi phần cứng nên hỗ trợ 1-2 giây mỗi lần lặp. Đào tạo dự kiến 2 giờ kéo dài thành 6-8 giờ. Việc sử dụng GPU ngồi ở 40-60 phần trăm thay vì 90-100 phần trăm trong quá trình đào tạo.

Bộ dữ liệu của bạn tải chậm giữa các batch. Những khoảng dừng dài xảy ra giữa các bước đào tạo thay vì xử lý liên tục.

Nguyên Nhân Gốc Của Đào Tạo Chậm

Bộ Dữ Liệu Trên HDD Thay Vì SSD:

Theo nghiên cứu tối ưu hóa đào tạo, lưu trữ dữ liệu đào tạo trên ổ cứng cơ học thay vì SSD gây đào tạo 30-50 phần trăm chậm hơn. Tải dữ liệu giữa các bước trở thành nút cổ chai thay vì tính toán GPU.

Các Ứng Dụng Nền Tiêu Thụ GPU:

Các trình duyệt web với tăng tốc phần cứng, trình khởi chạy trò chơi, công cụ giám sát và các ứng dụng khác tiêu thụ tài nguyên GPU trong quá trình đào tạo. Điều này giảm tính toán khả dụng để đào tạo và gây chậm.

Tối Ưu Hóa Hiệu Suất Bị Vô Hiệu Hóa:

Chú ý hiệu quả bộ nhớ XFormers và các tối ưu hóa khác có thể cải thiện tốc độ 20-40 phần trăm. Đào tạo mà không có những tối ưu hóa này lãng phí hiệu suất không cần thiết.

Công Nhân Tải Dữ Liệu CPU Không Đủ:

Quá ít công nhân tải dữ liệu gây nút cổ chai CPU. GPU ngồi không chờ CPU chuẩn bị batch tiếp theo. Điều này gây đào tạo 20-40 phần trăm chậm hơn theo dữ liệu benchmark.

Phiên Bản PyTorch hoặc CUDA Không Chính Xác:

PyTorch hoặc phiên bản CUDA lỗi thời thiếu tối ưu hóa hiệu suất trong các bản phát hành mới. Đào tạo với PyTorch 1.13 thay vì 2.1 hy sinh những cải tiến hiệu suất đáng kể.

Giải Pháp Tốc Độ Đào Tạo Đã Được Chứng Minh

Di Chuyển Bộ Dữ Liệu Sang SSD:

Sao chép bộ dữ liệu đào tạo sang lưu trữ SSD trước đào tạo. Cải thiện tốc độ tự trả cho nó ngay lập tức trong thời gian đào tạo giảm. SSD NVMe cung cấp hiệu suất tối đa nhưng ngay cả SSD SATA cũng vượt trội so với ổ cứng cơ học.

Trên các thể hiện đám mây, đảm bảo tải bộ dữ liệu lên lưu trữ thể hiện nhanh thay vì lưu trữ đính kèm mạng chậm.

Đóng Các Ứng Dụng GPU Nền Tiêu Thụ:

Trước khi đào tạo, đóng trình duyệt web, máy khách trò chơi và công cụ giám sát sử dụng GPU. Kiểm tra việc sử dụng GPU với nvidia-smi để xác minh chỉ có việc sử dụng đường cơ sở tối thiểu.

Tắt thành phần máy tính để bàn Windows và hiệu ứng hình ảnh nếu sử dụng Windows. Những tính năng này tiêu thụ tài nguyên GPU không cần thiết trong quá trình đào tạo.

Bật Tối Ưu Hóa XFormers:

Cài đặt thư viện XFormers và bật chú ý hiệu quả bộ nhớ. Điều này cung cấp cải thiện tốc độ 20-30 phần trăm trong khi cũng giảm việc sử dụng VRAM. Quá trình cài đặt khác nhau tùy theo hệ điều hành nhưng lợi ích hiệu suất chứng minh nỗ lực thiết lập.

Đối với Kohya_ss, bật hộp kiểm "xformers" trong giao diện. Đối với đào tạo dòng lệnh, thêm cờ --xformers.

Tăng Công Nhân Tải Dữ Liệu:

Đặt num_workers thành 2-4 trong cấu hình đào tạo. Điều này cho phép tải dữ liệu song song giữ GPU được cấp các batch đào tạo liên tục. Quá nhiều công nhân (8+) thực sự có thể chậm đào tạo thông qua chi phí chung, nhưng 2-4 cung cấp sự cân bằng tối ưu.

Giám sát việc sử dụng CPU trong quá trình đào tạo. Nếu việc sử dụng CPU ở mức thấp (dưới 40 phần trăm) trong khi GPU ngồi ở 100 phần trăm, tải dữ liệu không phải là nút cổ chai. Nếu CPU ở 100 phần trăm trong khi thử nghiệm sử dụng GPU, tăng công nhân tải dữ liệu.

Cập Nhật PyTorch và CUDA:

Sử dụng các phiên bản PyTorch ổn định gần đây (2.0 hoặc mới hơn) với bộ công cụ CUDA tương ứng. Các phiên bản mới bao gồm những cải tiến hiệu suất đáng kể cho các khối lượng công việc đào tạo. Kiểm tra khả năng tương thích với GPU và hệ điều hành trước khi cập nhật.

Đối với GPU AMD, đảm bảo phiên bản ROCm khớp với yêu cầu PyTorch. Các phiên bản không phù hợp gây ra vấn đề hiệu suất hoặc crash.

Sử Dụng Đào Tạo Duyệt Số Thập Phân Hỗn Hợp:

Bật FP16 độ chính xác hỗn hợp cho GPU có tensor cores (NVIDIA RTX 20 series và mới hơn). Điều này cung cấp cải thiện tốc độ 1,5-2x trên phần cứng tương thích. GPU cũ hơn thấy lợi ích tối thiểu.

Đối với GPU AMD, hỗ trợ độ chính xác hỗn hợp khác nhau tùy theo phiên bản ROCm và mô hình GPU. Kiểm tra xem độ chính xác hỗn hợp có cung cấp lợi ích trên phần cứng cụ thể của bạn hay không.

Tối Ưu Hóa Kích Thước Batch:

Mặc dù ràng buộc bộ nhớ thường buộc kích thước batch 1, GPU có VRAM đủ được hưởng lợi từ kích thước batch 2 hoặc 4. Điều này cải thiện việc sử dụng GPU và tốc độ đào tạo 30-50 phần trăm khi bộ nhớ cho phép.

Sử dụng tích lũy gradient để mô phỏng các kích thước batch hiệu quả lớn hơn nếu VRAM hạn chế kích thước batch thực tế. Điều này cung cấp một số lợi ích tối ưu hóa mà không có chi phí bộ nhớ.

Mặc dù tối ưu hóa đào tạo cục bộ cung cấp tiết kiệm chi phí, các nền tảng như Apatero.com cung cấp cơ sở hạ tầng đào tạo được tối ưu hóa trước trong đó tối ưu hóa tốc độ được xử lý tự động.

Vấn đề 8: Khả Năng Tổng Quát Hóa Kém Giới Hạn Tính Hữu Dụng LoRA

LoRA của bạn hoạt động cho các prompt tương tự với dữ liệu đào tạo nhưng thất bại khi bạn thử các kịch bản khác nhau. Sự tổng quát hóa hạn chế này làm cho LoRA ít hữu ích hơn dự định.

Nhận Diện Khả Năng Tổng Quát Hóa Kém

LoRA chỉ hoạt động cho các mẫu prompt khớp với dữ liệu đào tạo. Sai lệch khỏi dữ liệu đào tạo cấu trúc prompt tạo ra kết quả kém hoặc không có hiệu lực.

Thay đổi từ kiểu, hướng dẫn nghệ thuật hoặc mô tả cảnh gây LoRA dừng hoạt động. LoRA ký tự của bạn hoạt động cho các prompt "ảnh" nhưng thất bại cho các biến thể "tranh dầu" hoặc "nghệ thuật kỹ thuật số".

Nguyên Nhân Gốc Của Khả Năng Tổng Quát Hóa Kém

Hình Ảnh Đào Tạo Quá Giống Nhau:

Tất cả hình ảnh đào tạo chia sẻ kiểu dáng, ánh sáng hoặc thành phần giống nhau. Mô hình học những ràng buộc này là yêu cầu thay vì hiểu khái niệm cốt lõi riêng biệt khỏi kiểu trình bày.

Mẫu Chú Thích Lặp Đi Lặp Lại:

Mỗi chú thích sử dụng cấu trúc và cách diễn đạt giống hệt nhau. "Một ảnh của người xyz mặc [quần áo]" lặp lại với những thay đổi nhỏ dạy yêu cầu cấu trúc prompt cứng nhắc.

Đa Dạng Đào Tạo Không Đủ:

Đào tạo chỉ hình ảnh chụp ảnh có nghĩa là LoRA không tổng quát hóa cho các kiểu nghệ thuật. Đào tạo chỉ các tư thế cụ thể có nghĩa là các tư thế khác thất bại.

Giải Pháp Khả Năng Tổng Quát Hóa Đã Được Chứng Minh

Tăng Đa Dạng Đào Tạo:

Thêm hình ảnh thể hiện khái niệm của bạn trong các kiểu, phương tiện, ánh sáng và bối cảnh khác nhau. Đối với các LoRA ký tự, bao gồm ảnh, nghệ thuật kỹ thuật số, phác thảo, các điều kiện ánh sáng khác nhau, cảnh trong nhà và ngoài trời.

Đối với các LoRA kiểu, thể hiện kiểu trong các chủ thể, thành phần và phương tiện khác nhau. Đừng hạn chế cho chủ thể hoặc loại thành phần duy nhất.

Thay Đổi Cấu Trúc Chú Thích:

Sử dụng các cách diễn đạt chú thích khác nhau trên các hình ảnh đào tạo. Thay đổi cấu trúc câu, thứ tự từ và kiểu mô tả. Điều này ngăn chặn mô hình từ việc học yêu cầu prompt cứng nhắc.

Thay vì:

"Một ảnh của người xyz mặc áo sơ mi đen"

"Một ảnh của người xyz mặc váy xanh"

"Một ảnh của người xyz mặc quần áo bình thường"

Sử dụng cấu trúc đa dạng:

"xyz người trong áo sơ mi đen, ánh sáng trong nhà"

"Chân dung của người xyz mặc váy xanh thanh lịch"

"Ảnh bình thường cho thấy người xyz trong quần áo thoải mái"

Đào Tạo Với Nhiều Kiểu Nghệ Thuật:

Nếu LoRA của bạn nên hoạt động trên các kiểu nghệ thuật khác nhau, hãy bao gồm các hình ảnh đào tạo ở những kiểu đó. Trộn lẫn ảnh chụp với nghệ thuật kỹ thuật số, nghệ thuật truyền thống và các kết quả được trình bày.

Ghi chú những hình ảnh này cụ thể đề cập đến kiểu để mô hình học tách biệt chủ thể khỏi kiểu. "bức tranh kỹ thuật số của người xyz" so với "ảnh của người xyz" dạy sự phân biệt.

Sử Dụng Hình Ảnh Chính Quy Hóa:

Hình ảnh chính quy hóa ngăn chặn mô hình từ việc học rằng tất cả hình ảnh nên trông giống dữ liệu đào tạo của bạn. Điều này trực tiếp cải thiện tổng quát hóa bằng cách dạy mô hình phân biệt khái niệm cụ thể của bạn từ lớp chung.

Vấn đề 9: Vấn Đề Bộ Mã Hóa Văn Bản Gây Nhầm Lẫn Prompt

Cấu hình bộ mã hóa văn bản ảnh hưởng đến cách LoRA phản hồi với prompt. Cài đặt không chính xác gây ra sự hiểu lầm prompt và kiểm soát kém.

Nhận Diện Vấn Đề Bộ Mã Hóa Văn Bản

LoRA kích hoạt cho các prompt sai hoặc bỏ qua từ kích hoạt chính xác. Sửa đổi prompt có hiệu ứng không mong đợi. Tăng cường độ LoRA vượt quá 1,0 trở nên cần thiết cho chức năng cơ bản.

Nguyên Nhân Gốc Của Vấn Đề Bộ Mã Hóa Văn Bản

Tốc Độ Học Bộ Mã Hóa Văn Bản Quá Cao:

Đào tạo bộ mã hóa văn bản với cùng tốc độ như UNet gây overfitting cho các mẫu prompt cụ thể. Mô hình học phản hồi chỉ cho các cấu trúc chú thích đào tạo.

Đào Tạo Bộ Mã Hóa Văn Bản Bị Vô Hiệu Hóa:

Đặt tốc độ học bộ mã hóa văn bản thành 0 tiết kiệm VRAM nhưng giới hạn tính linh hoạt LoRA. LoRA không thể đúng cách liên kết từ kích hoạt với các khái niệm.

Giải Pháp Bộ Mã Hóa Văn Bản Đã Được Chứng Minh

Đặt Tốc Độ Bộ Mã Hóa Văn Bản Thích Hợp:

Sử dụng tốc độ học bộ mã hóa văn bản ở 50 phần trăm tốc độ UNet. Nếu UNet sử dụng 1e-4, bộ mã hóa văn bản nên sử dụng 5e-5. Điều này cân bằng học tập mà không overfitting cho các prompt.

Xác Minh Nhúng Từ Kích Hoạt:

Đảm bảo từ kích hoạt của bạn xuất hiện nhất quán trong chú thích đào tạo. Bộ mã hóa văn bản học các liên kết giữa từ và các khái niệm hình ảnh thông qua các chú thích này.

Vấn đề 10: Bất Thường Đường Cong Tổn Thất Cho Thấy Vấn Đề Có Hệ Thống

Đường cong tổn thất cung cấp thông tin chẩn đoán có giá trị. Các mẫu bất thường cho thấy các vấn đề cụ thể yêu cầu điều tra.

Nhận Diện Vấn Đề Đường Cong Tổn Thất

Tổn thất tăng thay vì giảm. Tổn thất oscillates hoang dại thay vì giảm mịn. Tổn thất phẳng quá sớm với các giá trị cao. Tổn thất xác thực phân kỳ từ tổn thất đào tạo.

Nguyên Nhân Gốc Của Vấn Đề Đường Cong Tổn Thất

Tốc Độ Học Quá Cao:

Tạo ra dao động hoang dại và phân kỳ tiềm năng. Mô hình thực hiện các cập nhật tham số quá lớn để hội tụ ổn định.

Lỗi Tải Dữ Liệu:

Hình ảnh bị hỏng hoặc lỗi tải gây tổn thất loang. Giám sát các thông báo lỗi trong nhật ký đào tạo.

Kích Thước Batch Quá Lớn:

Có thể gây tính không ổn định tổn thất khi kết hợp với tốc độ học cao.

Giải Pháp Đường Cong Tổn Thất Đã Được Chứng Minh

Giám Sát Biểu Đồ Tổn Thất:

Xem cả tổn thất đào tạo và xác thực. Tổn thất đào tạo nên giảm mịn. Tổn thất xác thực nên theo dõi tổn thất đào tạo với độ trễ nhẹ.

Điều Tra Tổn Thất Tăng Đột Ngột:

Sự tăng tổn thất đột ngột cho thấy những hình ảnh hoặc batch có vấn đề cụ thể. Xác định và loại bỏ hoặc sửa những hình ảnh này.

Điều Chỉnh Tham Số Đào Tạo:

Giảm tốc độ học nếu tổn thất oscillates. Kéo dài đào tạo nếu tổn thất chưa phẳng. Dừng đào tạo nếu tổn thất xác thực tăng trong khi tổn thất đào tạo giảm (cho thấy overfitting).

Câu Hỏi Thường Gặp

Làm cách nào để biết LoRA của tôi bị overfitting hay underfitting?

Overfitting tạo ra hình ảnh khớp chính xác với dữ liệu đào tạo và bỏ qua các thay đổi prompt. Underfitting tạo ra các hiệu ứng yếu hầu như không ảnh hưởng đến đầu ra. Kiểm tra bằng các prompt khác nhau đáng kể từ chú thích đào tạo. Overfitted LoRAs bỏ qua những prompt này. Underfitted LoRAs tạo ra kết quả chung chung. Các LoRA được đào tạo tốt điều chỉnh khái niệm của bạn để ghi nhớ các prompt khác nhau một cách hiệu quả.

Điều gì gây ra LoRAs hoạt động ở cường độ cao nhưng không ở cường độ bình thường?

Điều này cho thấy underfitting hoặc học yếu. LoRA học thông tin không đủ và yêu cầu giá trị cường độ cực đoan để hiển thị bất kỳ hiệu ứng nào. Các giải pháp bao gồm kéo dài thời gian đào tạo, tăng tốc độ học, mở rộng kích thước bộ dữ liệu hoặc tăng thứ hạng mạng. Các LoRA được đào tạo tốt hoạt động hiệu quả ở cường độ 0,7-1,0 mà không yêu cầu 1,5 hoặc cao hơn.

Có thể sửa LoRA xấu thông qua lựa chọn điểm kiểm tra thay vì huấn luyện lại không?

Đôi khi có. Nếu bạn lưu các điểm kiểm tra mỗi 100-200 bước, các điểm kiểm tra trước có thể hoạt động tốt hơn so với điểm cuối cùng. Kiểm tra nhiều điểm kiểm tra để tìm điểm tối ưu trước khi overfitting bắt đầu. Tuy nhiên, các vấn đề cơ bản như chất lượng bộ dữ liệu kém hoặc chú thích không chính xác yêu cầu huấn luyện lại với các sửa chữa.

Các loại LoRA khác nhau cần bao nhiêu bước đào tạo?

Các LoRA khuôn mặt đơn giản cần 800-1200 bước thường. Các LoRA khái niệm đa phức tạp yêu cầu 1500-2500 bước. Các LoRA kiểu thay đổi từ 1000-3000 bước tùy theo độ phức tạp. Những phạm vi này giả định tốc độ học thích hợp và kích thước bộ dữ liệu. Giám sát đường cong tổn thất và thế hệ mẫu thay vì tuân theo số lượng bước cố định mù quang.

Tôi nên sử dụng kích thước batch nào cho đào tạo LoRA?

Sử dụng kích thước batch 1 để tương thích tối đa và hiệu quả bộ nhớ. Các kích thước batch lớn hơn (2-4) có thể cải thiện tốc độ đào tạo nếu VRAM đủ nhưng không cần thiết cho chất lượng. Kích thước batch trên 4 cung cấp lợi ích tối thiểu và rủi ro vấn đề bộ nhớ. Bắt đầu với 1, chỉ tăng nếu bộ nhớ cho phép và cải thiện tốc độ cần thiết.

Làm cách nào để ngăn chặn LoRA của tôi từ việc nướng nền hoặc quần áo?

Tăng đa dạng đào tạo với hình ảnh hiển thị các nền và quần áo khác nhau. Tránh đào tạo 20 hình ảnh đều với các nền giống hệt nhau hoặc quần áo giống hệt nhau. Chú thích các nền và quần áo rõ ràng để mô hình học chúng là các khái niệm riêng biệt khỏi chủ thể của bạn. Sử dụng hình ảnh chính quy hóa hiển thị lớp chung với các nền và quần áo khác nhau.

Tôi nên sử dụng bộ lên lịch tốc độ học cosine hay không đổi?

Tốc độ học không đổi hoạt động đáng tin cậy cho hầu hết các trường hợp và cung cấp hành vi dự đoán. Bộ lên lịch Cosine có thể cung cấp những cải thiện chất lượng nhỏ bằng cách bắt đầu với học tích cực rồi giảm dần. Bắt đầu bằng hằng số, thêm bộ lên lịch cosine khi đào tạo cơ bản hoạt động nhất quán. Sự khác biệt thường nhỏ cho đào tạo được cấu hình tốt.

Tại sao LoRA của tôi gây ra hiện tượng hoặc biến dạng?

Hiện tượng thường cho thấy overfitting, thứ hạng mạng quá cao hoặc vấn đề dữ liệu đào tạo. Giảm tốc độ học, giảm các bước đào tạo 30 phần trăm và xác minh hình ảnh đào tạo không chứa hiện tượng chính nó. Thứ hạng mạng 32-64 xử lý hầu hết các khái niệm mà không yêu cầu 128 hoặc cao hơn. Kiểm tra các điểm kiểm tra trước có thể sẵn trước phát triển hiện tượng.

Có thể đào tạo ký tự và kiểu trong cùng một LoRA không?

Điều này có thể nhưng thách thức và thường không được khuyến nghị. Mô hình phải học hai khái niệm riêng biệt đồng thời, yêu cầu các bộ dữ liệu lớn hơn (60-100+ hình ảnh) và đào tạo cẩn thận. Các LoRA riêng biệt cho ký tự và kiểu cung cấp kiểm soát và kết quả tốt hơn. Chồng cả hai LoRAs trong quá trình tạo để có hiệu ứng kết hợp.

Làm cách nào để khắc phục sự cố khi không có gì cụ thể sai nhưng kết quả xấu?

Trở lại các căn cứ và xác minh các nguyên tắc cơ bản. Kiểm tra chất lượng bộ dữ liệu hình ảnh theo hình ảnh. Xác minh mỗi chú thích chính xác và bao gồm từ kích hoạt. Kiểm tra với các tham số được khuyến nghị cơ sở thay vì cài đặt thử nghiệm. Tạo hình ảnh thử nghiệm ở các điểm kiểm tra ban đầu (200-400 bước) để xác minh học tập đang xảy ra. Thường vấn đề là các vấn đề bộ dữ liệu hoặc ghi chú tinh tế hơn là cấu hình tham số.

Thành Thạo Đào Tạo LoRA Thông Qua Khắc Phục Sự Cố Có Hệ Thống

Bây giờ bạn hiểu 10 vấn đề đào tạo LoRA hàng đầu và các giải pháp đã được chứng minh của chúng. Đào tạo thành công kết hợp các bộ dữ liệu chất lượng, các tham số thích hợp, đủ phần cứng và kiểm tra có hệ thống. Hầu hết các vấn đề theo dõi lại các nguyên nhân cụ thể có thể xác định với các bản sửa chính xác.

Bắt đầu bằng các căn cứ mạnh mẽ. Xây dựng các bộ dữ liệu đa dạng chất lượng cao với chú thích chính xác nhất quán. Sử dụng các tham số cơ sở được chứng minh cho loại mô hình của bạn trước khi thử nghiệm. Giám sát đào tạo thông qua đường cong tổn thất và thế hệ mẫu để bắt các vấn đề sớm.

Khi các vấn đề xảy ra, làm việc qua khắc phục sự cố có hệ thống. Xác định xem bạn đang đối mặt với overfitting hoặc underfitting. Kiểm tra chất lượng bộ dữ liệu và độ chính xác ghi chú. Xác minh tài nguyên phần cứng và tối ưu hóa bộ nhớ. Kiểm tra các điều chỉnh tham số gia tăng thay vì thay đổi nhiều biến cùng lúc.

Lưu các điểm kiểm tra thường xuyên để cho phép kiểm tra nhiều trạng thái đào tạo. Thường xuyên các điểm kiểm tra trước hoạt động tốt hơn so với đầu ra cuối cùng. Thực hành này ngăn chặn lãng phí thời gian đào tạo vượt quá hội tụ tối ưu.

Các kỹ thuật đào tạo nâng cao như hình ảnh chính quy hóa, bộ lên lịch tốc độ học và cấu hình bộ mã hóa văn bản cẩn thận cung cấp những cải tiến gia tăng khi đào tạo cơ bản hoạt động đáng tin cậy. Làm chủ các nguyên tắc cơ bản trước khi thêm độ phức tạp.

Cảnh quan đào tạo LoRA tiếp tục phát triển với các kiến trúc và kỹ thuật mới. Đào tạo Flux khác với SDXL khác với SD 1.5. Luôn cập nhật với các thực hành tốt nhất cho kiến trúc mô hình được chọn của bạn. Mặc dù các nền tảng như Apatero.com xử lý độ phức tạp đào tạo thông qua cơ sở hạ tầng được quản lý, nhưng hiểu rõ những nguyên tắc khắc phục sự cố này xây dựng kiến thức AI có thể áp dụng được trên các công cụ và quy trình công việc.

Cách tiếp cận có hệ thống của bạn đối với xác định vấn đề và áp dụng giải pháp biến các hứng chỉ đào tạo thành thành công nhất quán. Mỗi vấn đề được giải quyết xây dựng sự hiểu biết sâu hơn về quá trình đào tạo và cách các biến khác nhau tương tác. Kiến thức này cho phép tạo LoRA ngày càng tinh vi đạt được các mục tiêu sáng tạo và thương mại cụ thể của bạn.