Cách đào tạo mô hình LoRA trên Stable Diffusion

1. Xây dựng bộ dữ liệu cho việc đào tạo mô hình LoRA

Bước đầu tiên là chuẩn bị tập dữ liệu hình ảnh cho việc đào tạo mô hình LoRA. Chọn kích thước hình ảnh mong muốn và thay đổi chúng thành kích thước 512 × 512 pixel. Ví dụ, chúng ta sẽ sử dụng hình ảnh của nghệ sĩ Chi Pu.

Tiếp theo, tạo một cấu trúc thư mục hợp lý để quản lý tập dữ liệu và kết quả đào tạo:

• Tạo thư mục gốc có tên “LoRA_Training_Data” hoặc tùy chọn tên bạn muốn.
• Bên trong thư mục gốc, tạo thư mục “Train” để chứa dữ liệu đào tạo.

Trong thư mục “Train”, tạo thêm các thư mục con:

• “Images”: Lưu trữ dữ liệu hình ảnh cho việc đào tạo mô hình LoRA.
• “Logs”: Lưu trữ các nhật ký liên quan đến quá trình đào tạo.
• “Models”: Lưu trữ các mô hình LoRA được đào tạo thành công.

Bên trong thư mục “Images”, tạo các thư mục con theo định dạng “stepnumber_name”, ví dụ: “150_chipu”. Số “150” đại diện cho số bước đào tạo mỗi hình ảnh, và “chipu” là tên của chủ đề ảnh.

Lưu ý rằng, để đảm bảo chất lượng đào tạo, bạn cần ít nhất 1500 bước đào tạo tổng cộng, với ít nhất 100 bước cho mỗi hình ảnh. Điều này đảm bảo rằng mô hình LoRA được huấn luyện đầy đủ và chính xác. Tuy nhiên, lưu ý rằng số bước càng nhiều, thời gian đào tạo và tài nguyên máy tính cần thiết cũng càng lớn. Ví dụ, nếu bạn sử dụng 20 hình ảnh để đào tạo, tổng số bước cần ít nhất là 2000 (100 bước mỗi ảnh x 20 ảnh).

Thư mục này sẽ chứa những hình ảnh khuôn mặt của Chi Pu đã được cắt vuông góc.

2. Tạo chú thích cho hình ảnh

Trên màn hình giao diện kohya_ss, chọn tab Tiện ích. Sau đó, chọn tab Phụ đề BLIP.

Trong phần “thư mục hình ảnh để chú thích”, hãy điều hướng đến thư mục chứa hình ảnh bạn muốn chú thích.

Nhấn nút “Hình ảnh chú thích” để bắt đầu chú thích. Kết quả sẽ là các tệp .txt chứa chú thích cho từng hình ảnh tương ứng.

3. Bắt đầu đào tạo LoRA

Chọn tab Dreambooth LoRA.

Trong tab Chế độ nguồn, nhấp vào biểu tượng tờ giấy để chọn mô hình cơ sở bạn muốn sử dụng để huấn luyện LoRA.

Chọn chế độ Nguồn.

Mô hình Nguồn là đường dẫn đến tệp mô hình mà bạn muốn đào tạo với dữ liệu mới. Trong trường hợp này, tôi đã chọn mô hình realityVisionV13_v13.

Chuyển sang tab Thư mục.

Khai báo các đường dẫn

• Thư mục Image là đường dẫn đến thư mục Image chứa bộ dữ liệu (Lưu ý: không đưa vào thư mục 150_chipu)
• Thư mục đầu ra là đường dẫn đến thư mục Model đã tạo trước đó
• Logging Folder là đường dẫn đến thư mục Log
• Tên đầu vào mô hình là tên của mô hình LoRA bạn muốn tạo

Bạn có thể thay đổi các thông số trong tab Thông số đào tạo. Hiện tại, tôi sẽ để chúng ở giá trị mặc định trong phạm vi hướng dẫn này.

Nhấn nút “Mô hình xe lửa”. Quá trình đào tạo bắt đầu:

Sau khi hoàn thành, tệp LoRA được đào tạo sẽ nằm trong thư mục Model.

Bây giờ bạn copy file LoRA này vào thư mục LoRA của Automatic1111 để bắt đầu sử dụng.

Trong trường hợp của tôi, tệp LoRA nằm ở đây: F:stable-diffusionstable-diffusion-webuimodelsLora

F:stable-diffusionstable-diffusion-webuimodelsLora

4. Sử dụng LoRA với Automatic1111Automatic1111

Copy file LoRA đã tạo vào thư mục models/Lora như hướng dẫn ở trên.

Mở giao diện web SD (Automatic1111) và làm theo các bước bên dưới:

Chọn tab Tiện ích mở rộng, sau đó chọn tab Cài đặt từ URL. Sao chép URL sau cho kho lưu trữ git của tiện ích mở rộng và nhấp vào nút Cài đặt.
https://github.com/kohya-ss/sd-webui-additional-networks

Sau khi cài đặt thành công, một tiện ích mở rộng có tên sd-webui-additional-networks sẽ xuất hiện trong tab Đã cài đặt.

Nhấp vào nút Áp dụng và khởi động lại giao diện người dùng.

Đợi Automatic1111 khởi động lại và bắt đầu sử dụng.

Kết quả:

Content retrieved from: https://aigallery.design/training-lora.html.