Menginstal SageAttention, TeaCache, dan Triton di Windows - Panduan Lengkap

Anda telah mendengar bahwa SageAttention dan TeaCache memberikan speedup 2-4x untuk pembuatan AI, tetapi setiap panduan mengasumsikan Linux. Instalasi Windows mungkin tetapi membutuhkan langkah spesifik yang panduan generik lewatkan. Mari kita jalankan optimasi ini di sistem Windows Anda.

Jawaban Cepat: Menginstal SageAttention, TeaCache, dan Triton di Windows membutuhkan Visual Studio Build Tools dengan workload C++, CUDA Toolkit 12.1+, dan konfigurasi Python spesifik. Instal Triton dari wheel yang kompatibel Windows, lalu kompilasi SageAttention dan TeaCache untuk arsitektur GPU Anda. Prosesnya memakan waktu 30-60 menit tetapi memberikan speedup pembuatan yang signifikan setelah selesai.

Instalasi Windows lebih rumit dari Linux karena Triton tidak awalnya dirancang untuk Windows. Upaya komunitas telah memungkinkan dukungan Windows, tetapi Anda perlu mengikuti langkah spesifik daripada instruksi generik.

Prasyarat Apa yang Anda Butuhkan?

Kumpulkan ini sebelum memulai instalasi.

Visual Studio Build Tools

Microsoft Visual Studio Build Tools menyediakan compiler C++ yang dibutuhkan untuk kompilasi Triton dan kernel CUDA.

Download Build Tools dari halaman download Visual Studio. Anda tidak perlu IDE Visual Studio lengkap, hanya Build Tools.

Selama instalasi, pilih workload "Desktop development with C++". Ini menginstal compiler, linker, dan Windows SDK yang dibutuhkan.

Instalasi berukuran beberapa gigabyte dan memakan waktu 10-20 menit tergantung koneksi dan kecepatan disk Anda.

Setelah instalasi, Anda perlu compiler accessible dari command line. Installer biasanya menambahkan ke PATH, tetapi verifikasi dengan perintah cl di terminal baru.

CUDA Toolkit 12.1+

PyTorch membundle runtime CUDA tetapi bukan toolkit lengkap yang dibutuhkan untuk kompilasi. Instal CUDA Toolkit secara terpisah.

Download dari situs developer NVIDIA. Pilih versi 12.1 atau lebih baru untuk cocok dengan persyaratan PyTorch modern.

Selama instalasi, Anda dapat membatalkan pilihan komponen driver jika sudah memiliki driver saat ini. Instal toolkit, library, dan dokumentasi.

Installer menambahkan CUDA ke PATH. Verifikasi dengan perintah nvcc --version.

Environment Python

Gunakan Python 3.10 atau 3.11. Triton memiliki persyaratan versi Python spesifik dan mungkin tidak berfungsi dengan 3.12+.

Virtual environment mengisolasi instalasi ini dari proyek Python lain. Buat satu khusus untuk pekerjaan ComfyUI atau AI Anda.

Pastikan pip diupdate dengan python -m pip install --upgrade pip.

Git

Git dibutuhkan untuk clone repositori untuk SageAttention dan TeaCache.

Download dari git-scm.com dan instal dengan opsi default. Ini menambahkan git ke PATH.

Bagaimana Menginstal Triton di Windows?

Triton adalah fondasi yang menjadi sandaran optimasi lain.

Menemukan Wheel Windows

Rilis Triton resmi tidak menyertakan wheel Windows. Anda perlu versi yang dibangun komunitas.

Cari "triton windows wheel" untuk menemukan build saat ini. Repositori triton-windows di GitHub dan berbagai komunitas Discord berbagi build.

Cocokkan wheel dengan versi Python Anda. Wheel untuk Python 3.10 tidak akan berfungsi di Python 3.11.

Proses Instalasi

Download file wheel yang sesuai untuk versi Python Anda.

Instal dengan pip menggunakan path file lokal. Misalnya, pip install path/to/triton-2.1.0-cp310-cp310-win_amd64.whl.

Jika pip mengeluh tentang dependency, instal dulu dan coba lagi.

Test instalasi dengan mengimpor triton di Python. Jika tidak ada error, instalasi dasar berhasil.

Troubleshooting Error Import

Kegagalan load DLL menunjukkan dependency yang hilang. Sering kali ini adalah Visual C++ Redistributable.

Instal Visual C++ Redistributable terbaru dari Microsoft. Versi x64 dan x86 jika tidak yakin.

Jika error berlanjut, periksa CUDA Toolkit terinstal dengan benar dan nvcc accessible.

Memverifikasi Fungsionalitas

Selain import, verifikasi Triton dapat mengompilasi kernel untuk GPU Anda.

Jalankan contoh kernel Triton sederhana dari dokumentasi. Jika berjalan tanpa error dan mengembalikan hasil yang benar, Triton berfungsi dengan benar.

Error kompilasi di tahap ini menunjukkan masalah CUDA Toolkit atau konfigurasi compiler.

Bagaimana Menginstal SageAttention?

SageAttention menyediakan kernel attention yang dioptimalkan.

Clone Repositori

Clone SageAttention dari repositori GitHub-nya menggunakan git.

Navigasi ke folder yang di-clone. Anda akan melihat file setup dan source code.

Konfigurasi Environment

Sebelum build, set variabel environment untuk arsitektur GPU Anda.

Set TORCH_CUDA_ARCH_LIST ke kemampuan compute GPU Anda. Untuk RTX 4090, ini "8.9". Untuk RTX 3090, ini "8.6".

Beberapa arsitektur dapat ditentukan jika Anda menginginkan kernel untuk GPU berbeda, tetapi ini meningkatkan waktu build.

Build dan Instalasi

Jalankan script setup untuk mengompilasi dan menginstal SageAttention.

Gunakan pip install . dari direktori repositori. Ini memicu kompilasi menggunakan toolchain yang dikonfigurasi.

Kompilasi memakan waktu beberapa menit. Pesan progress menunjukkan apa yang sedang dibangun.

Jika kompilasi gagal, pesan error biasanya menunjukkan apa yang hilang. Masalah umum adalah compiler yang hilang di PATH atau spesifikasi arsitektur CUDA yang salah.

Memverifikasi SageAttention

Import sageattention di Python untuk memverifikasi instalasi.

Jalankan operasi attention sederhana menggunakan SageAttention. Eksekusi pertama mungkin lambat karena JIT compile, tetapi panggilan berikutnya seharusnya cepat.

Bagaimana Menginstal TeaCache?

TeaCache membutuhkan setup serupa dengan SageAttention.

Clone dan Setup

Clone TeaCache dari repositori GitHub-nya.

Strukturnya serupa dengan SageAttention dengan file setup untuk building.

Integrasi ComfyUI

Untuk pengguna ComfyUI, TeaCache sering dikemas sebagai node kustom.

Instal pack node ComfyUI-TeaCache melalui Manager atau secara manual. Pack node menangani integrasi dengan sistem sampling ComfyUI.

Node muncul di ComfyUI setelah instalasi dan menyediakan akses ke konfigurasi TeaCache.

Opsi Konfigurasi

Parameter TeaCache mengontrol perilaku caching. Default bekerja dengan baik untuk kebanyakan kasus penggunaan.

Threshold cache mengontrol seberapa mirip timestep harus untuk penggunaan ulang. Nilai lebih rendah lebih agresif.

Interval cache memaksa komputasi fresh secara berkala. Nilai lebih tinggi menggunakan lebih banyak cache.

Mulai dengan default dan sesuaikan berdasarkan hasil.

Konfigurasi ComfyUI Apa yang Dibutuhkan?

Membuat optimasi ini berfungsi di ComfyUI membutuhkan setup spesifik.

Mengaktifkan SageAttention

Beberapa implementasi ComfyUI membutuhkan pengaktifan eksplisit SageAttention.

Periksa dokumentasi atau pengaturan ComfyUI Anda untuk pemilihan mode attention. Pilih SageAttention jika tersedia.

Jika tidak ada pengaturan eksplisit, SageAttention mungkin aktif otomatis saat terdeteksi.

Menambahkan Node TeaCache

Node TeaCache terintegrasi ke workflow Anda seperti node sampling lain.

Tempatkan node TeaCache antara model loader dan sampler Anda. Ini membungkus proses sampling dengan caching.

Hubungkan semua input yang sama seperti setup sampling normal Anda.

Testing Optimasi

Jalankan pembuatan test dengan dan tanpa optimasi untuk memverifikasi speedup.

Ukur waktu prompt yang sama dengan pengaturan identik. Anda seharusnya melihat pengurangan signifikan dengan optimasi diaktifkan.

Jika tidak ada speedup, optimasi mungkin tidak dimuat. Periksa console untuk error.

Troubleshooting Masalah Integrasi

Error selama pembuatan sering menunjukkan masalah kompilasi.

Bersihkan file kompilasi yang di-cache dan regenerate. Cache yang usang menyebabkan masalah.

Verifikasi pengaturan arsitektur GPU Anda cocok dengan GPU aktual Anda. Arsitektur yang salah berarti kernel tidak dapat dieksekusi.

Untuk pengguna yang menginginkan optimasi ini tanpa kompleksitas instalasi, Apatero.com menyediakan infrastruktur pembuatan yang dioptimalkan. Anda mendapat manfaat kecepatan tanpa mengelola tantangan kompilasi Windows.

Apa Saja Masalah Spesifik Windows yang Umum?

Masalah ini muncul khusus di instalasi Windows.

Error Path Panjang

Batas panjang path Windows dapat menyebabkan kegagalan instalasi.

Aktifkan dukungan path panjang di pengaturan Windows atau registry. Ini menghapus batas 260 karakter.

Alternatifnya, instal di path yang lebih pendek. C:\ai\ daripada C:\Users\Username\Documents\Projects\ComfyUI\.

Gangguan Antivirus

Software keamanan terkadang memblokir kompilasi atau menandai file yang dibangun.

Tambahkan environment Python dan folder ComfyUI Anda ke pengecualian antivirus.

Jika file hilang selama build, antivirus kemungkinan menghapusnya. Periksa quarantine.

Masalah Permission

Building di direktori yang dilindungi membutuhkan akses administrator.

Jalankan terminal Anda sebagai administrator untuk perintah instalasi.

Atau instal di lokasi yang dapat ditulis pengguna seperti Documents atau folder dedicated.

Instalasi Python Multiple

Versi Python multiple dapat menyebabkan penggunaan yang salah.

Verifikasi Python mana yang digunakan terminal Anda dengan python --version.

Gunakan path lengkap ke Python venv Anda jika diperlukan.

Mode Developer

Beberapa fitur kompilasi membutuhkan Mode Developer Windows diaktifkan.

Aktifkan di Settings > Update & Security > For developers.

Ini membuka fitur pengembangan tertentu yang Windows batasi secara default.

Pertanyaan yang Sering Diajukan

Apakah saya perlu Visual Studio atau hanya Build Tools?

Build Tools saja sudah cukup. IDE Visual Studio lengkap menyertakan Build Tools tetapi juga banyak fitur yang tidak Anda butuhkan untuk tujuan ini.

Versi CUDA Toolkit mana yang harus saya gunakan?

Cocokkan dengan versi CUDA PyTorch Anda. Jika Anda menginstal PyTorch dengan CUDA 12.1, gunakan CUDA Toolkit 12.1. Ketidakcocokan versi menyebabkan masalah halus.

Bisakah saya menggunakan optimasi ini dengan GPU AMD?

Tidak, SageAttention dan Triton membutuhkan GPU NVIDIA. AMD memiliki pendekatan optimasi berbeda melalui ROCm.

Mengapa kompilasi Triton memakan waktu lama pertama kali?

Triton JIT compile kernel untuk GPU spesifik Anda pada penggunaan pertama. Run berikutnya menggunakan kompilasi yang di-cache dan cepat.

Apakah Windows Defender akan menghapus file yang saya instal?

Mungkin jika salah menandai file yang dikompilasi sebagai mencurigakan. Tambahkan direktori instalasi Anda ke pengecualian untuk mencegah ini.

Bagaimana saya tahu kemampuan compute GPU saya apa?

Cari model GPU Anda dan "compute capability". NVIDIA mencantumkan ini di dokumentasi mereka. Seri RTX 40 adalah 8.9, seri RTX 30 adalah 8.6.

Bisakah saya menginstal tanpa Build Tools menggunakan wheel yang sudah dibangun?