Tech-Stack

KomponenteTechnologieBegründung
ProgrammiersprachePythonAusgereiftestes KI/ML-Ökosystem
TrainingsframeworkUnsloth / PEFT / MLXMulti-Backend-Auto-Anpassung, deckt NVIDIA GPU, Apple Silicon, CPU ab
TrainingsmethodeQLoRA (PEFT)4-Bit-Quantisierung, Training auf einzelner GPU, verbraucherfreundliche Hardware
ModellformatSafeTensorsSicher (kein Pickle-Risiko), schnelles Laden, HuggingFace-Standard
Inferenz-Laufzeitllama.cpp / OllamaPlattformübergreifend, leichtgewichtig, Unterstützung quantisierter Modelle
KonfigurationsformatYAMLMenschenlesbar, einfach zu bearbeiten
Paketverwaltungpip / condaPython-Standard-Ökosystem