Ich würde gerne mal "KI"-Unterstützung beim Schreiben von Python-Scripten ausprobieren, dabei aber ungern auf die großen, bekannten LLMs setzten.

[simondeutschl@troet.cafe]

Ich würde gerne mal "KI"-Unterstützung beim Schreiben von Python-Scripten ausprobieren, dabei aber ungern auf die großen, bekannten LLMs setzten. Gibt's da etwas, das (zumindest einigermaßen) dem FLOSS-Gedanken folgt und das man unter Linux lokal laufen lassen kann? Und brauchbare Ergebnisse liefert?

Und schön wär's, wenn's mit VSCodium zusammenspielen würde.

#KI #AI #Python

[boris_pohler@bildung.social]

@simondeutschl Kommt ein wenig darauf an, welche Hardware du hast. Kannst du aber auch einfach mit Ollama https://ollama.com/ ausprobieren. Dann mal ein Qwen 2.5 Coder probieren.

[satobi@burningboard.net]

@simondeutschl
Kommt etwas auf das system drauf an.
Ich habe Ollama mit open web ui letztens auf meinem Laptop ausprobiert und das ging bei 8-12b Modellen mit der rtx 3080 recht fix mit ganz brauchbaren Ergebnissen. Aber ich glaube auch, dass die ganzen Modelle die man frei verwenden kann nicht so richtig FLOSS sind, da man die Trainingsdaten nicht einsehen kann. Ich glaube am transparentesten und offensten ist da Mistral, bin da aber auch nicht so tief drin.