#UnplugBigTech Tipp 24: Open-Source-KI
-
#UnplugBigTech Tipp 24: Open-Source-KI
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.
@kuketzblog
Bei passender Modellwahl und OpenCode kannan dann sogar Codingagenten weiter nutzen.
Aber gibt es eine Empfehlung, mit dem Leistungsunterschied umzugehen? Lokal werde ich vmtl. nicht die hunderte Gigabyte großen Vollmodelle auf meiner Consumerhardware laufen lassen können (oder wollen). Preise für größere CUDA-fähige Grafikkarten brauchen ja schon fast eine Triggerwarnung. -
@kuketzblog Was ist mit Mistral?
@tomarsch @kuketzblog
Is doch das gleiche nur in Europa. Du lässt dann deine Daten dann halt auf einem fremden europäischen System verarbeiten. Finde ich persönlich nur minimal angenehmer.
Aber der Ratschlag machs auf deinem eigenen Rechner setzt leider vorraus, dass man einen mit entsprechender Rechenleistung hat. Dazu braucht man noch Zeit, Lust und Expertise zum Pflegen der selbst gebauten Lösung... -
#UnplugBigTech Tipp 24: Open-Source-KI
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.
Hm, naja, ich wollte jetzt eigentlich nicht mehr 45 Minuten auf eine Antwort von Oolama warten (selbstverständlich selbst ausprobieren, auf meiner dann doch zu schwachen Hardware) um dann die Frage wieder zu verändern weil das Ergebnis nicht befriedigend war.
Dann lieber #Mistral und wenn man einen Account hat die #Proton AI.
-
Hm, naja, ich wollte jetzt eigentlich nicht mehr 45 Minuten auf eine Antwort von Oolama warten (selbstverständlich selbst ausprobieren, auf meiner dann doch zu schwachen Hardware) um dann die Frage wieder zu verändern weil das Ergebnis nicht befriedigend war.
Dann lieber #Mistral und wenn man einen Account hat die #Proton AI.
-
#UnplugBigTech Tipp 24: Open-Source-KI
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.
@kuketzblog ich bin auch der Meinung, dass europäische KI Anbieter nur minimal besser sind. Lokal habe ich probiert, aber meine heimische Rechenleistung reicht nicht für die einfachsten Dinge.
Ich habe selber noch keine Idee, wie ich damit umgehen soll, denn auch der Qualitätsunterschied ist teils enorm. -
#UnplugBigTech Tipp 24: Open-Source-KI
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.
@kuketzblog Diese Systeme wurden doch auch mit fragwürdigen Daten trainiert ...?
-
#UnplugBigTech Tipp 24: Open-Source-KI
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.
@kuketzblog
Nach meinem Verständnis ist die Aussage leicht irreführend. ollama und GPT4All (wird kaum weiterentwickelt) sind Werkzeuge, um LLMs betreiben zu können. Es sind keine Modelle. ChatGPT & Gemmini sind Werkzeuge mit einem Modell. Für ollama und GPT4All braucht man Modelle wie gemma-4 (Google). Lokal hat man dann idR auch Systeme den fragwürdigen Trainingsdaten, Urheberrechtsfragen ... aber ohne Überwachung.P. S.:
https://infosec.exchange/@zoug/116422318307766663
https://www.jan.ai/ Apache License 2.0 -
-
@tomarsch @kuketzblog
Is doch das gleiche nur in Europa. Du lässt dann deine Daten dann halt auf einem fremden europäischen System verarbeiten. Finde ich persönlich nur minimal angenehmer.
Aber der Ratschlag machs auf deinem eigenen Rechner setzt leider vorraus, dass man einen mit entsprechender Rechenleistung hat. Dazu braucht man noch Zeit, Lust und Expertise zum Pflegen der selbst gebauten Lösung...@WinstonSchmitt @kuketzblog Das denke ich nämlich auch, am Ende wollen sie alle dasselbe. Meine Frage ist aber im Kontext der Kuketzschen Warnungen vor US-Diensten gestellt, das betrifft Mistral ja nicht. Obwohl sie selbst zugeben, MS- und amzn-Clouddienste zu nutzen.
Aber ja, lokal eingesetzt (in einem Unternehmen) ist die s. g. KI sicher große Hilfe. In freier Wildbahn sammelt sie nur Daten und quatscht Bullshit. Und ist gefährlich.
-
#UnplugBigTech Tipp 24: Open-Source-KI
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.
@kuketzblog wie speichert Mistral die Daten, was machen die mit den Daten und welche Cloud Infrastruktur wird genutzt?
-
#UnplugBigTech Tipp 24: Open-Source-KI
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.
@kuketzblog searxng nehmen, schwups, keine AI...
-
#UnplugBigTech Tipp 24: Open-Source-KI
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.
@kuketzblog Unter #macOS ist die App "Locally AI" aus dem AppStore absolut zu empfehlen. AI Modelle wie #Llama, #Gemma oder auch #Ministral lassen sich mit wenigen Klicks herunterladen und offline nutzen.
Seit langem im Einsatz und super happy damit. Schützt nicht nur meine Privatsphäre sondern schont z.B. auch die Umwelt. Mein MacMini nuckelt sich deutlich weniger Energie aus der Steckdose, als ein großes Datacenter
Locally AI - Local AI Chat‑App – App Store
Lade „Locally AI - Local AI Chat“ von Element Labs Inc im App Store herunter. Sieh dir Bildschirmfotos, Bewertungen und Rezensionen, Benutzertipps und weitere…
App Store (apps.apple.com)
-
#UnplugBigTech Tipp 24: Open-Source-KI
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.
@kuketzblog wie schaut es mit Euria https://euria.infomaniak.com/ aus? ich denke da tut sich was!
-
@kuketzblog Unter #macOS ist die App "Locally AI" aus dem AppStore absolut zu empfehlen. AI Modelle wie #Llama, #Gemma oder auch #Ministral lassen sich mit wenigen Klicks herunterladen und offline nutzen.
Seit langem im Einsatz und super happy damit. Schützt nicht nur meine Privatsphäre sondern schont z.B. auch die Umwelt. Mein MacMini nuckelt sich deutlich weniger Energie aus der Steckdose, als ein großes Datacenter
Locally AI - Local AI Chat‑App – App Store
Lade „Locally AI - Local AI Chat“ von Element Labs Inc im App Store herunter. Sieh dir Bildschirmfotos, Bewertungen und Rezensionen, Benutzertipps und weitere…
App Store (apps.apple.com)
-
@dex77 der erste Kaffee am Morgen hat seine volle Magie noch nicht entfaltet. Danke für den Hinweis des doppelten "offline"
-
#UnplugBigTech Tipp 24: Open-Source-KI
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.
@kuketzblog ich kann apps wie anythingll oder LmStudio für den pc empfehlen. Diese apps suchen dann je nach hardware ein "passendes" modell heraus. Persönlich habe ich gute Erfahrung mit gemma4 gemacht (ist aber von google erzeugt.
-
#UnplugBigTech Tipp 24: Open-Source-KI
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.
@kuketzblog Selber denken und schreiben hält fit und verhindert Cerebralaplasie.
-
#UnplugBigTech Tipp 24: Open-Source-KI
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.
@kuketzblog Wer nicht selbst hosten möchte oder kann:
- duck.ai (duckduckgo): kein Konto erforderlich, anonymisierte Chats, kein KI-Training mit eigenen Daten
- Ensu (ente.io): On-Device-LLM, Open source, privacy-first, offline -
#UnplugBigTech Tipp 24: Open-Source-KI
Meide KI-Angebote großer US-Konzerne wie ChatGPT und Gemini. Diese Systeme werden mit fragwürdigen Daten trainiert, verletzen Urheberrechte und beeinflussen Meinungen. Nutze stattdessen Open-Source-Alternativen wie Ollama oder GPT4All, die du lokal betreiben kannst – ohne Überwachung durch Big Tech.
@kuketzblog Frage für mich an alle: hier wird lokale AI empfohlen statt chatgpt usw.
Dies ist auch absolut richtig und das Optimum.Verständnisproblematik Beispiel:
Bei dem Messengern wird aber Signal empfohlen weil es praktikabel für die breite Masse ist, welches auch richtig ist. Bei dem hier Thema gibt es aber, nur nach meiner Auffassung, böse BigTech (was ich auch so sehe) und lokal betrieben.Oder gibt es auch Praktikable und leichte Lösungen für die breite Masse, wie z.B. Tante Bommel, die immer noch lustige Meme postet auf wer-kennt-wen
(überspitzt dargestellt) Als Anhang bzw Info:
Ich nutze AI um mein Heimnetzwerk auszubauen open source Lösung zu implentieren und Problemlösung/suche durchzuführen, dass wars. Mittlerweile habe ich nginx, pihole, vaultwarden, obsidian, syncthing, VPN implementiert, sowie graphene os installiert und ja das wird für die Cracks heißen omg das programmier und installier ich dir im schlaf. Das freut mich ehrlich und ich bin absolut neidisch auf euch. *kein sarkasmus* ich brauche Hilfe dabei und beim Zusammenspiel von allem, ist für mich die AI ein super HILFSMITTEL.
-
R relay@relay.an.exchange shared this topic
