Was ist On-Device-KI, und warum verändert sie alles?

On-Device-KI erklärt: wie neuronale Netze auf Handy-Hardware laufen, was das für Datenschutz, Tempo und Offline-Nutzung heißt.

Die zwei Arten, KI laufen zu lassen

Der Großteil der heutigen KI ist Cloud-KI: dein Gerät schickt eine Anfrage, ein Rechenzentrum denkt, die Antwort streamt zurück. On-Device-KI bringt das neuronale Netz auf dein Handy: das 'Gehirn' lebt in deiner Hand, nicht in einem Serverrack. Der Unterschied ist architektonisch, kein Schalter.

Wie Handys zu KI-Maschinen wurden

Moderne Handy-Chips enthalten eigene neuronalen Beschleuniger (NPUs) plus schnelle CPUs und GPUs. Quantisierung schrumpft Modelle auf einen Bruchteil ihrer Größe bei fast voller Leistung. Ein 2-Milliarden-Parameter-Modell, das 2023 noch einen Server brauchte, läuft heute bequem auf einem Mittelklasse-Handy.

Was du gewinnst

Privatsphäre durch Physik: nichts abzufangen. Tempo: kein Netz-Roundtrip. Zuverlässigkeit: läuft bei null Balken. Kosten: kein Abo für ein gehostetes Modell. Der ehrliche Kompromiss ist Leistungsfähigkeit: die größten Modelle leben noch in Rechenzentren, aber für Chat, Dokumente, Geschichten und Werkzeuge ist ein Taschenmodell schon erstaunlich gut.