Wer all die schönen neuen KI-gestützten Dienste von Microsoft und Google oder auch Adobe nutzen will, muss dafür immer den Weg über das Internet nutzen. Qualcomm will dies bald ändern und verspricht, dass noch in diesem Jahr erste Windows-PCs mit lokal laufender generativer KI genutzt werden können.
Im Rahmen der Microsoft-Entwicklerkonferenz Build 2023 zeigt Qualcomm den nativen Betrieb von KI-Modellen auf Windows-basierten PCs. Anwender und Softwareanbieter sollen künftig also auch die Möglichkeit bekommen, KI-Modelle ohne Internetverbindung und nur mit den Prozessoren in ihrem eigenen Computer oder Mobilgerät zu nutzen.
Qualcomm-Chips sollen künftig noch mehr KI-Leistung bieten
Wie schon auf Smartphones will Qualcomm auch bei seinen Plattformen für Windows-PCs die sogenannten "On-Device Generative AI" ermöglichen, mit denen Softwareentwickler und die Anbieter von Cloud-Diensten bestimmte Aufgaben aus dem Bereich der generativen Künstlichen Intelligenz auf die lokalen Geräte der Nutzer verlagern können. Dadurch soll die Nutzung generativer KI, also Systemen zum Generieren von Texten, Musik, Videos oder auch Bildern, erschwinglicher, zuverlässiger und privater werden können.
Bisher zeigte Qualcomm unter anderem Stable Diffusion, also einen Bildgenerator, in einer lokal auf Windows-PCs laufenden Variante auf Basis eines generativen KI-Modells mit mehr als einer Milliarde Parameter. In den kommenden Monaten will man bereits in der Lage sein, KI-Modelle mit bis zu zehn Milliarden Parametern lokal auf seinen Plattformen laufen zu lassen, darunter auch Large Language Models (LLMs). In der "nächsten Generation" verspricht Qualcomm unterdessen noch erheblich mehr Leistung, womit wahrscheinlich unter anderem der Snapdragon 8cx Gen 4 gemeint sein könnte, der erstmals mit den "Oryon"-CPU-Cores der ehemaligen Apple-Chipentwickler des von Qualcomm übernommenen Startups Nuvia ausgerüstet sein soll.
Im Zuge der Build 2023 stellt man erstmals das Qualcomm AI Engine Direct SDK zur Verfügung, mit dem man unter Zuhilfenahme der von Microsoft entwickelten ONNX Runtime und des Qualcomm AI Stack schon jetzt KI-Workloads auf Geräten mit dem Qualcomm Snapdragon 8cx Gen 3 verarbeiten kann - also auf Snapdragon-Notebooks wie dem Surface Pro 9 5G oder dem Lenovo ThinkPad x13s.
Ob Qualcomms Ankündigung nun bedeutet, dass wir bald tatsächlich in der Lage sind, bestimmte Software mit eingebauter KI auf ARM-PCs lokal Berechnungen vornehmen zu lassen, bleibt abzuwarten. Voraussetzung ist natürlich, dass die Softwareentwickler das "Angebot" des Chipherstellers annehmen - und bisher hält sich die Zahl der nativ auf ARM-PCs mit Windows laufenden Anwendungen bekanntermaßen stark in Grenzen.
Zusammenfassung
Qualcomm will KI-Dienste lokal auf Windows-PCs ermöglichen
Mit "On-Device Generative AI" soll KI-Modelle offline nutzbar sein
Qualcomm zeigt bereits lokal laufende KI-Modelle
KI-Modelle mit bis zu 10 Mrd. Parametern sollen in Kürze lokal laufen
Qualcomm stellt AI Engine Direct SDK für Snapdragon 8cx Gen 3 zur Verfügung
Anmelden
Wer all die schönen neuen KI-gestützten Dienste von Microsoft und Google oder auch Adobe nutzen will, muss dafür immer den Weg über das Internet nutzen. Qualcomm will dies bald ändern und verspricht, dass noch in diesem Jahr erste Windows-PCs mit lokal laufender generativer KI genutzt werden können.
Im Rahmen der Microsoft-Entwicklerkonferenz Build 2023 zeigt Qualcomm den nativen Betrieb von KI-Modellen auf Windows-basierten PCs. Anwender und Softwareanbieter sollen künftig also auch die Möglichkeit bekommen, KI-Modelle ohne Internetverbindung und nur mit den Prozessoren in ihrem eigenen Computer oder Mobilgerät zu nutzen.