Frettchen voraus: Apple-KI "Ferret-UI" will bei App-Bedienung helfen (Heise Online)

Multimodale Sprachmodelle erkennen zwar Bildinhalte, bekommen aber schnell Probleme beim Verständnis spezifischer Elemente von App-Bedienoberflächen. Das soll ein von Apple-Mitarbeitern entwickeltes LLM besser machen: Das Ferret-UI genannte