Zurück zur Übersicht
Apple öffnet Siri AI für Drittanbieter-Apps im neuen iOS-Update mit erweiterter Bildschirmerkennung
ProduktstartAppleSiri AIiOS 27.3

Apple öffnet Siri AI für Drittanbieter-Apps im neuen iOS-Update mit erweiterter Bildschirmerkennung

Apple hat angekündigt, dass Siri AI künftig Aktionen über Drittanbieter-Apps hinweg ausführen kann. Diese Neuerung wird im Rahmen des Updates auf iOS 27.3 eingeführt, dessen Veröffentlichung an einem Dienstag begann. Entwicklerinnen und Entwickler erhalten dadurch die Möglichkeit, die neuen Funktionen von Siri AI in alle Applikationen einzubinden. Die Sprachassistenz von Apple kann damit auf den persönlichen Kontext der Nutzerinnen und Nutzer zugreifen, Eingaben in natürlicher Sprache verarbeiten und eine Bildschirmwahrnehmung (On-Screen Awareness) einsetzen, um entsprechende Aktionen zu vollziehen. Durch diese Freigabe wird Drittanbieter-Anwendungen die Nutzung der erweiterten Fähigkeiten des Sprachassistenten ermöglicht. Der Schritt stellt einen zentralen Ausbau der Interaktionsmöglichkeiten innerhalb des Betriebssystems dar, da Siri AI nicht mehr nur auf bordeigene Anwendungen beschränkt bleibt, sondern app-übergreifend agieren und Befehle in externen Programmen verarbeiten kann.

The Verge

Die wichtigsten Punkte

  • Aktionen über Drittanbieter-Apps hinweg: Apple gestattet Siri AI ab sofort die direkte Durchführung von Aktionen innerhalb und über externe Anwendungen hinweg.
  • Einführung mit neuem System-Update: Die Bereitstellung der Funktionalität erfolgt als fester Bestandteil der Aktualisierung auf iOS 27.3, deren Ausrollen an einem Dienstag startete.
  • Offene Integration für alle Applikationen: Entwicklerinnen und Entwickler können die neuen Fähigkeiten von Siri AI laut Apple in ausnahmslos alle Apps einbinden.
  • Kombination aus drei Kernkompetenzen: Siri AI stützt sich bei der Ausführung auf den persönlichen Kontext der Nutzer, die Verarbeitung natürlicher Sprachanweisungen sowie ein aktives Bewusstsein für Bildschirminhalte.

Analyse

Bereitstellung über das Update iOS 27.3 und Öffnung für Drittanbieter

Mit dem Rollout der Betriebssystemversion iOS 27.3 vollzieht Apple einen grundlegenden Schritt bei der Weiterentwicklung seines Sprachassistenten: Siri AI ist nicht mehr ausschließlich auf herstellereigene Standarddienste beschränkt, sondern erhält die Freigabe, Aktionen anwendungsübergreifend in Drittanbieter-Apps auszuführen. Wie das Unternehmen im Zuge der Veröffentlichung an einem Dienstag bekannt gab, richtet sich diese Erweiterung direkt an die Entwicklergemeinschaft. Entwickler haben fortan die Möglichkeit, die neu geschaffenen Schnittstellen und Fähigkeiten von Siri AI in ihre Programme zu integrieren.

Bemerkenswert an dieser Ankündigung ist der ausdrückliche Hinweis darauf, dass die Integration in sämtlichen Applikationen („all apps“) vorgenommen werden kann. Damit setzt Apple ein klares Signal gegen eine künstliche Limitierung auf ausgewählte Anwendungskategorien oder exklusive Partnerschaften. Für Nutzerinnen und Nutzer bedeutet dies perspektivisch, dass der Sprachassistent Steuerungs- und Interaktionsaufgaben direkt in denjenigen Programmen übernehmen kann, die sie individuell auf ihren Geräten installiert haben. Die Barriere zwischen dem Betriebssystem-Assistenten und Drittanbieter-Software wird auf funktionaler Ebene abgebaut, sodass Interaktionen nicht mehr an den Grenzen nativer Apple-Dienste enden.

Die drei funktionalen Säulen: Kontext, Sprachverständnis und Bildschirmerkennung

Die angekündigte Arbeitsweise von Siri AI im Zusammenspiel mit Drittanbieter-Apps basiert auf drei wesentlichen Merkmalen, die in der Mitteilung hervorgehoben werden:

  1. Persönlicher Kontext: Siri AI erhält die Fähigkeit, auf den individuellen Kontext der Nutzerinnen und Nutzer zurückzugreifen. Anstatt Befehle isoliert und ohne Bezug zur aktuellen Situation zu betrachten, kann die Sprachassistenz relevante Hintergrundinformationen des Nutzers heranziehen, um Aktionen zielgerichtet und passgenau innerhalb von Drittanbieter-Programmen umzusetzen.

  2. Verarbeitung natürlicher Sprache: Die Interaktion erfolgt über Prompts in natürlicher Sprache. Nutzer müssen somit keine starren, vordefinierten Befehlsmuster mehr verwenden, um externe Applikationen zu steuern. Die KI ist darauf ausgelegt, die Absicht hinter formulierten Spracheingaben eigenständig zu erfassen und in konkrete Ausführungsschritte innerhalb der jeweiligen Anwendung zu übersetzen.

  3. Bildschirmwahrnehmung (On-Screen Awareness): Als dritte fundamentale Komponente verfügt Siri AI über ein Bewusstsein für die auf dem Bildschirm angezeigten Inhalte. Durch diese visuelle Erfassung der aktuellen Benutzeroberfläche kann die Assistenz nachvollziehen, worauf sich eine Anweisung bezieht, und Aktionen direkt im Kontext der momentan sichtbaren App-Elemente vollziehen.

Das Zusammenspiel dieser drei Eigenschaften bildet das technische Fundament, auf dem Entwickler aufbauen können. Durch die Verknüpfung von visuellem Bildschirminhalt, sprachlicher Aufforderung und individuellem Kontext wird Siri AI in die Lage versetzt, komplexe Aufgaben abzuwickeln, die zuvor eine manuelle Bedienung der App-Oberflächen durch den Nutzer erforderten.

Bedeutung für die KI-Branche

Die Entscheidung von Apple, Siri AI für Drittanbieter-Anwendungen freizugeben und mit tiefgreifenden Kontext- sowie Bildschirmerkennungsfähigkeiten auszustatten, unterstreicht einen zentralen Trend in der KI-Entwicklung: den Übergang von isolierten Chatbots hin zu handlungsfähigen, tief ins Betriebssystem eingebetteten KI-Agenten.

In der KI-Branche galt die Brücke zwischen sprachgesteuerten Großmodellen und der tatsächlichen Ausführung von Softwareaktionen lange Zeit als eine der größten Hürden. Während herkömmliche Sprachassistenten meist nur einfache Verknüpfungen oder vordefinierte Kurzbefehle starten konnten, adressiert Apples Ansatz direkt das anwendungsübergreifende Agieren. Durch das Bereitstellen von Werkzeugen für Entwickler aller Apps etabliert Apple eine universelle Handlungsebene. Wenn eine KI nicht nur Anfragen beantwortet, sondern Aktionen in externer Software auf Basis des Bildschirminhalts und des Nutzerkontexts ausführen darf, wandelt sich die Natur von mobilen Betriebssystemen. Die Software-Landschaft bewegt sich damit weg von der punktuellen App-Nutzung hin zu einer zentral gesteuerten Assistenz-Erfahrung, bei der die ausführende App zunehmend im Hintergrund agiert, während der KI-Assistent die vermittelnde Rolle übernimmt.

Häufig gestellte Fragen

Welche zentralen Neuerungen bringt das Update auf iOS 27.3 für Siri AI?

Mit dem Update auf iOS 27.3 ermöglicht Apple es Siri AI, Aktionen über Drittanbieter-Apps hinweg auszuführen. Zudem erhalten Entwicklerinnen und Entwickler die Möglichkeit, die neuen KI-Funktionen direkt in ihre Applikationen einzubinden. Kernbestandteile dieser Neuerung sind die Nutzung des persönlichen Kontexts der Nutzer, die verbesserte Verarbeitung von Prompts in natürlicher Sprache sowie eine aktive Bildschirmwahrnehmung zur Erfassung angezeigter Inhalte.

Für welche Anwendungen können Entwickler die neuen Siri-AI-Funktionen nutzen?

Laut der offiziellen Ankündigung von Apple steht die Integration für alle Apps offen. Entwickler sind somit in der Lage, die neuen Funktionen von Siri AI unabhängig von der App-Kategorie in ihre Programme einzubauen, um Nutzern eine sprach- und kontextgesteuerte Bedienung zu ermöglichen.

Was versteht man unter der Bildschirmwahrnehmung von Siri AI?

Unter der sogenannten Bildschirmwahrnehmung (On-Screen Awareness) versteht man die Fähigkeit von Siri AI, den aktuell auf dem Display angezeigten Bildschirminhalt wahrzunehmen und zu interpretieren. Dadurch kann der Sprachassistent Befehle in natürlicher Sprache verstehen, die sich direkt auf sichtbare Elemente oder Inhalte beziehen, und entsprechende Aktionen innerhalb der jeweiligen App ausführen.

Ähnliche Nachrichten

Tool Retrieval in der Gemini API: Google kündigt Vorschau für KI-Agenten an
Produktstart

Tool Retrieval in der Gemini API: Google kündigt Vorschau für KI-Agenten an

Google stellt Tool Retrieval als Vorschau in der Gemini API bereit. Die Funktion soll KI-Agenten Zugang zu Hunderten von Werkzeugen ermöglichen und dabei weniger Tokens benötigen. Damit verbindet die Ankündigung zwei Aspekte: die Zahl der Werkzeuge, auf die Agenten zugreifen können, und den dafür nötigen Tokenverbrauch. Wie groß die Einsparung ausfällt, geht aus der Meldung des Google AI Blog nicht hervor. Sie nennt weder einen konkreten Vergleichswert noch erläutert sie, wie Tool Retrieval technisch funktioniert. Auch welche Werkzeuge zur Verfügung stehen und ob oder wann die Funktion über die Vorschau hinaus verfügbar sein wird, bleibt offen. Die Meldung beschreibt somit den angekündigten Nutzen, liefert aber keine technischen Details oder Messwerte.

LangSmith Tool Gateway startet in die öffentliche Beta und regelt Werkzeugaufrufe von KI-Agenten
Produktstart

LangSmith Tool Gateway startet in die öffentliche Beta und regelt Werkzeugaufrufe von KI-Agenten

LangChain meldet, dass LangSmith Tool Gateway als öffentliche Beta verfügbar ist. Das Produkt verwaltet bei jedem Werkzeugaufruf eines KI-Agenten die Zugangsdaten, die Identität und den Zugriff. Zum genannten Funktionsumfang gehören außerdem Richtlinien, Freigaben und Ablaufspuren. Die Meldung beschreibt damit zwei Seiten der Werkzeugnutzung: die Verwaltung von Zugangsdaten, Identität und Zugriff einerseits sowie die Kontrolle und Nachverfolgung von Aufrufen andererseits. Entscheidend für die Einordnung ist, dass LangChain diese Funktionen auf einzelne Werkzeugaufrufe bezieht. Wie Richtlinien festgelegt werden, wann Freigaben erforderlich sind und welche Informationen die Ablaufspuren enthalten, geht aus der Meldung nicht hervor. Der ausdrücklich genannte Veröffentlichungsstatus ist die öffentliche Beta.

Google stellt Gemini Decision 1 vor: Das Modell wählt Antworten aus, statt sie zu schreiben
Produktstart

Google stellt Gemini Decision 1 vor: Das Modell wählt Antworten aus, statt sie zu schreiben

Mit Gemini Decision 1 stellt Google ein Modell vor, das Antworten auswählt, statt sie zu schreiben. Nach der Meldung hat das Modell genau diese eine Aufgabe und verfasst dabei selbst keinen Text. Auf der Eingabeseite kann es Texte, Bilder, Videos, Audio und PDFs verarbeiten. Die Verarbeitung erfolgt in einem einzigen Vorwärtsdurchlauf. Pro Anfrage unterstützt Gemini Decision 1 bis zu 262.144 Eingabetokens. Die Meldung unterscheidet damit zwischen den vielfältigen Eingaben, die das Modell lesen kann, und seiner eng umrissenen Aufgabe bei der Antwort: Es formuliert keine eigene Antwort, sondern trifft eine Auswahl. Die genannte Tokenobergrenze bezieht sich auf die Eingabe pro Anfrage, nicht auf eine Textausgabe.