Multimodale künstliche Intelligenz

Multimodale künstliche Intelligenz ist eine spezielle Art von Modalität, welche Ähnlichkeit mit der entsprechenden Definition bei Medienwissenschaften hat. Dort wird bei Multimedialität mehr als eine Sinnesmodalität zur Interaktion benutzt (Multimodale Interaktion). Bei multimodaler künstlicher Intelligenz wird jedoch anstelle einer traditionellen Verarbeitung / Umwandlung der Eingaben ein durch maschinelles Lernen vortrainiertes Basismodell für den Verarbeitungsprozess verwendet, welches für zusätzliche Modalitäten erweitert wurde oder durch Lerntransfer mittels Fine-Tuning noch weiter angepasst werden kann. Auch die Nutzung weicht oft von früheren Medienanwendungen ab.

  1. Dave Andre: Was ist Feinabstimmung? allaboutai.com, 15. Dezember 2023. Abgerufen am 9. Juni 2024
  2. PaLM-Modelle abstimmen – Übersicht. Generative AI on Vertex AI, Google Cloud (englisch). Abgerufen am 9. Juni 2024