Datenspeicher

In der Von-Neumann-Architektur existieren in jedem Modul Speicherzellen. Deswegen spielt vor allem der Datenspeicher eine wesentliche Rolle in der Verarbeitung von Multimedia-Daten. Anders als bei der Entwicklung der Prozessoren, stieg die Leistung in Form von Speicherplatz stetig weiter.

Wichtige Leistungsmerkmale von Speichern sind:

• flexible Datenzugriffe
• schnelle Datenlese- und schreibraten
• Speicherplatzgröße auf minimalem Raum

Vor allem bei der Videoverarbeitung fallen große Datenmengen an, die schnell von der Festplatte in den Arbeitsspeicher geladen werden müssen. Doch dabei spielt nicht nur die Hardware eine Rolle, sondern auch das Betriebssystem, welches auf dem Speicher ein Dateisystem anlegt und somit die Verwaltung der Daten übernimmt.

Prozessoren

Multimedia-System bauen nicht nur auf einen Hauptprozessor (CPU) auf, sondern aus mehreren nebenläufigen Prozessoren aus dem Betrachtungsfeld. Weitere wichtige Prozessoren sind:

• Grafikprozessor auf der Grafikkarte
• Kommunikationsprozessor auf der Netzwerkkarte
• die Signalprozessoren auf der Soundkarte

Weiterhin existieren spezielle Multimedia-Prozessoren, wie zum Beispiel AMD Xilleon oder AMD Imageon, welche auf die Bild- und Videobearbeitung optimiert wurden.

Multimedia-Software nutzt meist nicht die gesamte Wortlänge (d. h. Integer), sondern legt mehr Wert auf short- oder char-Werte. Daher wurden Prozessorarchitekturen wie Single Instruction Multiple Data (SIMD) entwickelt, welche mehrere kleine Daten in einem Befehl verarbeiten. Aufgrund der hohen Parallelisierbarkeit bei der Verarbeitung von Bilddaten wurden Erweiterungen wie MMX geschaffen, um den neuen Anforderungen der Multimedia-Anwendungen gerecht werden zu können.

Grafikkarten

Mit den steigenden Anforderungen der Computerspielbranche stieg der Bedarf an eine Recheneinheit, die sich auf grafische Aspekte spezialisierte. Dafür beinhalten Grafikkarten eigene Prozessoren (meist GPUs genannt), welche sich vor allem für eine schnelle Bildverarbeitung eignen. Durch diese Spezialisierung sind sie den universellen CPUs in den Bereichen paralleler Berechnungen überlegen.

Soundkarten

Soundkarten werden benötigt, um digitale in analoge Signale umzuwandeln (und umgekehrt).

Leistungskriterien:

• Dynamik
• Frequenzgang
• Klirrfaktor
• Spannung am Line-In, Line-Out
• Störabstand

Multimedia Frameworks

Frameworks wie DirectX oder auch OpenGL stellen eine Programmierschnittstelle für multimediaintensive Anwendungen dar. Dabei gibt es für jedes Multimedia-Modul eine Komponente. Hierbei soll es dem Programmierer ermöglicht werden einen schnellen und direkten Zugriff auf die Grafikkarte zu erhalten.

• DirectMusic ist die Komponente, welche als Synthesizer zur Wiedergabe von MIDI-Files fungiert.

• DirectShow ist vor allem für das Streaming von Video- und Audiodaten bedeutend.

• Mit DirectSound / XAudio können Klangeffekte verbessert werden und Schnittstellen zur Aufnahme und Wiedergabe von Audio-Signalen erstellt werden.

• DirectX stellt dabei seine DirectX-Graphics-Komponente zur Verfügung, welche DirectDraw für 2D-Grafiken und DirectX für 3D-Grafiken vereint.

Bei der 3D-Grafik spielt die Hardwarebeschleunigung eine bedeutende Rolle.

Eine quelloffene ("open source") und plattformunabhängige Alternative zu DirectX ist OpenGl.

Kommunikation

Voraussetzung für die Kommunikation in einem interaktiven Netzwerk sind geringe Verzögerungen, Unterstützung für die Übertragung hoher Datenraten und eine geringe Fehlerrate. Um dies zu ermöglichen wurden Netzwerktechnologien wie FDDI, High-Speed-Ethernet, Token Ring und ATM geschaffen. Die Kommunikation zwischen Multimedia-Systemen, welche die Vermittlungsschicht bildet, wird über Netz- und Transportprotokolle realisiert.

Anforderungen an Dienste und Protokolle

• Je nach Anwendung erfordern Audio- bzw. Videodaten eine zeitbegrenzte Bearbeitung. Die Datenübertragung muss dementsprechend während der vorgegebenen Intervalle erfolgen.
• Die Verzögerung zwischen den Endnutzern einer Anwendung, wie zum Beispiel aus dem Dialogbetrieb (z. B. Telefon), müssen gering gehalten werden.
• Das Hauptanwendungsgebiet kommunikationsfähiger Multimediasysteme liegt meist auf kooperatives Arbeiten und Konferenzsystemen unter Verwendung mehrerer unterschiedlicher Medien. Das Verbinden und Trennen von Konferenzmitgliedern sollte gelingen, ohne dass die Konferenzverbindung völlig neu aufgebaut werden muss.
• Bei der Übertragung bevorzugter oder garantierter Multimedia-Daten darf es zu keiner Einschränkung bei der Kommunikation der restlichen Daten kommen.
• Um das Fairnessprinzip zwischen unterschiedlichen Anwendungen, Anwendern und Stationen zu schützen, darf kein Client bevorzugt werden.

Meist werden zugrundeliegende Netzsysteme, zum Beispiel das Ethernet, für kommunikative Multimedia-Anwendungen genutzt und keine neuen separaten Netzwerke geschaffen. Die Annahme, dass für multimediale Kommunikationssysteme mindestens eine Bandbreite von mindestens 100 Bit/s benötigt wird, ist somit nicht grundsätzlich wahr.

Wichtige Protokolle im Überblick

IGMP (Internet Group Management Protocol):

• kann Internet-Multicast-Gruppen verwalten
• dynamisches An- und Abmelden von Systemen möglich
• muss selbst nicht Mitglied der Gruppe sein

IP (Internet Protocol):

• ermöglicht Datenübertragung zwischen Absender und Zielsystem
• mehrere Transfersysteme (Gateways oder Router) können durchlaufen werden

RTP (Real-Time Transport Protocol):

• unterstützt Multicast-Sitzungen

RTSP (Real-Time Streaming Protocol):

• steuert keine Nutzdaten, sondern Datenströme
• ähnlich wie HTTP, jedoch bidirektional und zustandbasiert

SIP (Session Initiation Protocol):

• richtet Sitzungen ein und übernimmt dann das Management der Sitzung

TCP (Transmission Control Protocol):

• wird für Videokonferenzen benötigt

TP (Telnet Protocol):

• umfasst das RMTP (Real-Time Message Transport Protocol) und MTP (Continuous Media Transport Protocol)
• unterstützt Übertragung von Multimedia-Daten, da es beim Ausliefern von Daten gewisse Leistungen garantiert

Betriebsmittel (Dienstgüte)

• Bandbreite
• Latenz-/Laufzeit
• maximale Bitfehlerrate
• maximaler Paketverlust
• Prozessorleistung
• Speicherplatz

Für die Verwaltung der Betriebsmittel existieren die beiden Ansätze Skalierung und Ressourcenreservierung, die häufig zeitgleich zum Einsatz kommen.

Die Skalierung bezeichnet eine möglichst einfache Anpassung des Datenflusses an vordefinierte Randbedingungen. Dafür werden die Betriebsmittel in Beziehung mit dem Datenstrom gesetzt.

Der Zweite betrachtet einzelne Komponenten als Ressourcen, die noch vor der Ausführung der Evaluation reserviert werden müssen. Sobald alle Ressourcen reserviert wurden, kann beim Ressourcenmanagement eine sinnvolle Zuteilung der Betriebsmittel erfolgen.

Schwer oder nicht quantifizierbare Eigenschaften

• Bedienbarkeit der eingesetzten Endgeräte
• nicht vorhersagbare Einflüsse von außen
• Störungen im Netzwerk

Audiosignale

• Geräusch
• Klang mehrere Frequenzen überlagert
• Knall
• Partitur
• Rauschen
• Sprache
• Ton eine Frequenz

Zusammensetzung der Audiosignale

Entscheidend für die technische Umsetzung von Audiosignalen sind die folgenden Eigenschaften:

Audiodateien

• Parameter:
  • Abtastfrequenz in kHz
  • Anzahl an Kanälen
  • Kompressionsrate in kbps

Aus diesen Parametern resultiert die Größe der Audiodatei.

Kompression

Man kann die Audiokompression in zwei große Teilbereiche untergliedern. Zum einen ist dies die verlustlose Audiokompression (Datenkomprimierung), zum anderen die verlustbehaftete Audiokompression (Datenreduktion).

Die Datenkomprimierung nutzt universellere Komprimierungsverfahren wie LZW, oder die Huffman-Kodierung. Somit stellt diese Komprimierungsart keine weitere Besonderheit unter der Audiokompression dar.

Bildgröße und Auflösung

Während die Bildgröße die Gesamtanzahl der Bildpunkte (Pixel) angibt, ist die Auflösung genauso wie die Bittiefe ein Qualitätsmerkmal für die Grafik.

• Bildgröße
  • stellt die Gesamtzahl der Bildpunkte dar
  • Anzahl der Spalten (Breite) und Zeilen (Höhe)

• Auflösung:
  • Bildelemente pro Länge in ppi (pixel per inch) angegeben
  • Punktdichte einer Wiedergabe oder Bildabtastung
  • neben der Farbtiefe ein Maß für die Qualität
  • Bei Rastergrafiken kann keine Auflösung angegeben werden, da dies von der Wiedergabe abhängt

Bittiefe

Mit Hilfe der Bit- oder Farbtiefe möchte man ein geeignetes Farbspektrum auffalten, welches für das geschaffene Bild relevant ist. Grundsätzlich gilt: Mit n Bits sind 2^n Farben darstellbar.

Mit 16 Bit erhält man einen Farbraum von 65.000 Farben, diesen Farbraum nennt man "high color".

32 Bit und damit 16.000.000 Farben sind ausreichend, um den natürlichen Farbraum qualitätsnahe zu repräsentieren. Bei 32 Bit Farbtiefe spricht man von "true color".

Farbmodelle

Farbmodelle sind geometrische oder mathematische Rahmenwerke, welche die Farbwahrnehmung des Menschen beschreiben sollen. Dafür besitzen Farbmodelle eine oder mehr Dimensionen, die zusammen das sichtbare Spektrum der Farben darstellen.

Um die Farben beschreiben, berechnen, vergleichen oder ordnen zu können, werden die Farben numerisch indiziert.

Mit moderneren Modellen, wie im HSK-Farbmodell, wurde die Lichtintensität als zusätzliche Dimension eingefügt, um Schattierungen besser wiedergeben zu können.

Kanäle

Der Farbkanal enthält die Farbanteile jedes Pixels (Bildpunkts) im digitalen Bild. Dabei können jedem Pixel mehrere Farbkanäle zugeordnet sein. Der rote Farbkanal definiert, wie viel Rot in einem Pixel enthalten ist, der grüne Farbkanal wie viel Grün und so weiter. Somit deutet die Kanalanzahl auf das Farbmodell hin.

Dithering

Das Dithering stellt die Fehlerdiffusion bei Farbverläufen in Bildern dar. Dieses wird genutzt, um Farbabstufungen bei Bildern mit wenig Farben nachzubilden. Mit Hilfe von bestimmten Pixelanordnungen wird somit ein künstlicher Farbverlauf erzeugt. Das menschliche Auge nimmt Dithering als Mischung einzelner Farben wahr und es entsteht die Illusion einer größeren Farbtiefe.

Transparenz

Transparenz (Durchsichtigkeit) bezeichnet in der Computergrafik Bildelemente, die die Inhalte darunter befindlicher Elemente ganz oder teilweise sichtbar lassen.

Für Bitmaps wird ein zusätzlicher α-Kanal genutzt, welcher für jeden einzelnen Pixel seine Transparenz angibt.

Übungsprogramme

Übungsprogramme dienen dazu, Wissen (meist vorher erworben) durch Wiederholung und Anwendung zu festigen. Es existieren große Mengen an solchen Programmen aus fast allen Wissensbereichen und Lerntypen, angefangen bei Vokabeltrainer über elektronische Aufgabensammlungen bis mathematischen Übungsprogrammen.

Test-Software

Test-Software wird zur Durchführung und Auswertung von Lernkontrollen eingesetzt. Lerner beantworten Fragen nicht mündlich oder auf Papier, sondern am Rechner. Hierfür eignen sich besonders Multiple-Choice-Aufgaben oder Lückentexte (zum Beispiel Führerscheinprüfung). Hier wird der Lehrende entlastet, da die Leistungskontrolle elektronisch erfolgt. Bessere Tests ermöglichen adaptive Systeme, die die Art, Schwierigkeit und Anzahl der Testaufgaben dynamisch in Abhängigkeit vom bisherigen Testverlauf bestimmen.

Tutorielle Systeme

Tutorielle Systeme, oft auch Computer-Based-Training (CBT) bezeichnet, übernehmen alle Lehrfunktionen. Die Lernsoftware vermittelt dem Lernenden einen Wissensbereich, lässt Aufgaben bearbeiten, gibt Rückmeldungen über den Leistungsstand und bestimmt weiteren Lernweg in Abhängigkeit von den bisherigen Leistungen.