Nutzwertanalyse

Die Nutzwertanalyse (NWA; auch Punktwertverfahren, Punktbewertungsverfahren genannt) gehört zu den qualitativen, nicht-monetären Analysemethoden der Entscheidungstheorie. Die Nutzwertanalyse ist eine Methodik, welche die Entscheidungsfindung bei komplexen Problemen rational unterstützen soll. Sie ist ein relativ altes Verfahren, das seine Ursprünge in der volkswirtschaftlichen „Utility Analysis“ hat und im deutschsprachigen Raum durch Zangemeister (1976) bekannt wurde. Während die Kosten-Nutzen-Analyse verschiedene Kriterien nur unter Effizienzgesichtspunkten betrachtet, bewertet die Nutzwertanalyse die Effektivität bzw. den Outcome. Die Nutzwertanalyse findet überall dort Anwendung, wo eine Beurteilung auf Basis mehrerer quantitativer und qualitativer Kriterien, Zielen oder Bedingungen getroffen werden muss, so etwa im Controlling, im Projektmanagement, in der Volkswirtschaftslehre oder im Vergaberecht. Die NWA ist die „Analyse einer Menge komplexer Handlungsalternativen mit dem Zweck, die Elemente dieser Menge entsprechend den Präferenzen des Entscheidungsträgers bezüglich eines multidimensionalen Zielsystems zu ordnen. Die Abbildung der Ordnung erfolgt durch die Angabe der Nutzwerte (Gesamtwerte) der Alternativen.“

Eine NWA wird häufig erstellt, wenn „weiche“ Kriterien vorliegen, anhand derer zwischen verschiedenen Alternativen eine Entscheidung gefällt werden muss.

Einsatzgebiet

Die Nutzwertanalyse soll vor allem innerhalb eines Entscheidungsprozesses der systematischen Entscheidungsvorbereitung und der Auswahl komplexer Handlungsalternativen dienen. Sie soll es ermöglichen, eine kompakte Kennzahl für den Nutzen zu erhalten, ohne dabei an Transparenz zu verlieren. Da die NWA nicht nur monetäre, sondern auch „weiche“ Faktoren in Betracht zieht, können auch komplexe Sachverhalte bewertet und das Risiko von Fehlentscheidungen verringert werden.

Methodische Grundlagen

Die entscheidungstheoretische Grundlage für die Nutzwertanalyse bildet die additive multiattributive Wertefunktion. Diese „ordnet jeder Alternative einen Wert in Abhängigkeit von ihren Attributausprägungen zu“. Am Ende wird ein Gesamtwert für jede Alternative aus der gewichteten Summe von Einzelwerten pro Attribut errechnet. Die additive multiattributive Wertefunktion für die Berechnung des Gesamtwertes einer Alternative a lautet:

v(a)=\sum _{r=1}^{m}w_{r}v_{r}(a_{r})

Dabei sind alle $w_{r}>0$ und es gilt die Bedingung für die Gültigkeit der Wertefunktion:

\sum _{r=1}^{m}w_{r}=1

Das bedeutet, dass jedes Gewicht $w_{r}$ größer als 0 sein muss, und die Summe aller Gewichte 1 (bzw. 100 %) ist. Der Term $v_{r}(a_{r})$ ist der Wert (die „Bewertung“), der der Ausprägung $a_{r}$ zugeordnet ist. Folgendes Beispiel soll die Formeln veranschaulichen: Es werden drei Stellenangebote miteinander verglichen. Dabei werden zwei Attribute zur Bewertung herangezogen, die Arbeitszeit und das Gehalt.

Alternative	Gehalt $x_{1}$	Bewertung Gehalt $v_{1}(x_{1})$	Arbeitszeit $x_{2}$	Bewertung Arbeitszeit $v_{2}(x_{2})$
Berater	90.000 €	1,0	60 h	0,0
Professor	55.000 €	0,6	40 h	0,5
Lehrer	35.000 €	0,0	20 h	1,0

Beispielhafte Berechnung von Attributsbewertungen

Geht man nun von einer Gewichtung für das Gehalt von $w_{1}=0{,}6$ und für die Arbeitszeit von $w_{2}=0{,}4$ aus, erhält man folgende Tabelle:

Alternative	Bewertung Gehalt $v_{1}(x_{1})$	Gehalt gewichtet $w_{1}v_{1}(x_{1})$	Bewertung Arbeitszeit $v_{2}(x_{2})$	Arbeitszeit gewichtet $w_{2}v_{2}(x_{2})$	Gesamtwert $w_{1}v_{1}(x_{1})+w_{2}v_{2}(x_{2})$
Berater	1,0	0,6	0,0	0,0	0,60
Professor	0,6	0,36	0,50	0,20	0,56
Lehrer	0,0	0,0	1,0	0,40	0,40

Beispielhafte Gesamtnutzenberechnung

Im obigen Beispiel wäre die Stelle als Berater die Beste, da der Gesamtwert am höchsten ist. Man spricht von einem „additiven“ Verfahren, da im letzten Schritt alle Teilnutzwerte addiert werden. Damit eine additive Wertfunktion gültig ist, muss diese allerdings präferenzunabhängig sein. Das bedeutet, dass die Reduzierung oder Erhöhung eines Attributs eine Veränderung des Gesamtnutzwertes bewirkt, die völlig unabhängig von dem Niveau der anderen Attribute ist. D. h. bei einem Leichtathletik-Wettkampf bringt eine Steigerung der Wurfweite beim Kugelstoßen von 20 auf 25 Meter eine zusätzliche Punktzahl, die unabhängig von den erzielten Leistungen im Sprinten, Weitsprung etc. sind.

Nutzen

Abweichend von der wirtschaftswissenschaftlich vorherrschenden Definition von Nutzen über Präferenzen über potenzielle Tauschoperationen ist der Nutzen der Nutzwertanalyse durch das Ausmaß der Eignung eines Gutes zur Befriedigung eines Bedürfnisses – oder eines anderen Kriteriums – eines Entscheidungsträgers zu verstehen. Für die Größe des Nutzens sind fünf Faktoren ausschlaggebend:

derjenige, der das Gut nutzt,
der Zweck, für den das Gut genutzt werden soll,
die Situation, in der das Gut genutzt werden soll,
der Zeitpunkt, an dem das Gut genutzt werden soll,
das Gut selbst.

Vor- und Nachteile der Nutzwertanalyse

Vorteile

Flexibilität des Zielsystems
Anpassung an eine große Zahl spezieller Erfordernisse
direkte Vergleichbarkeit der einzelnen Alternativen
Unvergleichbares wird durch Auswahl gemeinsamer Kriterien vergleichbar gemacht

Nachteile

Vergleichbarkeit der Alternativen, da nicht immer gewährleistet sein kann, dass zwei Alternativen in derselben Hinsicht verglichen werden.
Problem der Einigung, wenn mehrere Entscheidungsträger mit unterschiedlichen Präferenzen vorhanden sind
Problem bei der Auswahl der Kriterien/Gewichtung
sehr subjektiv bezüglich der Gewichtung

Häufige Fehler

Bei einer einfachen Nutzenfunktion wird meist nicht darauf geachtet, dass die einzelnen Kriterien nutzenunabhängig sein müssen. Beispiel: Tankinhalt, Verbrauch und Reichweite mit einer Tankfüllung eines Autos.
Zur Vereinfachung werden nicht die Konsequenzen bewertet, sondern die Parameter der Alternativen. D. h. man „spart“ sich den Schritt, Alternativen auf Konsequenzen abzubilden. Beispiel: Das Kofferraumvolumen eines Autos wird bewertet und nicht die Frage, ob es ausreichend für das Gepäck ist.

Um Transparenz und Übersichtlichkeit zu gewährleisten, sollten nur die wichtigsten Kriterien in die Nutzwertanalyse einfließen.
Ausschlusskriterien gehen nicht in die NWA ein.
Besonderes Augenmerk bei der Erstellung einer Nutzwertanalyse sollte auf der Formulierung der Ziele oder zu messender Kriterien liegen. Hierbei können durch die Auswahl falscher Ziele oder Kriterien, Verzerrungen des Gesamtbildes entstehen, wenn beispielsweise irrelevante Ziele festgelegt werden. Hall schreibt hierzu:

Wichtiger als die Auswahl [der richtigen Alternative] ist es, zunächst die richtigen Ziele zu bestimmen. Denn wählt man falsche Ziele, dann löst man eine irrelevante Problemstellung; wählt man dagegen [eine falsche Alternative] (auf der Basis richtiger Ziele) so wählt man letztlich nur [eine nicht optimale Alternative]. Es ist also unbedingt darauf zu achten, dass die Nutzwertanalyse situationsgerechte Ziele enthält, das heißt, dass sie alle wesentlichen Gesichtspunkte berücksichtigt.

Ein weiteres Problem ergibt sich aus der Messung und Schätzung der Bewertungen für die Ziele. Vor allem die Skalierung ist hierbei problematisch. Wie unten aufgezeigt, bietet nur die Kardinalskala die Möglichkeit einer relativ objektiven Bewertung. Andere Bewertungen, die auf Ordinalskalen gemessen oder geschätzt wurden, bergen immer ein gewisses Maß an Ungenauigkeit. Ordinalskalierte Werte, die dann durch eine Transformation in Zielerreichungsgrade umgerechnet werden, können daher eine trügerische Scheingenauigkeit bieten, wenn sie zusammen mit transformierten, genau gemessenen, kardinalskalierten Werten dargestellt werden
Zuletzt beeinflusst die Ungewissheit über die Zukunft das Ergebnis der Nutzwertanalyse. Bisher wurde in der Beschreibung der Nutzwertanalyse angenommen, dass alle Messwerte oder Schätzungen, die aufgenommen worden sind, auch in Zukunft Bestand haben. Die Möglichkeit einer Verbesserung oder Verschlechterung wurde nicht berücksichtigt. Vor allem bei der Bewertung von langfristigen Projekten sollte aber die Möglichkeit in Betracht gezogen werden, dass sich die Bewertungen oder Gewichtungen im Laufe der Zeit ändern können. Eine relative simple Lösung für das Problem der Ungewissheit ist die Durchführung einer Sensitivitätsanalyse und, oder die Angabe von Bewertungskorridoren anstatt von punktuellen Bewertungen. Beispiel: Es soll eine Nutzwertanalyse zur Auswahl eines Hauses erstellt werden. In die Bewertung fließt das Kriterium „Aussicht“ mit ein. Anstatt dieses für ein Haus mit „80 von 100“ Punkten zu bewerten, könnte eine Bewertung von „75-80 von 100“ vorgenommen werden, wenn bekannt ist, dass das Haus in der Nähe eines Neubaugebietes liegt, und in Zukunft eventuell Baustellen die Aussicht stören. Folglich liegen anschließend auch für die Gesamtnutzwerte Bewertungskorridore vor. Ein weiterer Faktor, der bei der Interpretation der Ergebnisse Beachtung finden muss, ist die Subjektivität der Bewertungen. Vor allem bei Befragungen oder ordinalskalierten Kriterien hat der Bewertende großen Einfluss auf das Ergebnis. Dieser Effekt kann reduziert werden, indem beispielsweise ganze Teams die Gewichtungen oder Bewertungen vornehmen.

Einfache Nutzwertanalyse

In der Literatur gibt es verschiedene Aussagen über den Ablauf einer Nutzwertanalyse. Nagel, Tauberger und Hanusch sprechen beispielsweise von einem sieben-stufigen Ablauf, während Westermann ein 11-stufiges Modell beschreibt. Des Weiteren spricht Nollau von einem sechs-stufigen Ansatz, Büssow von einem 14-stufigen. Da sich die einzelnen Abläufe oft nur in der Wortwahl unterscheiden wird nachfolgend ein generisches Ablaufmodel der Nutzwertanalyse dargestellt, das die Gemeinsamkeiten der einzelnen Varianten zusammenfasst.

Zieldefinition

Zu Beginn der Nutzwertanalyse sollte festgehalten werden, was das Ziel der Analyse ist, also welches Entscheidungsproblem es zu lösen gilt. Die Dokumentation ist wichtig, um die Transparenz der NWA zu gewährleisten.

Ausschluss- und Auswahlkriterien definieren

Der wohl wichtigste und schwierigste Schritt ist die Bestimmung der zu messenden und zu bewertenden Kriterien. Als Erstes sollten die sogenannten Ausschlusskriterien definiert werden. Diese Kriterien fließen nicht in die NWA ein, sondern führen zum sofortigen Ausschluss einer Alternative, wenn das Kriterium nicht erfüllt ist („K.O.-Kriterium“). Definiert man beim Autokauf den maximalen Preis von 10.000 € als Ausschlusskriterium, ist jedes Auto, das mehr kostet, sofort disqualifiziert. Danach werden die Auswahlkriterien definiert. Diese werden dann anschließend gewichtet und mit Punkten bewertet. Es kann hilfreich sein, Kreativtechniken wie Brainstorming einzusetzen, um Ideen für die Auswahlkriterien zu sammeln. Grundsätzlich kann man zwischen Leistungs-, Kosten- und Terminkriterien unterscheiden. Es ist empfehlenswert, eine Kriterienhierarchie zu erstellen, da es unter Umständen die Gewichtung vereinfacht und die Beziehung der Kriterien verdeutlicht. Durch die Hierarchie erhält man verschiedene Ebenen. Mit abnehmender Ebene verlieren die Ziele aufgrund der additiven Methodik für den Gesamtnutzwert an Bedeutung. Ziele der ersten oder zweiten Hierarchieebene können insofern Gegenstand von „politischen“ Diskussionen werden. Alle Kriterien sollten entweder qualitativ oder quantitativ erfassbar und messbar sein. Die Formulierung der Ausprägungen sollte möglichst präzise sein. So ist das Kriterium „Kosten um 10 % senken“ in Bezug auf die Zielerreichung leichter zu bewerten als „Kosten senken“. Zudem ist diese Art der Bezeichnung für die darauf folgende Gewichtung wichtig. Es ist nämlich nicht zielführend, zwei Attribute miteinander zu vergleichen. Es kommt immer auf die Differenz der Ausprägungen von zwei Variablen an. Es ist beispielsweise wenig differenziert zu behaupten, „Urlaub“ sei wichtiger als „Wochenarbeitszeit“. Sinnvoller ist die Betrachtung, ob z. B. 10 Tage mehr Urlaub wichtiger sind als 2 Stunden weniger Wochenarbeitszeit.

Einfache Nutzwertanalysen nehmen die Existenz einer multilinearen Nutzenfunktion an, ohne diese zu beweisen. Die folgende Erklärung beschreibt die gängige Praxis, die die theoretischen Grundlagen vernachlässigt oder ignoriert.

In privaten oder überschaubaren wirtschaftlichen Fragestellungen genügt oft eine einfache Tabelle. Dazu müssen nur die verschiedenen Optionen auf der Y-Achse untereinander gestellt und das Bewertungskriterium auf die X-Achse gestellt werden. Eine weitere Spalte enthält den individuellen Gewichtungsfaktor für das jeweilige Kriterium, also die Frage, wie hoch der Erfüllungsgrad einer Möglichkeit in der Gesamtpriorität steht.

Nun werden die einzelnen Lösungs- oder Angebotsmöglichkeiten Zeile für Zeile abgearbeitet. Jedem Kriterium wird seine Erfüllung und die jeweilige Gewichtung mit Punktwerten zugewiesen und die ganze Zeile am Ende ausmultipliziert. Das Ergebnis pro Zeile ergibt direkt die ermittelte Attraktivität einer Lösung. So ist es möglich, die Nutzwerte beliebig vieler Varianten Tabelle für Tabelle zu analysieren.

Gewichtung der Ziele (Kriterien)

Der zentrale Analyseschritt bei der Erstellung der NWA ist die Gewichtung der zuvor festgelegten Auswahlkriterien. Die Gewichtungsfaktoren geben die Wichtigkeit der einzelnen Kriterien an. Die Gewichtungen sind, unabhängig von den im Folgenden vorgestellten Methoden, rein subjektiv. Der Entscheider bestimmt, was wichtig ist und was nicht. Damit die NWA und die Entscheidungsfindung transparent bleiben, sollten die Gewichtungen methodisch erfolgen. In der einschlägigen Literatur werden, neben anderen, folgende Methoden zur Gewichtung behandelt:

Swing
Trade-off
Paarweises Vergleichen (Präferenzanalyse)
SIMOS
AHP
Punktbewertung
Direct Ranking / Direct Ratio

Nachfolgend werden drei Methoden vorgestellt, die verschiedene Ansätze verfolgen. Untenstehende Tabelle stellt die Methoden und deren Charakter dar.

Methode	Charakter
Direct Ranking	Das Gewicht wird quasi direkt zugeordnet
Präferenzanalyse	Das Gewicht ergibt sich aus einem unqualifizierten Vergleich
AHP	Das Gewicht ergibt sich aus einem qualifizierten Vergleich

Eine aktuelle Studie von Zardari zeigt, dass das (wissenschaftliche) Interesse an Gewichtungsmethoden und entscheidungstheoretischen Fragen seit dem Jahr 2000 ständig gewachsen ist. Dazu wurden die Suchanfragen an verschiedene wissenschaftliche Datenbanken ausgewertet. Die nachfolgende Grafik zeigt exemplarisch die Anfragen an die scopus Datenbank (Die scopus Datenbank des Elsevier Verlages ist nach eigenen Angaben die weltweit größte Datenbank für wissenschaftliche Literatur). Die dargestellte Entwicklung der Anfragen ist auch bei der Auswertung anderer Datenbanken ersichtlich. Die betrachteten Gewichtungsmethoden sind somit auch im wissenschaftlichen Kontext aktuell und relevant.

Direct Ranking

Die einfachste, aber zugleich ungenauste Methode zur Bestimmung der Gewichte ist das Direct Ranking. In der Praxis wird dieses Verfahren aufgrund der Einfachheit und leichten Berechenbarkeit der Gewichte häufig eingesetzt. Um die Gewichte für die einzelnen Kriterien oder Ziele zu erhalten, ordnet der Entscheidungsträger den Kriterien oder Zielen einen Rang zu. Ob dieser von 0–10 wie nachfolgend dargestellt oder in einem anderen Bereich liegt, spielt keine große Rolle, da die Werte anschließend auf 1 normiert werden. Dieser Bewertungsmethode liegt eine Ordinalskala zugrunde.

Sobald allen Kriterien ein Rang zugewiesen wurde, können die Rohgewichte r eines Kriteriums j (Kriterium 1: 9) auf 1 normiert werden, indem jedes Rohgewicht durch die Summe der Gewichte geteilt wird, wodurch man das normierte Gewicht w erhält. Formal kann dies für Kriterien oder Ziele von 1 bis n folgendermaßen ausgedrückt werden:

w_{j}={\frac {r_{j}}{\sum _{j=1}^{n}r_{j}}}

Der große Nachteil des Direct Ranking ist, dass jedes Kriterium isoliert betrachtet wird. Deshalb ist es auch nicht möglich, Plausibilitäts- oder Konsistenzprüfungen vorzunehmen. Zudem tritt in der Praxis oft das Phänomen auf, dass Entscheider in ihrer Bewertung indifferent sind, also verschiedenen Kriterien dieselbe Relevanz zuordnen.

Präferenzanalyse

Während das Direct Ranking für die Gewichtung weniger Kriterien durchaus geeignet sein kann, sollte bei einer Vielzahl von Kriterien auf Methoden gesetzt werden, die einen paarweisen Vergleich durchführen. Eine Methode dafür ist die Präferenzanalyse. Hierbei werden alle Kriterien nacheinander miteinander verglichen und es wird ausgewählt, welches Kriterium oder Ziel wichtiger ist. Untenstehende Grafik zeigt eine Möglichkeit mit einer Tabellenkalkulation einen paarweisen Vergleich durchzuführen. Die Pfeile in der Abbildung zeigen, welche Kriterien miteinander verglichen wurden. Der Buchstabe des bevorzugten Kriteriums wird in die Tabelle eingetragen. Anschließend werden die Ränge und die umgekehrten Ränge (umgedreht geordnet) anhand der absoluten Anzahl der Nennung („Anzahl“ in der Tabelle) ermittelt. Danach wird das Gewicht jedes Kriteriums ermittelt, indem die Summe der Gewichte (100) durch die Summe der vergebenen Ränge (34) geteilt und anschließend mit dem umgekehrten Rang multipliziert wird. Formal ausgedrückt lautet die Berechnung:

{\text{Gewicht}}={\frac {\text{Summe der Gewichte}}{\text{Summe der Ränge}}}\cdot {\text{umgedrehter Rang}}

Mit dieser Methode ist die Gewichtung der Kriterien präziser als mit der Direct Ranking Methode. Allerdings benötigt eine Gewichtung durch paarweise Vergleiche mehr Zeit. Zu beachten ist vor allem der Anstieg des Aufwands bei steigender Anzahl der Kriterien. Die Anzahl aller durchzuführenden Vergleiche errechnet sich folgendermaßen, wobei N die Anzahl der Vergleiche und n die Anzahl der Kriterien ist:

N={\frac {n^{2}-n}{2}}

In der untenstehenden Abbildung wurden 8 Kriterien miteinander verglichen, was insgesamt 28 Vergleiche notwendig gemacht hat. Füllte man die Tabelle komplett aus (14 Kriterien) würde dies bereits zu 91 Vergleichen führen.

Analytical Hierarchy Process (AHP)

Die AHP-Methode wurde 1980 von Thomas Saaty entwickelt. Die Methode ähnelt der Nutzwertanalyse und benutzt paarweise Vergleiche. Je nach Anwendungsfall kann der AHP als Substitut zur Nutzwertanalyse betrachtet werden. Gleichzeitig bietet der AHP aber auch die Möglichkeit, eine Gewichtung vorzunehmen, mit der dann eine Nutzwertanalyse durchgeführt wird. Der bedeutendste Unterschied zur Präferenzanalyse bei der Bewertung ist, dass nicht nur unterschieden wird, welches Kriterium oder Ziel besser bzw. wichtiger ist, sondern auch wie viel besser oder schlechter es ist. Für diese Bewertung wird eine Skala von 1–9 vorgeschlagen (Die Werte 2, 4, 6 und 8 dienen als Zwischenwerte).

Degree of importance (Wichtigkeit)	Definition
1	Equal importance
2	Weak
3	Moderate importance
4	Moderate plus
5	Strong importance
6	Strong plus
7	Very strong
8	Very very strong
9	Extreme importance

Der Einsatz des AHP könnte folgendermaßen ablaufen: Zuerst wird, wie bei der Nutzwertanalyse, eine Ziel- oder Kriterienhierachie erstellt. Dadurch wird ein großes Entscheidungsproblem in viele kleinere Entscheidungsprobleme zerlegt. Anschließend werden auf jeder Ebene der Entscheidungshierarchie paarweise Vergleiche durchgeführt. Die Ergebnisse werden in eine reziproke (inverse) Matrix eingetragen. Eine Matrix ist reziprok (Reziprozität), wenn:

a_{ij}={\frac {1}{a_{ji}}}

Einfach ausgedrückt bedeutet das, wenn Kriterium A doppelt so wichtig ist wie Kriterium B, dann muss Kriterium B halb (1/2) so wichtig sein wie Kriterium A. Untenstehende Tabelle zeigt beispielhaft, wie eine reziproke Matrix aussehen könnte.

	Kriterium A	Kriterium B	Kriterium C
Kriterium A	1	3	4
Kriterium B	1/3	1	1/5
Kriterium C	1/4	5	1

Aus dieser Matrix werden anschließend die Zielgewichte ermittelt, indem der Eigenvektor zum größten Eigenwert ermittelt wird. In der Praxis ist es jedoch selten, dass nach der Gewichtung perfekte reziproke Matrizen entstehen. Um die Konsistenz einer Matrix zu bewerten, hat Saaty einen Konsistenzindex definiert. Dieser misst wie konsistent eine Matrix, bzw. eine Entscheidung ist. Liegt der Konsistenzindex einer Matrix über 0,1, ist sie als konsistent anzusehen. Den Referenzwert von 0,1 errechnete Saaty aus dem Konsistenzindex für zufällig gefüllte Matrizen. Obwohl es Kritik an der Methode gibt, z. B. dass das Bewertungsschema ungenau ist oder bei der Berechnung des Konsistenzindex aufgrund der Berechnungsmethodik Inkonsistenzen auftreten können, die nichts mit der Konsistenz der Entscheidungen zu tun hat, ist die Methode in der Praxis verbreitet und akzeptiert.

Alternativendefinition

Im nächsten Schritt werden verschiedene Alternativen definiert, für die man sich entscheiden kann. Wichtig ist, dass ebenfalls die „Null-Alternative“ in die Bewertung mit einbezogen wird. Die Null-Alternative beschreibt den aktuellen Ist-Zustand. Diese wird benötigt, da es immer möglich ist, dass keine der neuen Alternativen einen höheren Nutzen aufweist, als der aktuelle Zustand. Ein Ausschluss der Null-Alternative in der Nutzwertanalyse sollte nur dann erfolgen, wenn der Ist-Zustand eines der vorher definierten Ausschlusskriterien erfüllt.

Bewerten der Alternativen

Nachdem den Kriterien Gewichte zugeordnet wurden und verschiedene Alternativen existieren, müssen jetzt die Kriterien der verschiedenen Alternativen bewertet werden. Um die multiattributive Bewertung einer Alternative als eindimensionalen Nutzwert darstellen zu können, müssen die Bewertungen der Kriterien auf einer Skala erfolgen. Die Art der Skala ist abhängig von dem zu bewertenden Kriterium. Man unterscheidet folgende Skalen:

Nominalskala
Ergebnisse, die auf einer Nominalskala dargestellt werden, können nur binär beurteilt werden. Das heißt man unterscheidet nur, ob ein Kriterium zutrifft oder nicht. Typischerweise werden Nominalskalen zur Klassifizierung benutzt, also um zum Beispiel eine Zusammenfassung nach Geschlecht oder Farbe vorzunehmen. Grundsätzlich ist das Benutzen einer Nominalskala für eine Nutzwertanalyse nicht möglich, da keine qualifizierenden Aussagen über Merkmalsausprägungen möglich sind. Allerdings können die Ausschlusskriterien auf einer Nominalskala dargestellt werden, um zu entscheiden ob ein solches „K.O.-Kriterium“ zutreffend ist.
Ordinalskala
Die Ordinalskala ermöglicht, es neben der Aussage, ob zwei Merkmalsausprägungen gleich oder ungleich sind, auch zu bestimmen, ob die Ausprägung größer oder kleiner ist als eine andere. Typischerweise ist eine Ordinalskala eine Rangliste. Die Rangplätze spiegeln allerdings nicht wider, wie groß die Differenz zwischen zwei Rängen ist. Hierzu kann man sich das Ergebnis eines Formel-1-Rennens vorstellen, bei dem man zwar weiß, wer Erster und wer Zweiter ist, aufgrund der Platzvergabe aber nicht hervorgeht wie viel schneller der erstplatzierte Fahrer gegenüber dem zweitplatzierten war. Aufgrund dieses Sachverhalts kann die Verwendung einer Ordinalskala in einer Nutzwertanalyse zu einer Verzerrung der Ergebnisse führen. Um diese Verzerrung so weit wie möglich zu reduzieren, können Bewertungs-schemata verwendet werden, die vorher festlegen, welche Ausprägung zu welchem Wert auf der Skala führt. Der Vorteil einer Ordinalskala ist die einfache Durchführung, vor allem wenn Zeitdruck die Anwendung einer anderen Messmethode unmöglich macht.
Kardinalskala
Daten, die auf einer Kardinalskala dargestellt werden, beruhen auf Messungen oder Zählungen. Eine andere Bezeichnung für die Kardinalskala ist „metrische Skala“. Die Werte auf der Skala können miteinander verglichen, subtrahiert und addiert werden, wodurch die Kardinalskala die ideale Skala für eine Nutzwertanalyse ist.

Die Kardinalskala kann zudem noch weiter in die Intervallskala, Verhältnisskala und Absolutskala aufgeteilt werden, worauf aber hier nicht näher eingegangen wird.

Sobald für alle Kriterien eine passende Skala gefunden wurde, können die Kriterien bewertet werden. Nach der Bewertung müssen alle Skalen miteinander vergleichbar gemacht werden. Dies geschieht entweder vorher, indem man z. B. immer Punkte von 0–10 vergibt, oder im Nachgang, z. B. mit Hilfe von Transformationsgleichungen. Die Gewichtung hängt von den Präferenzen der Entscheidungsträger ab. In der Praxis wird die Kriteriengewichtung oft direkt vergeben, also ohne einen paarweisen Vorabvergleich. Dies ist eine starke Vereinfachung und führt zu einem eher „pauschal geschätzten“ Ergebnis, im Gegensatz zu einer tatsächlichen Kriterienanalyse wie es die Methode vorschlägt.

Nutzwertberechnung

Der nächste logische Schritt in der Nutzwertanalyse ist es, aus den Gewichtungen und Bewertungen Teil- und Gesamtnutzwerte zu berechnen. Büssow bezeichnet diesen Schritt auch als Wertsynthese. Hierbei werden zuerst die Gewichte der Kriterien mit deren Bewertung multipliziert. Anschließend bildet man die Summe aus den so errechneten Teilnutzwerten um den Gesamtnutzwert einer Alternative zu erhalten. Nachfolgende Tabelle zeigt die beispielhafte Berechnung eines Gesamtnutzwertes.

Der Gesamtnutzwert der Alternative 1 berechnet sich folgendermaßen:

{\text{Gesamtnutzwert}}=0{,}7\cdot 80+0{,}3\cdot 70=77

Oder allgemein ausgedrückt (wobei $r$ die Anzahl der Auswahlkriterien und i die Anzahl der Alternativen ist):

{\text{Gesamtnutzwert}}(A_{i})=\sum _{r=1}^{n}{\text{Gewichtung}}_{r}\cdot {\text{Bewertung}}_{r}({\text{Kriterium}})

Wie man sieht, entspricht diese Darstellung der additiven multiattributiven Wertefunktion. Aufgrund der berechneten Gesamtnutzwerte lässt sich jetzt eine Entscheidung treffen, welche Alternative man wählen sollte. In diesem Fall wäre Alternative 1 Alternative 2 vorzuziehen, da 77 > 64 ist. Neben der Entscheidung für die Alternative mit dem höchsten Gesamtnutzwert („Additionsregel bei absoluter Skalenfixierung“), gibt es noch andere Methoden um eine Alternative auszuwählen, dazu zählen:

Die Simon-Regel

Hier werden alle Alternativen in zwei Klassen aufgeteilt. Eine Klasse enthält alle Alternativen, die mindestens einen bestimmten Nutzwert haben, die andere Klasse alle übrigen. Diese Methode bietet sich an um beispielsweise eine Vorauswahl von Alternativen zu treffen.

Die Majoritätsregel

Wendet man die Majoritätsregel an, ist Alternative A der Alternative B dann vorzuziehen, wenn Alternative A bei mindestens 50 % der Kriterien einen besseren Teilnutzwert aufweist als Alternative B.

Die Copelandregel

Bei der Anwendung der Copelandregel erhält jede Alternative einen Pluspunkt, wenn ein Teilnutzwert höher ist, als ein entsprechender Teilnutzwert der Alternativen. Ist er niedriger, erhält die Alternative einen Minuspunkt. Die Alternative mit der größten Anzahl von Punkten ist am Ende die Bessere. Problematisch bei dieser Methode ist, dass nur betrachtet wird, ob ein Kriterium besser ist als ein anderes – nicht wie viel besser.

Die Rangordnungssummenregel

Für jedes Kriterium werden Ränge von 1 bis x auf Basis der Teilnutzwerte vergeben. Anschließend werden für jede Alternative die Ränge addiert. Die Beste Alternative ist diejenige mit der niedrigsten Summe aus den Rängen.

Sensitivitätsanalyse

Nachdem die Nutzwertberechnung bzw. die Wertsynthese abgeschlossen wurde und ein Ergebnis vorliegt, stellt sich in der Praxis oft die Frage wie belastbar oder robust das gelieferte Ergebnis ist. Zur Klärung dieser Frage führt man eine Sensitivitätsanalyse durch.

Sensitivitätsanalysen messen die Auswirkung der Veränderung einer Eingangsgröße auf das Ergebnis

Beispiel einer einfachen Nutzwertanalyse

Typisch für die einfache Nutzwertanalyse ist eine freie Skalierung der Erfüllungsgrade und der Gewichtungsfaktoren zum Beispiel zwischen 0 und 9:

für „schlecht“ die Punkte 0–2,

für „mittel“ die Punkte 3–5 und

für „gut“ die Punkte 6–8 und

für „sehr gut“ den Punkt 9 zulässt.

Ein Beispiel mit beliebiger Gewichtung könnte wie folgt aussehen und Pro sowie Kontra zu jedem Satz zunächst schriftlich fixieren, um anschließend durch die Multiplikation mit der Gewichtung zum Ergebnis dieser Option zu kommen. Für jede weitere Option wird die gleiche Tabelle erstellt. Das höchste Ergebnis stellt am Ende die optimale Wahl dar:

Kriterium	Erfüllungsgrad Bewerber	Gewichtung	Ergebnis/Wertigkeit
Fachkenntnisse	5	×Gewichtungsfaktor 9	45
Berufserfahrung	7	×Gewichtungsfaktor 6	42
Bildungsbereitschaft	3	×Gewichtungsfaktor 8	24
Räumliche Mobilität	2	×Gewichtungsfaktor 7	14
Zeitliche Flexibilität	3	×Gewichtungsfaktor 5	15
Beziehungsnetzwerk	8	×Gewichtungsfaktor 9	72
Führungskompetenz	4	×Gewichtungsfaktor 4	16
Präsentationskenntnisse	4	×Gewichtungsfaktor 7	28
Zeugnisse	3	×Gewichtungsfaktor 4	12
Sympathie	7	×Gewichtungsfaktor 6	42

Der individuelle Nutzwert dieses Bewerbers für das Unternehmen beträgt in der Summe 310 Punkte. Im Vergleich mit den anderen Bewerbern kann so die Personalentscheidung sachlich vorbereitet werden.

Vergleichender Warentest

Die meisten Testorganisationen verwenden beim vergleichenden Warentest für die Beschreibung objektivierbarer subjektiver Kriterien, für die Bewertung und für die Zusammenfassung von Einzelkriterien mit Mittelwerten sowie für eine übersichtliche und schnell zu erfassende Darstellung Bewertungszahlen und Symbole auf einer fünffältigen Skala International hat sich ausgehend von einer ganzzahligen Bewertungszahl von eins bis fünf eine kontinuierliche Skala von 0,5 bis 5,5 etabliert, wobei eine höhere Bewertungszahl für eine bessere Bewertung steht.

Die folgende Tabelle zeigt einige Beispiele:

Ganzzahlige Bewertung	Gleitende Bewertung	ICRT		Stiftung Warentest
International				Deutschland
Bewertungszahl	Bewertungs- zahlenbereich	Symbol	Semantik	Symbol	Semantik	Urteilszahlen- bereich (Benotung)
5	4,50 – 5,50	+ +	very good	+ +	sehr gut	0,5 – 1,5
4	3,50 – 4,49	+	good	+	gut	1,6 – 2,5
3	2,50 – 3,49	O	sufficient	O	befriedigend	2,6 – 3,5
2	1,50 – 2,49	-	less sufficient	ϴ	ausreichend	3,6 – 4,5
1	0,50 – 1,49	- -	bad	-	mangelhaft	4,6 – 5,5

Hierarchische Ermittlung der Ziele

Eine etwas gröbere Methode arbeitet mit der Konkretisierung des Zielsystems in Form von Näherungswerten „besser als/schlechter als“ gefordert. Es muss hierbei streng hierarchisch vorgegangen werden, sonst ist es nicht berechenbar. Es können unterschiedliche Kriterien definiert werden, um einige Alternativen im Voraus auszuschließen.

„K.O.-Kriterien“ (Muss-Kriterien): Mindest/Höchstbedingung, deren Erfüllung zwingend gefordert wird
Soll-Kriterien, deren möglichst weitgehende Erfüllung wünschenswert ist

Sie legen Bewertungskriterien fest, die zur Beurteilung herangezogen werden sollen. Dabei geht es nur um die wichtigsten Kriterien, die schließlich zur Entscheidung führen sollen und nicht um alle die bekannt sind.

Kriterium	erfüllt ja/nein	Gewichtung	Ergebnis/Wertigkeit
		×n
		×n
		×n
		×n
		×n
		×n
		×n
		×n
		×n
		×n

In einer genaueren Aufschlüsselung werden zunächst in einem paarweisen Vergleich der Kriterien ermittelt, das heißt durch die Überlegung „Ist Kriterium A wichtiger als Kriterium B“?

Wenn ein Kriterium weniger wichtig ist, so bekommt es null Punkte
Wenn ein Kriterium gleichgewichtig mit einem anderen ist, erhält es einen Punkt
Wenn ein Kriterium wichtiger ist als das andere, erhält es die Punktzahl zwei.

Diese Gliederung ergibt ein genaueres Ergebnis als die simple Frage „erfüllt/nicht erfüllt“ und führt durch die Vorgewichtung zu einem mathematisch brauchbaren Ergebnis.

Die Alternative mit dem höchsten Nutzwert ist damit auf Rang 1 zu sehen, stellt also die beste Auswahl dar. Dabei ist jedoch immer zu beachten, dass die Nutzwertanalyse ein vergleichendes Ergebnis liefert, also keine absolute Aussage über den Nutzen liefern kann.

Bei einem sehr knappen Ausgang (z. B. im Preis) können weitere Kriterien hinzugezogen werden wie z. B. der Zeitpunkt der letzten Preiserhöhung oder der Beratungsservice.

Bei der Anzahl der Kriterien gilt erfahrungsgemäß die Regel „weniger ist mehr“; es ist sinnvoll, sich auf wenige prägnante Punkte zu konzentrieren. Einerseits erhöht sich der Arbeitsaufwand, je mehr Kriterien verglichen werden sollen, andererseits wird der Vergleich damit zunehmend schwieriger. Drei bis fünf Kriterien sind empfehlenswert, mehr als zehn sind in der Praxis nicht zu empfehlen.

Ferner sind die folgenden vier Punkte bei der Auswahl der Bewertungskriterien zu berücksichtigen:

Operationalität: Bewertungskriterien müssen genau beschrieben werden und messbar sein.
Hierarchiebezogenheit: Bewertungskriterien, die einer gemeinsamen Kategorie angehören, sind gemeinsam anzuordnen.
Unterschiedlichkeit: Verschiedene Bewertungskriterien müssen unterschiedliche Merkmale beschreiben.
Nutzensunabhängigkeit: Die Erfüllung eines Kriteriums darf nicht die Erfüllung eines anderen voraussetzen.

Fazit

Zusammenfassend sollte bei der Erstellung der Nutzwertanalyse folgendes beachtet werden, um die Entscheidungsauswahl und den Entscheidungsprozess transparent zu machen:

Die Ziele müssen relevant und richtig formuliert sein.
Die Skalierung der Bewertungen kann bei Ordinalskalen ungenau sein.
Bewertungen und Gewichtungen können sich in der Zukunft ändern.
Bewertungen und Gewichtungen können (stark) subjektiv beeinflusst sein.

Der Vorteil, den die Nutzwertanalyse bietet, liegt nicht nur in der besseren Transparenz und Nachvollziehbarkeit der Entscheidungsfindung begründet. Er liegt auch darin, dass die Kriterien und Argumente, welche letztendlich eine Entscheidung bestimmen, einer genauen Prüfung unterzogen werden. Dies führt oft zu neuen Erkenntnissen während des Entscheidungsprozesses.

Die Konzentration auf die wirklich entscheidenden Faktoren schafft Klarheit. Auf Grund der Zahlendarstellungen wird darüber hinaus eine Vergleichbarkeit hergestellt, die ohne diese Methode nicht gegeben ist. Auf diese Weise werden „Bauchentscheidungen“ deutlich reduziert.

Diese Form der Argumentation kann auch emotionale Faktoren wie zum Beispiel Wohlbefinden, Wetter am neuen Standort oder sogar sexuelle Anziehungskraft enthalten. Diese Nutzwertanalyse stellt das komplexeste deduktive Argument dar.

Vergleich Nutzwertanalyse und Analytic Hierarchy Process

Zur Berechnung der Nutzwertanalyse (NWA) genügen Stift und Papier. Deshalb wurde die NWA schon zu Zeiten eingesetzt, in denen es noch keine EDV gab. Die Methode des Analytic Hierarchy Process (AHP) basiert mathematisch dagegen auf einer Iteration von Matrizen-Multiplikationen (siehe Matrix). Diese benötigten Rechenkraft, die dem AHP in der Praxis erst ab 1990, mit Beginn des Computer-Zeitalters, erfolgreich zur Verfügung stand. Die NWA ist dagegen nur ein additives Näherungsverfahren und begnügt sich mit den Grundrechenarten.
Bei der NWA wird im Gegensatz zum AHP bereits das Ranking der Kriterien von vielen Anwendern nicht durch paarweisen Vergleich ermittelt (nicht „jedes Kriterium mit jedem anderen Kriterium“). Stattdessen tragen viele Anwender ihren prozentualen Schätzwert direkt in die Ranking-Tabelle der Kriterien manuell ein (siehe oben, Gewichtung der Ziele). Die „Methodik“ der NWA reduziert sich in diesen Fällen also im Wesentlichen darauf, dass die Summe aller Gewichtsfaktoren nicht mehr als 100 % ergeben darf.
Aber auch bei „korrekter“ Anwendung der NWA steht bei der paarweisen Bewertung der Kriterien für die Punktwerte lediglich eine sehr schmale Skala mit einer geringen Bandbreite von 0 bis 2 zur Verfügung, im Gegensatz zum AHP, der mit einer weit größere Bandbreite (1-2-3-4-5-6-7-8-9) wesentlich differenziertere Bewertungen zulässt. Bewertungen mit einer größeren Bandbreite wären bei der NWA allein schon bedingt durch die simple Mathematik (nur Grundrechenarten) auch gar nicht zu handhaben.
Das Ranking der Alternativen wird bei der NWA sogar grundsätzlich ohne paarweisen Vergleich ermittelt. Der Analytic Hierarchy Process dagegen „zwingt“ zum paarweisen Vergleich und Nachdenken auch bei den Alternativen.
Im Gegensatz zum AHP kann die NWA nicht die Konsistenz einer Entscheidung aus den subjektiven Bewertungen überprüfen. Bedingt durch die simple Mathematik gibt es in der Praxis relativ viele mathematische Abweichungen der NWA, die von den Anwendern je nach persönlichen Geschmack oder konkreter Fragestellung abgewandelt wurden.
Die NWA verlangt zwingend die Umrechnung bei den harten Kriterien (z. B. Euro, km, kg) innerhalb einer zusätzlichen Hilfstabelle für die Erstellung der „Zielerfüllungsfaktoren“ (siehe Vergabe von Punkten für die Varianten). Beim AHP kann man die Bewertungen direkt ohne diesen Umweg eingeben.

Einzelnachweise

↑ G. Westermann, S. Finger: Kosten-Nutzen-Analyse. Einführung und Fallstudien. (= ESV basics). E. Schmidt, Berlin 2012.
↑ Christof Zangemeister: Nutzwertanalyse in der Systemtechnik – Eine Methodik zur multidimensionalen Bewertung und Auswahl von Projektalternativen. Dissertation. Techn. Univ. Berlin, 1970. 4. Auflage. Wittemann, München 1976, ISBN 3-923264-00-3.
↑ H. Nollau: Geschäftsprozessoptimierung im Mittelstand. (= economy and labour. Bd. 5). 1. Auflage. Eul Verlag, Lohmar 2004.
↑ F. Eisenführ, T. Langer, M. Weber: Rationales Entscheiden. (= Springer-Lehrbuch). 5., überarb. u. erw. Auflage. Springer, Berlin 2010.
↑ A. D. Hall: A Methodology for Systems Engineering. Princeton, New York 1962.
1 2 Markus Bautsch: Gebrauchstauglichkeit und Gebrauchswert. In: Tilo Pfeifer, Robert Schmitt (Hrsg.): Masing Handbuch Qualitätsmanagement. 6., überarbeitete Auflage. Carl Hanser Fachbuchverlag, München/ Wien 2014, ISBN 978-3-446-43431-8, Kapitel 35.
↑ N. Zardari: Weighting methods and their effects on multi-criteria decision making model outcomes in water resources management. (= SpringerBriefs in Water Science and Technology). 2015, ISBN 978-3-319-12585-5.
↑ N. Zardari: Weighting methods and their effects on multi-criteria decision making model outcomes in water resources management. (= SpringerBriefs in Water Science and Technology). 2015.
↑ R. Fiedler: Controlling von Projekten. Projektplanung, Projektsteuerung und Projektkontrolle. [mit Online-Service zum Buch]. 2., verb. und erw. Auflage. Vieweg, Wiesbaden 2003.
↑ A. Ishizaka, P. Nemery: Multi-criteria decision analysis. Methods and software. 2013.
1 2 T. Saaty, L. Vargas: Models, Methods, Concepts & Applications of the Analytic Hierarchy Process. (= International Series in Operations Research & Management Science. 175). 2. Auflage. Springer US, Boston, MA 2012. doi:10.1007/978-1-4614-3597-6.
↑ K. Nagel: Nutzen der Informationsverarbeitung. Methoden zur Bewertung von strategischen Wettbewerbsvorteilen Produktivitätsverbesserungen und Kosten-einsparungen. 2., überarb. und erw. Auflage. Oldenbourg, München 1990.
↑ W. Hoffmeister: Investitionsrechnung und Nutzwertanalyse. Eine entscheidungsorientierte Darstellung mit vielen Beispielen und Übungen. Kohlhammer, Stuttgart/ Berlin/ Köln 2000.
↑ Horst Dürr: Das Gesamturteil beim vergleichenden Warentest - Struktur und Genauigkeit. Kapitel 2: Beurteilungsskalen.
↑ IOCU Testing Committee: Guide to the principles of comparative testing. 1985, Kapitel III.5: Ranking scales
↑ Hans-Dieter Lösenbeck: Stiftung Warentest. Ein Rückblick. Kapitel 6: Die methodischen Grundlagen im Wandel. Berlin 2003, ISBN 3-931908-76-3, S. 103.
↑ siehe auch externes Beispiel

Literatur

Christof Zangemeister: Nutzwertanalyse in der Systemtechnik – Eine Methodik zur multidimensionalen Bewertung und Auswahl von Projektalternativen. Dissertation. Techn. Univ. Berlin, 1970, 4. Auflage. Wittemann, München 1976, ISBN 3-923264-00-3.
R. L. Keeney, H. Raiffa: Decisions with Multiple Objectives; Preferences and Value Tradeoffs. John Wiley & Sons, 1976, ISBN 0-471-46510-0.
Arnim Bechmann: Nutzwertanalyse, Bewertungstheorie und Planung. 1. Auflage. Haupt, 1978, ISBN 3-258-02694-7.
G. Bamberg, A. Gerhard Coenenberg, M. Krapp: Betriebswirtschaftliche Entscheidungslehre. (= Vahlens Kurzlehrbücher). 15. Auflage. Vahlen, München 2012.
N. Bhushan, K. Rai: Strategic decision making. Applying the analytic hierarchy process. (= Decision Engineering). Springer, London/ New York 2004.
C. Büssow, H. Baumgarten: Prozessbewertung in der Logistik. Kennzahlenbasierte Analysemethodik zur Steigerung der Logistikkompetenz. (= Gabler Edition Wissenschaft Logistik-Management). 1. Auflage. Dt. Univ.-Verlag, Wiesbaden 2004.
F. Eisenführ, T. Langer, M. Weber: Rationales Entscheiden. (= Springer-Lehrbuch). 5., überarb. u. erw. Auflage. Springer, Berlin u. a 2010.
R. Grünig, R. Kühn: Entscheidungsverfahren für komplexe Probleme. Ein heuristischer Ansatz. 4. Auflage. Springer, Berlin/ Heidelberg 2013, ISBN 978-3-642-31459-9.
P. Guarnieri: Decision Models in Engineering and Management. (= Decision Engineering). Auflage. Springer International Publishing, Cham 2015.
W. Hoffmeister: Investitionsrechnung und Nutzwertanalyse. Eine entscheidungsorientierte Darstellung mit vielen Beispielen und Übungen. Kohlhammer, Stuttgart/ Berlin/ Köln 2000.
A. Ishizaka, P. Nemery: Multi-criteria decision analysis. Methods and software. 2013.
K. Nagel: Nutzen der Informationsverarbeitung. Methoden zur Bewertung von strategischen Wettbewerbsvorteilen Produktivitätsverbesserungen und Kosteneinsparungen. 2., überarb. und erw. Auflage. Oldenbourg, München 1990.
H. Rommelfanger, S. Eickemeier: Entscheidungstheorie. Klassische Konzepte und Fuzzy-Erweiterungen; mit 109 Tabellen. (= Springer-Lehrbuch). Springer, Berlin/ Heidelberg u. a 2002.
G. Westermann, S. Finger: Kosten-Nutzen-Analyse. Einführung und Fallstudien. (= ESV basics). E. Schmidt, Berlin 2012.
N. Zardari: Weighting methods and their effects on multi-criteria decision making model outcomes in water resources management (SpringerBriefs in Water Science and Technology). 2015.

Weblinks

Enzyklopaedie der Wirtschaftsinformatik; Frank Bensberg: Nutzwertanalyse

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] G. Westermann, S. Finger: Kosten-Nutzen-Analyse. Einführung und Fallstudien. (= ESV basics). E. Schmidt, Berlin 2012.

[Zangemeister-2] Christof Zangemeister: Nutzwertanalyse in der Systemtechnik – Eine Methodik zur multidimensionalen Bewertung und Auswahl von Projektalternativen. Dissertation. Techn. Univ. Berlin, 1970. 4. Auflage. Wittemann, München 1976, ISBN 3-923264-00-3.

[3] H. Nollau: Geschäftsprozessoptimierung im Mittelstand. (= economy and labour. Bd. 5). 1. Auflage. Eul Verlag, Lohmar 2004.

[4] F. Eisenführ, T. Langer, M. Weber: Rationales Entscheiden. (= Springer-Lehrbuch). 5., überarb. u. erw. Auflage. Springer, Berlin 2010.

[5] A. D. Hall: A Methodology for Systems Engineering. Princeton, New York 1962.

[masing-6] 1 2 Markus Bautsch: Gebrauchstauglichkeit und Gebrauchswert. In: Tilo Pfeifer, Robert Schmitt (Hrsg.): Masing Handbuch Qualitätsmanagement. 6., überarbeitete Auflage. Carl Hanser Fachbuchverlag, München/ Wien 2014, ISBN 978-3-446-43431-8, Kapitel 35.

[7] N. Zardari: Weighting methods and their effects on multi-criteria decision making model outcomes in water resources management. (= SpringerBriefs in Water Science and Technology). 2015, ISBN 978-3-319-12585-5.

[8] N. Zardari: Weighting methods and their effects on multi-criteria decision making model outcomes in water resources management. (= SpringerBriefs in Water Science and Technology). 2015.

[9] R. Fiedler: Controlling von Projekten. Projektplanung, Projektsteuerung und Projektkontrolle. [mit Online-Service zum Buch]. 2., verb. und erw. Auflage. Vieweg, Wiesbaden 2003.

[10] A. Ishizaka, P. Nemery: Multi-criteria decision analysis. Methods and software. 2013.

[Saaty-11] 1 2 T. Saaty, L. Vargas: Models, Methods, Concepts & Applications of the Analytic Hierarchy Process. (= International Series in Operations Research & Management Science. 175). 2. Auflage. Springer US, Boston, MA 2012. doi:10.1007/978-1-4614-3597-6.

[12] K. Nagel: Nutzen der Informationsverarbeitung. Methoden zur Bewertung von strategischen Wettbewerbsvorteilen Produktivitätsverbesserungen und Kosten-einsparungen. 2., überarb. und erw. Auflage. Oldenbourg, München 1990.

[13] W. Hoffmeister: Investitionsrechnung und Nutzwertanalyse. Eine entscheidungsorientierte Darstellung mit vielen Beispielen und Übungen. Kohlhammer, Stuttgart/ Berlin/ Köln 2000.

[14] Horst Dürr: Das Gesamturteil beim vergleichenden Warentest - Struktur und Genauigkeit. Kapitel 2: Beurteilungsskalen.

[guide-15] IOCU Testing Committee: Guide to the principles of comparative testing. 1985, Kapitel III.5: Ranking scales

[Stiftung_Warentest-16] Hans-Dieter Lösenbeck: Stiftung Warentest. Ein Rückblick. Kapitel 6: Die methodischen Grundlagen im Wandel. Berlin 2003, ISBN 3-931908-76-3, S. 103.

[17] siehe auch externes Beispiel