Zum Inhalt springen
Audio
F 35: Die Methodik der Entscheidungsfindung ist umstritten
Aus HeuteMorgen vom 17.08.2021. Bild: Keystone/sda
abspielen. Laufzeit 2 Minuten 27 Sekunden.

Kampfjet-Beschaffung Juristisch «heikle» Bewertungsmethode beim Kampfjet-Kauf

Die Beschaffungsbehörde Armasuisse hat bei der Kampfjet-Evaluation erstmals eine neue Methode eingesetzt, die im Schweizer Beschaffungswesen unbekannt ist. Spezialisten warnen vor einem Verzerreffekt.

Der F-35 sei der Kampfjet mit dem höchsten Gesamtnutzen und den tiefsten Kosten, erklärte Verteidigungsministerin Viola Amherd Ende Juni vor den Medien. Darum falle die Wahl auf das amerikanische Modell. Die Evaluation habe ergeben, dass der Abstand zum Zweitplatzierten gross sei. Es gebe keinen Spielraum für aussen- oder sicherheitspolitische Überlegungen, betonte die Vorsteherin des VBS. Der Bundesrat müsse sich ans Vergaberecht halten.

Video
«F-35 geht als klarer Sieger hervor»
Aus SRF News vom 30.06.2021.
abspielen. Laufzeit 1 Minute 11 Sekunden.

Viele waren überrascht über die Aussage, dass die technische Auswertung ergeben habe, dass der Abstand zwischen dem F-35 und dem unbekannten Zweitplatzierten so gross sei.

Neue Bewertungsmethode

Eine Erklärung könnte möglicherweise in der Wahl der Bewertungsmethodik liegen. Denn die Beschaffungsbehörde Armasuisse hat eine Methodik eingesetzt, die sie bislang noch nie eingesetzt hatte. Und die im Schweizer Beschaffungswesen weitgehend unbekannt ist.

Die Methode heisst AHP: «Analytic Hierarchy Process» oder hierarchische Prozessanalyse. Klingt kompliziert – und das ist sie auch. AHP ist ein komplexes mathematisches Verfahren, das nicht – wie bei traditionellen Bewertungsmethoden – mit einem Notensystem arbeitet. Sondern mit Vergleichen zwischen den einzelnen Angeboten.

Was ist AHP?

Box aufklappen Box zuklappen

Die Methodik wurde Ende der Siebzigerjahre vom amerikanischen Mathematiker Thomas Saaty entwickelt. Sie stammt aus der sogenannten Operations Research.

Zentral bei der Methodik ist die paarweise Bewertung der Kriterien und der Alternativen, der Angebote. Dabei nutzt sie nicht eine Notenskala wie in der Schule, sondern vergleicht immer zwei Angebote miteinander. Sind sie gleich, erhalten beide einen Punkt. Ist ein Angebot leicht besser, erhält es zwei oder gar drei Punkte. Das ist eine Verdoppelung oder Verdreifachung der Punktzahl.

SRF News hat versucht, unabhängige AHP-Expertinnen und -Experten in der Schweiz zu finden. An der ETH Zürich, an Fachhochschulen und Universitäten gibt es Fachleute für Operations Research. Aber niemand sah sich in der Lage, zu AHP Auskunft zu geben.

Für den Mathematiker, Wirtschaftsjuristen und Beschaffungsexperten Thomas Ferber ist AHP dann eine sinnvolle Methodik, wenn nicht messbare, subjektive Dinge bewertet werden wie zum Beispiel Ästhetik, Geschmack, Ideen oder Konzepte.

Bei der Bewertung von komplexen technischen Systemen in einem öffentlichen Vergabeverfahren sei AHP ungeeignet, sagt Thomas Ferber. Die Punkteskala von eins bis neun lasse zu wenig Differenzierung und Genauigkeit zu. Es gebe einen zu grossen Informationsverlust, der zu Bewertungsverzerrungen führen könne.

Die Hauptkritik an der AHP-Methode ist die sogenannte Rangfolgeveränderung («Rank Reversal»). Dieses Phänomen kann auftreten, wenn zusätzliche Angebote in die Bewertung aufgenommen werden oder sich ein Anbieter zurückzieht. So könnten sich zum Beispiel die Erst- und Zweitplatzierten ihre Ränge vertauschen, ohne dass sich ihre Angebote qualitativ verändert haben.

Was heisst das konkret? Die vier verschiedenen Jets wurden in Paaren verglichen. Sie traten wie bei einem Fussballturnier gegeneinander an, jeder gegen jeden. Jeder hatte drei Gegner. In jeder Partie konnte man Punkte gewinnen. Spielte man unentschieden, dann erhielten beide Mannschaften je einen Punkt. War eine Mannschaft leicht besser (schoss zum Beispiel ein Tor mehr), erhielt diese Mannschaft zwei oder drei Punkte. Das ist Verdoppelung oder Verdreifachung der Punkte gegenüber dem Gegner, der nur einen Punkt erhält. Bis zu neun Punkte pro Spiel können so erzielt werden, wenn eine Mannschaft extrem viel besser ist als die gegnerische.

Traditionelle Methoden funktionieren ähnlich wie Schulnotenskala

Die meisten öffentlichen Beschaffungsverfahren nutzen eine traditionelle Nutzwertanalyse. Sie funktioniert nach dem Prinzip Schulnote. Die Beschaffungsbehörde entwickelt pro Zahlungskriterium, das sie bewertet, vorgängig eine Notenskala; bestimmt, welche Kriterien erfüllt werden müssen, um eine bestimmte Note zu erhalten. Ein gutes Angebot erhält eine Fünf. Was sehr gut ist, erhält eine Sechs, was genügend ist eine Vier – und dann gibt es Abstufungen dazwischen. Die Notenskalen können variieren. Sie werden im Vorfeld festgelegt und sind den Anbietern in der Regel bekannt.

Mit AHP werden hingegen die Unterschiede bewertet, unabhängig davon, ob ein Angebot gut, sehr gut oder genügend ist. Sind zwei Angebote gleichwertig, gibt es gleich wenig Punkte, nämlich einen Punkt. Ist eines besser, gibt es mehr Punkte, je nach Qualitätsunterschied.

Methode vergleichbar mit Kontrastregler bei Photoshop

Der deutsche Mathematiker, Wirtschaftsjurist und Beschaffungsexperte Thomas Ferber gehört wahrscheinlich zu den wenigen deutschsprachigen Kennern dieser Methodik. Er erklärt, die Wirkung von AHP sei vergleichbar mit dem Kontrastregler im Bildbearbeitungsprogramm Photoshop. Bei einem Schwarz-Weiss-Bild mit vielen Graustufen werde der Kontrast erhöht, bis fast nur noch Schwarz und Weiss zu sehen seien. «Es ist eine höhere Trennschärfe da», sagt Ferber.

Dieser Kontrasteffekt entsteht, weil es für einen relativ kleinen Qualitätsunterschied doppelt oder dreimal so viele Punkte gibt. In einem Schulnotensystem würde ein minimaler Unterschied vielleicht mit einem halben Notenunterschied bewertet werden.

Die Armasuisse-Vertreter bestätigen diesen Kontrasteffekt. Sie betonen, dass sie eine Zusatzformel in die Berechnung eingebaut haben, eine sogenannte «Transferfunktion». Diese mathematische Formel senke die Punkteverteilung, sodass kein Kontrasteffekt entstehe. Nur bei eins und neun komme die volle Punktzahl zum Tragen. Das Problem: ein bereits mathematisch kompliziertes System wird so noch komplizierter und undurchschaubarer gemacht.

Vor- und Nachteile des AHP-Verfahrens

Thomas Ferber beschreibt die Nachteile der AHP-Methodik mit einem Vergleich aus dem Bogenschiessen. «Bei einem fairen Wettbewerb weiss jeder Anbieter, wo der Zielkreis ist.» Das heisst, jeder weiss, wie die Notenskala aussieht. Bei AHP könne kein Anbieter richtig abschätzen, wo der Zielkreis liege, weil der Standort abhängig sei von den anderen Angeboten, sagt Ferber.

Bei AHP kann kein Anbieter richtig abschätzen, wo der Zielkreis liegt, weil der Standort abhängig von den anderen Angeboten ist.
Autor: Thomas Ferber Beschaffungsexperte und Mathematiker

Armasuisse hingegen sieht bei AHP viele Vorteile. Darko Savic ist Projektleiter «Neues Kampfflugzeug» bei Armasuisse. Er sagt, mit der Punkteverteilung nach AHP könne einfacher vermittelt werden, wieso ein Kandidat besser abgeschnitten habe als ein anderer. Und die Methode gebe eine Systematik beim Vergleich der Kandidaten vor.

Mit der Punkteverteilung nach AHP kann einfacher vermittelt werden, wieso ein Kandidat besser abgeschnitten hat als ein anderer.
Autor: Darko Savic Projektleiter «neues Kampfflugzeug» bei Armasuisse

SRF News hat sich bei verschiedenen Expertinnen und Experten im Beschaffungswesen umgehört. Niemand kennt AHP. Wahrscheinlich ist sie in einem öffentlichen Beschaffungsprojekt in der Schweiz auch noch nie eingesetzt worden.

Juristen sind skeptisch

Befragte Juristinnen und Juristen, spezialisiert auf Vergaberecht, zeigen sich skeptisch gegenüber der Methodik. Aus zwei Gründen: Das Vergaberecht gibt verschiedene Grundsätze vor, wie die Stärkung des Wettbewerbs, Wirtschaftlichkeit, Transparenz und den Gleichbehandlungsgrundsatz. Gerade der Grundsatz der Gleichbehandlung und die Transparenz könnten durch den Einsatz der AHP-Methodik möglicherweise verletzt sein, sagt Beschaffungsspezialistin Claudia Schneider Heusi, Anwältin in Zürich mit Spezialgebiet Vergaberecht.

Wenn ein Angebot sehr gut ist, dann muss es auch eine sehr gute Note erhalten.
Autor: Claudia Schneider Heusi Anwältin in Zürich mit Spezialgebiet Vergaberecht

Sie argumentiert mit dem fehlenden Notensystem: «Wenn ein Angebot sehr gut ist, dann muss es auch eine sehr gute Note erhalten», sagt sie – und nicht in Abhängigkeit davon, ob es noch weitere sehr gute Angebote gebe oder nicht. Und wenn zwei sehr gute Angebote nahe beieinanderlägen, dann könnte eine kleine Differenz ein grosses Gewicht erhalten.

«Das kann heikel sein und ein Bild auch verzerren», sagt Rechtsanwältin Claudia Schneider Heusi. Betreffend dem Transparenz-Grundsatz weist sie darauf hin, dass Anbieter im Vorfeld wissen müssten, welche Zuschlagskriterien mit welcher Gewichtung verwendet würden und mit welcher Notenskala ihre Angebote bewertet würden.

Wenn nur die Differenz bewertet werde, könne das zu einer Veränderung der Gewichtung der Zuschlagskriterien führen, sagt Schneider Heusi. Und ein grosses Fragezeichen bestehe auch darin, ob die Vergabestelle überhaupt begründen könne, wie die Bewertung zustande gekommen sei.

Armasuisse: Grundsätze eingehalten

Armasuisse betont, beide Grundsätze seien eingehalten worden. Das bestätigten die hausinternen Juristen und auch eine externe Plausibilitätsüberprüfung durch die Anwaltskanzlei Homburger. Darko Savic von Armasuisse betont, das Vergaberecht mache keine Vorgaben an die Bewertungsmethode. Und der Grundsatz der Gleichbehandlung sei erfüllt: «Ein Kandidat, der besser ist, erhält mehr Punkte. Wenn Kandidaten ähnlich sind, erhalten sie ähnliche viele Punkte.»

Der Einsatz der Methode ist juristisch ‹heikel›.
Autor: Claudia Schneider Heusi Anwältin in Zürich mit Spezialgebiet Vergaberecht

Anwältin Claudia Schneider Heusi bleibt skeptisch. Der Einsatz der Methode sei juristisch «heikel», sagt sie. Und auf die Frage, was es bedeute, wenn eine Anwältin «heikel» sage, antwortet sie: «Ein Gericht könnte zum Schluss kommen, die Vergabestelle sei im konkreten Fall mit der Wahl dieser Methode nicht korrekt vorgegangen.» Und dann würde das Gericht den Vergabeentscheid aufheben. Schneider Heusi würde deswegen auch von der Methode abraten.

Alternativen zur AHP-Methodik

Box aufklappen Box zuklappen


Es hätte auch Alternativen zur AHP-Methodik gegeben, betonen sowohl Mathematiker Thomas Ferber wie Rechtsanwältin Claudia Schneider Heusi. Mit einer konventionellen Nutzwertanalyse könnten auch komplexe Systeme evaluiert und bewertet werden, sind beide der Überzeugung. Thomer Ferber betont, eine herkömmliche Nutzwertanalyse sei fairer, weil sie genauer und differenzierter messe und bewerte. Anwältin Claudia Schneider Heusi verweist auf ihre Erfahrung als juristische Beraterin. Komplexe Projekte wie IT-Entwicklungen seien erfolgreich mit traditionellen Nutzwertanalysen durchgeführt worden.

Armasuisse begründet den Einsatz der AHP-Methode mit einer parlamentarischen Kritik bei der Gripen-Beschaffung. Da habe die zuständige Subkommission des Parlaments die unterschiedlichen Notenskalen zwischen Luftwaffe und Armasuisse kritisiert. Die Lehre daraus war wohl, ganz auf Notenskalen zu verzichten – was jetzt die juristischen Fragen aufwirft.

Im Fall der Kampfjet-Beschaffung kann kein unterlegener Anbieter an ein Gericht gelangen und sich über die Methodik beschweren. Rechtsmittel sind in diesem konkreten Fall ausgeschlossen.

Was heisst das jetzt für das Ergebnis der Kampfjet-Beschaffung? Wäre mit einer herkömmlichen Methode ein anderer Gewinner herausgekommen? Wahrscheinlich nicht.

So wurden die Kampfjets mit AHP evaluiert

Box aufklappen Box zuklappen


Das Bewertungsmodell der Armasuisse besteht aus drei Ebenen:

Auf der höchsten Ebene sind die generellen gewichteten Kriterien, die der Bundesrat beschlossen hat. Zu 55 Prozent zählt die Wirksamkeit, zu 25 Prozent der Produktesupport, zu 10 Prozent die Kooperation und zu 10 Prozent die direkten Offset-Geschäfte für die Schweizer Wirtschaft.


Auf der zweiten Ebene wurden Unterkriterien geschaffen, die sich an den Anforderungen des Armeestabes orientierten. Wie viele und welche Kriterien das sind, ist unbekannt. Diese Information unterliegt der Geheimhaltung. Das könnten Kriterien sein wie Luftpolizeidienst, Vernetzung, Überlebensfähigkeit oder Erdkampf. Diese Kriterien wurden innerhalb der jeweiligen Oberkriterien mit Hilfe der AHP-Methodik durch die Fachleute der Armasuisse und Armee gewichtet.


Auf der dritten Stufe sind die Unter-Unterkriterien oder die so genannten Bewertungspunkte zu finden. Davon gibt es 79. Sie sind inhaltlich und proportional den Unterkriterien zugeordnet. Ein gewichtigeres Unterkriterium bekommt mehr Bewertungspunkte. In jedem Bewertungspunkte werden ca. 12.5 Punkte verteilt. Diese Punkte wurden mit Hilfe der AHP-Methode auf die vier Anbieter verteilt.

Hingegen könnte es durchaus sein, dass die Abstände zwischen den Kampffliegern kleiner wären. Das sind aber hypothetische Annahmen – es gab keine Zweitauswertung mit einer herkömmlichen Bewertungsmethodik.

Anstelle eines Gerichts wird aber die Politik urteilen. Das Parlament wird Anfang nächsten Jahres die Armeebotschaft diskutieren. Und es wird sich da die Frage stellen, ob die AHP-Methode, die juristische Fragen aufwirft und schwer durchschaubar ist, das richtige Werkzeug war, um die Kampfjets zu evaluieren.

HeuteMorgen, 16.08.2021, 08:00 Uhr

Jederzeit top informiert!
Erhalten Sie alle News-Highlights direkt per Browser-Push und bleiben Sie immer auf dem Laufenden.
Schliessen

Jederzeit top informiert!

Erhalten Sie alle News-Highlights direkt per Browser-Push und bleiben Sie immer auf dem Laufenden. Mehr

Push-Benachrichtigungen sind kurze Hinweise auf Ihrem Bildschirm mit den wichtigsten Nachrichten - unabhängig davon, ob srf.ch gerade geöffnet ist oder nicht. Klicken Sie auf einen der Hinweise, so gelangen Sie zum entsprechenden Artikel. Sie können diese Mitteilungen jederzeit wieder deaktivieren. Weniger

Sie haben diesen Hinweis zur Aktivierung von Browser-Push-Mitteilungen bereits mehrfach ausgeblendet. Wollen Sie diesen Hinweis permanent ausblenden oder in einigen Wochen nochmals daran erinnert werden?

Meistgelesene Artikel