Der F-35 sei der Kampfjet mit dem höchsten Gesamtnutzen und den tiefsten Kosten, erklärte Verteidigungsministerin Viola Amherd Ende Juni vor den Medien. Darum falle die Wahl auf das amerikanische Modell. Die Evaluation habe ergeben, dass der Abstand zum Zweitplatzierten gross sei. Es gebe keinen Spielraum für aussen- oder sicherheitspolitische Überlegungen, betonte die Vorsteherin des VBS. Der Bundesrat müsse sich ans Vergaberecht halten.
Viele waren überrascht über die Aussage, dass die technische Auswertung ergeben habe, dass der Abstand zwischen dem F-35 und dem unbekannten Zweitplatzierten so gross sei.
Neue Bewertungsmethode
Eine Erklärung könnte möglicherweise in der Wahl der Bewertungsmethodik liegen. Denn die Beschaffungsbehörde Armasuisse hat eine Methodik eingesetzt, die sie bislang noch nie eingesetzt hatte. Und die im Schweizer Beschaffungswesen weitgehend unbekannt ist.
Die Methode heisst AHP: «Analytic Hierarchy Process» oder hierarchische Prozessanalyse. Klingt kompliziert – und das ist sie auch. AHP ist ein komplexes mathematisches Verfahren, das nicht – wie bei traditionellen Bewertungsmethoden – mit einem Notensystem arbeitet. Sondern mit Vergleichen zwischen den einzelnen Angeboten.
Was heisst das konkret? Die vier verschiedenen Jets wurden in Paaren verglichen. Sie traten wie bei einem Fussballturnier gegeneinander an, jeder gegen jeden. Jeder hatte drei Gegner. In jeder Partie konnte man Punkte gewinnen. Spielte man unentschieden, dann erhielten beide Mannschaften je einen Punkt. War eine Mannschaft leicht besser (schoss zum Beispiel ein Tor mehr), erhielt diese Mannschaft zwei oder drei Punkte. Das ist Verdoppelung oder Verdreifachung der Punkte gegenüber dem Gegner, der nur einen Punkt erhält. Bis zu neun Punkte pro Spiel können so erzielt werden, wenn eine Mannschaft extrem viel besser ist als die gegnerische.
Traditionelle Methoden funktionieren ähnlich wie Schulnotenskala
Die meisten öffentlichen Beschaffungsverfahren nutzen eine traditionelle Nutzwertanalyse. Sie funktioniert nach dem Prinzip Schulnote. Die Beschaffungsbehörde entwickelt pro Zahlungskriterium, das sie bewertet, vorgängig eine Notenskala; bestimmt, welche Kriterien erfüllt werden müssen, um eine bestimmte Note zu erhalten. Ein gutes Angebot erhält eine Fünf. Was sehr gut ist, erhält eine Sechs, was genügend ist eine Vier – und dann gibt es Abstufungen dazwischen. Die Notenskalen können variieren. Sie werden im Vorfeld festgelegt und sind den Anbietern in der Regel bekannt.
Mit AHP werden hingegen die Unterschiede bewertet, unabhängig davon, ob ein Angebot gut, sehr gut oder genügend ist. Sind zwei Angebote gleichwertig, gibt es gleich wenig Punkte, nämlich einen Punkt. Ist eines besser, gibt es mehr Punkte, je nach Qualitätsunterschied.
Methode vergleichbar mit Kontrastregler bei Photoshop
Der deutsche Mathematiker, Wirtschaftsjurist und Beschaffungsexperte Thomas Ferber gehört wahrscheinlich zu den wenigen deutschsprachigen Kennern dieser Methodik. Er erklärt, die Wirkung von AHP sei vergleichbar mit dem Kontrastregler im Bildbearbeitungsprogramm Photoshop. Bei einem Schwarz-Weiss-Bild mit vielen Graustufen werde der Kontrast erhöht, bis fast nur noch Schwarz und Weiss zu sehen seien. «Es ist eine höhere Trennschärfe da», sagt Ferber.
Dieser Kontrasteffekt entsteht, weil es für einen relativ kleinen Qualitätsunterschied doppelt oder dreimal so viele Punkte gibt. In einem Schulnotensystem würde ein minimaler Unterschied vielleicht mit einem halben Notenunterschied bewertet werden.
-
Bild 1 von 2Legende: Keystone -
Bild 2 von 2Legende: Keystone
Die Armasuisse-Vertreter bestätigen diesen Kontrasteffekt. Sie betonen, dass sie eine Zusatzformel in die Berechnung eingebaut haben, eine sogenannte «Transferfunktion». Diese mathematische Formel senke die Punkteverteilung, sodass kein Kontrasteffekt entstehe. Nur bei eins und neun komme die volle Punktzahl zum Tragen. Das Problem: ein bereits mathematisch kompliziertes System wird so noch komplizierter und undurchschaubarer gemacht.
Vor- und Nachteile des AHP-Verfahrens
Thomas Ferber beschreibt die Nachteile der AHP-Methodik mit einem Vergleich aus dem Bogenschiessen. «Bei einem fairen Wettbewerb weiss jeder Anbieter, wo der Zielkreis ist.» Das heisst, jeder weiss, wie die Notenskala aussieht. Bei AHP könne kein Anbieter richtig abschätzen, wo der Zielkreis liege, weil der Standort abhängig sei von den anderen Angeboten, sagt Ferber.
Bei AHP kann kein Anbieter richtig abschätzen, wo der Zielkreis liegt, weil der Standort abhängig von den anderen Angeboten ist.
Armasuisse hingegen sieht bei AHP viele Vorteile. Darko Savic ist Projektleiter «Neues Kampfflugzeug» bei Armasuisse. Er sagt, mit der Punkteverteilung nach AHP könne einfacher vermittelt werden, wieso ein Kandidat besser abgeschnitten habe als ein anderer. Und die Methode gebe eine Systematik beim Vergleich der Kandidaten vor.
Mit der Punkteverteilung nach AHP kann einfacher vermittelt werden, wieso ein Kandidat besser abgeschnitten hat als ein anderer.
SRF News hat sich bei verschiedenen Expertinnen und Experten im Beschaffungswesen umgehört. Niemand kennt AHP. Wahrscheinlich ist sie in einem öffentlichen Beschaffungsprojekt in der Schweiz auch noch nie eingesetzt worden.
Juristen sind skeptisch
Befragte Juristinnen und Juristen, spezialisiert auf Vergaberecht, zeigen sich skeptisch gegenüber der Methodik. Aus zwei Gründen: Das Vergaberecht gibt verschiedene Grundsätze vor, wie die Stärkung des Wettbewerbs, Wirtschaftlichkeit, Transparenz und den Gleichbehandlungsgrundsatz. Gerade der Grundsatz der Gleichbehandlung und die Transparenz könnten durch den Einsatz der AHP-Methodik möglicherweise verletzt sein, sagt Beschaffungsspezialistin Claudia Schneider Heusi, Anwältin in Zürich mit Spezialgebiet Vergaberecht.
Wenn ein Angebot sehr gut ist, dann muss es auch eine sehr gute Note erhalten.
Sie argumentiert mit dem fehlenden Notensystem: «Wenn ein Angebot sehr gut ist, dann muss es auch eine sehr gute Note erhalten», sagt sie – und nicht in Abhängigkeit davon, ob es noch weitere sehr gute Angebote gebe oder nicht. Und wenn zwei sehr gute Angebote nahe beieinanderlägen, dann könnte eine kleine Differenz ein grosses Gewicht erhalten.
«Das kann heikel sein und ein Bild auch verzerren», sagt Rechtsanwältin Claudia Schneider Heusi. Betreffend dem Transparenz-Grundsatz weist sie darauf hin, dass Anbieter im Vorfeld wissen müssten, welche Zuschlagskriterien mit welcher Gewichtung verwendet würden und mit welcher Notenskala ihre Angebote bewertet würden.
-
Bild 1 von 3Legende: Darko Savic von Armasuisse betont, das Vergaberecht mache keine Vorgaben an die Bewertungsmethode. zVg.
-
Bild 2 von 3Legende: Für den Mathematiker und Beschaffungsexperten Thomas Ferber ist AHP dann eine sinnvolle Methodik, wenn nicht messbare, subjektive Dinge bewertet werden wie zum Beispiel Ästhetik, Geschmack, Ideen oder Konzepte. ZVG
-
Bild 3 von 3Legende: «Gerade der Grundsatz der Gleichbehandlung und die Transparenz könnten durch den Einsatz der AHP-Methodik möglicherweise verletzt sein», Claudia Schneider Heusi, Beschaffungsspezialistin und Anwältin in Zürich mit Spezialgebiet Vergaberecht. zVg.
Wenn nur die Differenz bewertet werde, könne das zu einer Veränderung der Gewichtung der Zuschlagskriterien führen, sagt Schneider Heusi. Und ein grosses Fragezeichen bestehe auch darin, ob die Vergabestelle überhaupt begründen könne, wie die Bewertung zustande gekommen sei.
Armasuisse: Grundsätze eingehalten
Armasuisse betont, beide Grundsätze seien eingehalten worden. Das bestätigten die hausinternen Juristen und auch eine externe Plausibilitätsüberprüfung durch die Anwaltskanzlei Homburger. Darko Savic von Armasuisse betont, das Vergaberecht mache keine Vorgaben an die Bewertungsmethode. Und der Grundsatz der Gleichbehandlung sei erfüllt: «Ein Kandidat, der besser ist, erhält mehr Punkte. Wenn Kandidaten ähnlich sind, erhalten sie ähnliche viele Punkte.»
Der Einsatz der Methode ist juristisch ‹heikel›.
Anwältin Claudia Schneider Heusi bleibt skeptisch. Der Einsatz der Methode sei juristisch «heikel», sagt sie. Und auf die Frage, was es bedeute, wenn eine Anwältin «heikel» sage, antwortet sie: «Ein Gericht könnte zum Schluss kommen, die Vergabestelle sei im konkreten Fall mit der Wahl dieser Methode nicht korrekt vorgegangen.» Und dann würde das Gericht den Vergabeentscheid aufheben. Schneider Heusi würde deswegen auch von der Methode abraten.
Im Fall der Kampfjet-Beschaffung kann kein unterlegener Anbieter an ein Gericht gelangen und sich über die Methodik beschweren. Rechtsmittel sind in diesem konkreten Fall ausgeschlossen.
Was heisst das jetzt für das Ergebnis der Kampfjet-Beschaffung? Wäre mit einer herkömmlichen Methode ein anderer Gewinner herausgekommen? Wahrscheinlich nicht.
Hingegen könnte es durchaus sein, dass die Abstände zwischen den Kampffliegern kleiner wären. Das sind aber hypothetische Annahmen – es gab keine Zweitauswertung mit einer herkömmlichen Bewertungsmethodik.
Anstelle eines Gerichts wird aber die Politik urteilen. Das Parlament wird Anfang nächsten Jahres die Armeebotschaft diskutieren. Und es wird sich da die Frage stellen, ob die AHP-Methode, die juristische Fragen aufwirft und schwer durchschaubar ist, das richtige Werkzeug war, um die Kampfjets zu evaluieren.
