Checking Scientific Standards in the First Determination of the German General Productivity Index

Scroll down for the German version

The Situation

Incentive regulation in Germany prescribes a revenue cap for distribution and transmission network operators in the gas and electricity sector. One of the revenue cap’s determinants is an RPI-X component, the “general sectoral productivity factor” (Xgen). The ordinance setting out incentive regulation “Anreizregulierungsverordnung” (ARegV) prescribes that the regulator “Bundesnetzagentur” (BNetzA) must determine the Xgen using methods that “conform to scientific standards” as of the third regulatory period (i.e. as of 2018 for gas networks and as of 2019 for electricity networks).

Following consultation periods, BNetzA set the Xgen at 0.49% for gas networks in February 2018 and at 0.90% for electricity networks in November 2018. BNetzA determined these Xgen figures by estimating:

  • Changes in the productivity of network operators;
  • Changes in input prices of network operators; and
  • Changes in the CPI.

BNetzA based its estimate of productivity changes on two candidate figures for each sector, one based on the Törnquist index, the other based on the Malmquist index. For each sector, BNetzA used the lower of the two candidate figures as a basis for its final decision. For gas networks, the final decision was based on the Törnquist index. For electricity networks, it was based on the Malmquist index.

NERA's Role

Law firm Flick Gocke Schaumburg (FGS) commissioned NERA Managing Director Tomas Haug, Associate Director Dominik Hübler, and Consultant Dr. Adjmal Sirak to assess BNetzA’s determination of the Xgen on behalf of a group of German electricity and gas network operators. The central task of the assignment was to check whether BNetzA’s determinations conform with scientific standards, as required per the ARegV ordinance.

The NERA team reviewed BNetzA’s methodological approach and replicated the calculations of the Törnquist index for gas networks and of the Malmquist index for electricity networks. For both sectors, the NERA team identified methodological flaws in BNetzA’s approach to calculating the Törnquist and Malmquist indices. The team also identified issues that call into question the reliability of the input data to BNetzA’s calculations. BNetzA did not attempt to quantify the uncertainty in its estimates (e.g. through calculation of confidence intervals or tests of statistical significance).

The NERA team concluded that neither the determination for gas networks based on the Törnquist index nor the determination for electricity networks based on the Malmquist index conforms with scientific standards.

The Result

Several hundred gas network operators appealed BNetzA’s decision on the Xgen at the regional higher court of Düsseldorf (OLG Düsseldorf) and a NERA report was submitted as supporting evidence. The court appointed an academic expert to review BNetzA’s decision on gas. The expert identified several issues with BNetzA’s determination of the Xgen and found that BNetzA had not conclusively shown that its determination conforms with scientific standards, thereby confirming NERA’s conclusion. OLG Düsseldorf overturned BNetzA’s determination of the Xgen for the gas sector in July 2019. BNetzA has appealed this decision at the Federal Court of Justice (BGH). BGH’s decision is still pending.

Meanwhile, several hundred network operators have also appealed BNetzA’s decision on the Xgen for electricity at OLG Düsseldorf and a NERA report was submitted as supporting evidence. We understand OLG Düsseldorf will postpone its decision on electricity until BGH has reached a decision on gas.

Überprüfung wissenschaftlicher Standards in der erstmaligen Festlegung des Xgen

Ausgangslage
Die Anreizregulierung in Deutschland schreibt eine Erlösobergrenze für Verteilnetz-, Fernleitungsnetz- und Übertragungsnetzbetreiber im Gas- bzw. Elektrizitätssektor vor. Eine der Determinanten der Erlösobergrenze ist der „allgemeine sektorale Produktivitätsfaktor“ (Xgen). Die Anreizregulierungsverordnung (ARegV) schreibt vor, dass die Bundesnetzagentur (BNetzA) ab der dritten Regulierungsperiode den Xgen nach Maßgabe von Methoden ermitteln muss, die „dem Stand der Wissenschaft entsprechen“.

Im Februar 2018 setzte die BNetzA den Xgen für Gasnetze auf 0,49% und im November 2018 auf 0,90% für Stromnetze fest. Beiden Entscheidungen waren jeweils Konsultationsprozesse vorausgegangen. Die BNetzA ermittelte diese Xgen-Werte durch Schätzung von

  • Änderungen der Produktivität der Netzbetreiber;
  • Änderungen bei den Eingangspreisen der Netzbetreiber; und
  • Änderungen des VPI.

Die BNetzA stützte ihre Schätzung der Produktivitätsänderungen auf zwei Kandidaten für jeden Sektor, einer basierend auf dem Törnquist-Index, der andere basierend auf dem Malmquist-Index. Für jeden Sektor verwendete die BNetzA den niedrigeren der beiden Kandidaten als Grundlage für ihre endgültige Entscheidung. Für Gasnetze basierte die endgültige Entscheidung auf dem Törnquist-Index. Für Stromnetze basierte sie auf dem Malmquist-Index.

NERAs Rolle
Im Auftrag einer Gruppe deutscher Strom- und Gasnetzbetreiber mandatierte Flick Gocke Schaumburg (FGS) NERA Managing Director Tomas Haug, Associate Direktor Dominik Hübler und Consultant Dr. Adjmal Sirak damit, die Bestimmung des Xgen durch die BNetzA zu überprüfen. Die zentrale Aufgabe bestand darin, zu prüfen, ob die Festlegungen der BNetzA der ARegV entsprechend nach Maßgaben erfolgt war, die dem Stand der Wissenschaft entsprechen.

Das NERA-Team überprüfte den methodischen Ansatz der BNetzA und replizierte die Berechnungen des Törnquist-Index für Gasnetze und des Malmquist-Index für Stromnetze. Für beide Sektoren identifizierte das NERA-Team konzeptionelle Mängel im Ansatz der BNetzA. Das Team identifizierte ebenso Datenprobleme, welche die Zuverlässigkeit der Eingabedaten für die Berechnungen der BNetzA in Frage stellen. Die BNetzA hat keinen Versuch unternommen, die Unsicherheit in ihren Schätzungen zu quantifizieren (z.B. durch Berechnung von Konfidenzintervallen oder Tests auf statistische Signifikanz).

Das NERA-Team kam zu dem Schluss, dass weder die Festlegung für Gasnetze auf Grundlage des Törnquist-Index noch die Festlegung für Stromnetze auf Grundlage des Malmquist-Index nach Maßgaben erfolgt war, die dem Stand der Wissenschaft entsprechen.

Ergebnis
Mehrere hundert Gasnetzbetreiber legten beim OLG Düsseldorf Berufung gegen ihren jeweiligen Xgen-Bescheid ein. Dabei wurde ein NERA-Bericht als Sachverständigengutachten eingereicht. Das OLG Düsseldorf beauftragte seinerseits einen Sachverständigen, der die Entscheidung der BNetzA zum Xgen Gas prüfen sollte. Der Sachverständige identifizierte mehrere Probleme mit der Bestimmung des Xgen durch die BNetzA und stellte fest, dass die BNetzA nicht zweifelsfrei dargestellt habe, dass ihr Vorgehen dem Stand der Wissenschaft entspreche, was NERAs Ergebnis bestätigte. Daraufhin hob das OLG Düsseldorf im Juli 2019 die Entscheidung zum Xgen Gas auf. Die BNetzA hat gegen diese Entscheidung beim Bundesgerichtshof (BGH) Berufung eingelegt. Die Entscheidung der BGH steht noch aus.

Unterdessen haben auch mehrere hundert Netzbetreiber beim OLG Düsseldorf gegen die Entscheidung zum Xgen Strom Berufung eingelegt, und ein NERA-Bericht wurde als Sachverständigengutachten eingereicht. Wir erwarten, dass das OLG Düsseldorf seine Entscheidung zum Xgen Strom aufschiebt, bis der BGH eine Entscheidung zum Xgen Gas getroffen hat.