update test cases and WAZ

src/fundus/publishers/de/waz.py

@@ -18,7 +18,7 @@ class V1(BaseParser):
         VALID_UNTIL = datetime.date(2024, 2, 21)
         _paragraph_selector: XPath = CSSSelector(".article__body > p")
         _summary_selector: XPath = CSSSelector(".article__header__intro__text")
-        _subheadline_selector = CSSSelector(".article__body > h3")
+        _subheadline_selector: XPath = CSSSelector(".article__body > h3")
 
         @attribute
         def body(self) -> ArticleBody:
@@ -55,4 +55,4 @@ class V1_1(V1):
             namespaces={"re": "http://exslt.org/regular-expressions"},
         )
         _summary_selector = XPath("//div[@class='article-body'] /p[position()=1]")
-        _subheadline_selector = CSSSelector(".article-body > h3")
+        _subheadline_selector = XPath("//div[@class='article-body'] / h3[not(text()='Auch interessant')]")

tests/resources/parser/test_data/ch/SRF.json

@@ -4,6 +4,27 @@
       "srf/hosb",
       "kesm"
     ],
+    "body": {
+      "summary": [],
+      "sections": [
+        {
+          "headline": [],
+          "paragraphs": [
+            "Iran hat seine Drohung wahr gemacht und Israel direkt angegriffen. Mehr als 300 Drohnen und Raketen sind gemäss israelischem Militär auf Israel abgefeuert worden; der grösste Teil davon konnte abgefangen werden, auch dank der Hilfe anderer Staaten wie Frankreich, Grossbritannien, Jordanien und den USA. Wie zentral der Konflikt für die USA und die Biden-Regierung ist, weiss USA-Kenner Thomas Jäger.",
+            "SRF News: Mehrere Staaten haben Israel unterstützt und Drohnen und Raketen abgefangen. Wie wichtig war dabei die Unterstützung der USA?",
+            "Thomas Jäger: Diese war ausschlaggebend. Man wusste, dass ein solcher Angriff bevorsteht. Die amerikanischen Dienste hatten festgestellt, dass der Iran ballistische Raketen in Stellung gebracht hatte.",
+            "In den USA interessiert sich nur eine kleine Zahl von Wählerinnen und Wählern für die Kriege im Nahen Osten und der Ukraine. Aber diese Kreise haben insbesondere bei den Demokraten ein erhebliches Gewicht.",
+            "Israel hat noch nicht auf den iranischen Angriff reagiert. Wie viel hat diese Zurückhaltung mit den USA und ihrem Einfluss auf Israel zu tun?",
+            "Sehr viel. In der israelischen Regierung ist es vor allem die religiöse Rechte, die Druck macht, dass man hart zurückschlagen müsste. Die rechten israelischen Parteien könnten als einzige Netanjahu zu Fall bringen, wenn sie die Koalition verlassen. Die Regierung aber ist in einer komfortablen Lage: Sie hat den Angriff aus Iran abgewehrt und möchte auf der anderen Seite den Krieg in Gaza weiterführen. Auch Joe Biden hat Interesse daran, dass ein wenig Ruhe einkehrt und der Krieg nicht weiter eskaliert, damit er seine Unterstützung für Israel in den USA besser vertreten kann. Wenn der Krieg nicht nur in Gaza, sondern mit dem Iran geführt wird, dann braucht Israel die Unterstützung der USA.",
+            "Für die USA geht es einerseits darum, eine grosse Eskalation zwischen Iran und Israel zu verhindern, und andererseits darum, den Gazakrieg nicht weiter ausarten zu lassen. Wie kann die Biden-Regierung damit umgehen?",
+            "Sie wird auf der einen Seite weiter dafür sorgen, dass die humanitäre Unterstützung in Gaza intensiviert wird. Auf der anderen Seite wird man die Streitkräfte in der Region behalten, um den Iran abzuschrecken. Denn auch wenn der Iran nun sagt, man habe Vergeltung geübt, so hat letztlich die Abschreckung der Vereinigten Staaten seit Oktober 2023 mit dazu geführt, den Krieg dort einzuhegen, weil jeder weiss, dass die Vereinigten Staaten, wenn es dazu kommt, Israel unterstützen würden. Ebenfalls muss Biden berücksichtigen, dass der Ölpreis einigermassen im Rahmen bleibt. Denn der Ölpreis und letztlich der Benzinpreis sind wichtige Faktoren, wenn in den Vereinigten Staaten im Spätherbst gewählt wird.",
+            "Welchen Einfluss hat die aktuelle Situation auf den Wahlkampf von Joe Biden?",
+            "In den USA interessiert sich nur eine kleine Zahl von Wählerinnen und Wählern für die Kriege im Nahen Osten und der Ukraine. Aber diese Kreise haben insbesondere bei den Demokraten ein erhebliches Gewicht. In diesem Zusammenhang ist interessant, was Donald Trump gemacht hat: Man könnte meinen, die entsprechenden Wählerinnen und Wähler entscheiden sich sowieso für Biden, weil Trump eng vertraut ist mit Netanjahu. Trump aber hat Netanjahu unter Druck gesetzt und gesagt, dass der israelische Ministerpräsident die Situation im Gazastreifen beenden müsse, um diesen linken Wählern den Impuls zu geben: Meinetwegen braucht ihr Biden nicht zu wählen, bleibt zu Hause. Das wäre für Biden ein ernstes Problem.",
+            "Das Gespräch führte Peter Hanselmann."
+          ]
+        }
+      ]
+    },
     "publishing_date": "2024-04-15 13:38:00+02:00",
     "title": "«Die israelische Zurückhaltung hat viel mit den USA zu tun»"
   }

tests/resources/parser/test_data/de/BusinessInsiderDE.json

@@ -21,17 +21,16 @@
         },
         {
           "headline": [
-            "Statistiken, die die enorme Größe von Evergrande, Chinas sterbendem Immobilienriesen, verdeutlichen"
+            "Statistiken, die die enorme Größe von Evergrande, Chinas sterbendem Immobilienriesen, verdeutlichen",
+            "1. Evergrande besaß mehr als 1300 Immobilienprojekte in China.",
+            "2. Evergrande war mit 300 Milliarden Dollar (277 Milliarden Euro) verschuldet, so hoch wie kein anderes Unternehmen der Welt.",
+            "3. Mindestens zwölf Millionen Hausbesitzer lebten in Immobilien, die von Evergrande gebaut wurden.",
+            "4. Evergrande verfügt über genügend Land, um die gesamte Fläche von Manhattan zu bebauen.",
+            "5. Evergrande war indirekt für 3,8 Millionen Arbeitsplätze verantwortlich, was genug ist, um ganz Los Angeles zu beschäftigen.",
+            "6. Die Schuldenlast von Evergrande entsprach 1,6 Prozent des chinesischen BIP.",
+            "Evergrande wurde von den Hausbesitzern verunglimpft und fiel vor zwei Jahren in China in Ungnade."
           ],
-          "paragraphs": [
-            "Deine Privatsphäre-Einstellungen verhindern das Laden und Anzeigen aller externen Inhalte (z.B. Grafiken, Tabellen, Abo-Login) und Sozialen Netzwerke (z.B. Youtube, Twitter, Facebook, Instagram etc.) Zur Anzeige aktiviere bitte die Einstellungen in den Privatsphäre-Einstellungen.",
-            "Deine Privatsphäre-Einstellungen verhindern das Laden und Anzeigen aller externen Inhalte (z.B. Grafiken, Tabellen, Abo-Login) und Sozialen Netzwerke (z.B. Youtube, Twitter, Facebook, Instagram etc.) Zur Anzeige aktiviere bitte die Einstellungen in den Privatsphäre-Einstellungen.",
-            "Deine Privatsphäre-Einstellungen verhindern das Laden und Anzeigen aller externen Inhalte (z.B. Grafiken, Tabellen, Abo-Login) und Sozialen Netzwerke (z.B. Youtube, Twitter, Facebook, Instagram etc.) Zur Anzeige aktiviere bitte die Einstellungen in den Privatsphäre-Einstellungen.",
-            "Deine Privatsphäre-Einstellungen verhindern das Laden und Anzeigen aller externen Inhalte (z.B. Grafiken, Tabellen, Abo-Login) und Sozialen Netzwerke (z.B. Youtube, Twitter, Facebook, Instagram etc.) Zur Anzeige aktiviere bitte die Einstellungen in den Privatsphäre-Einstellungen.",
-            "Deine Privatsphäre-Einstellungen verhindern das Laden und Anzeigen aller externen Inhalte (z.B. Grafiken, Tabellen, Abo-Login) und Sozialen Netzwerke (z.B. Youtube, Twitter, Facebook, Instagram etc.) Zur Anzeige aktiviere bitte die Einstellungen in den Privatsphäre-Einstellungen.",
-            "Deine Privatsphäre-Einstellungen verhindern das Laden und Anzeigen aller externen Inhalte (z.B. Grafiken, Tabellen, Abo-Login) und Sozialen Netzwerke (z.B. Youtube, Twitter, Facebook, Instagram etc.) Zur Anzeige aktiviere bitte die Einstellungen in den Privatsphäre-Einstellungen.",
-            "Deine Privatsphäre-Einstellungen verhindern das Laden und Anzeigen aller externen Inhalte (z.B. Grafiken, Tabellen, Abo-Login) und Sozialen Netzwerke (z.B. Youtube, Twitter, Facebook, Instagram etc.) Zur Anzeige aktiviere bitte die Einstellungen in den Privatsphäre-Einstellungen."
-          ]
+          "paragraphs": []
         }
       ]
     },

tests/resources/parser/test_data/de/FAZ.json

@@ -56,6 +56,53 @@
     "authors": [
       "Johannes Ritter"
     ],
+    "body": {
+      "summary": [
+        "Russlands Geheimdienste nutzen Genf als Drehscheibe für Attentate in Europa. Die Regierung in Bern schaut tatenlos zu. Parteiübergreifend schlagen Sicherheitspolitiker Alarm."
+      ],
+      "sections": [
+        {
+          "headline": [],
+          "paragraphs": [
+            "Zwei Jahre nach Beginn des russischen Angriffskriegs gegen die Ukraine ist die Schweiz weiterhin ein großer Tummelplatz für russische Spione. Während andere westliche Länder mittlerweile mehr als 600 als Diplomaten getarnte Geheimdienstmitarbeiter zurück nach Russland geschickt haben, legte die Schweizer Regierung die Hände in den Schoß.",
+            "Nach Angaben des Schweizer Nachrichtendienstes (NDB) arbeiten in den diplomatischen und konsularischen Vertretungen in Genf und Bern nach wie vor rund 220 Russen. Davon sei mindestens ein Drittel für russische Nachrichtendienste tätig, schreibt der NDB in seinem Lagebericht „Sicherheit Schweiz 2023“.",
+            "„Europaweit gehört die Schweiz unter anderem aufgrund ihrer Rolle als Gaststaat internationaler Organisationen zu den Staaten, in denen am meisten russische Nachrichtendienstangehörige unter diplomatischer Tarnung eingesetzt werden“, heißt es in dem Bericht. Dieser stammt zwar aus dem vergangenen Jahr, ist aber immer noch hochaktuell."
+          ]
+        },
+        {
+          "headline": [
+            "Genf wurde zur Spionagedrehscheibe in Europa"
+          ],
+          "paragraphs": [
+            "Die größte aktuelle Bedrohung durch Spionage gehe von russischen Nachrichtendiensten aus, erklärte eine NDB-Sprecherin gegenüber der F.A.Z. Neben Cyberspionage erfolge ein erheblicher Teil der Informationsbeschaffung mit menschlichen Quellen. „Für diese Aktivitäten werden vor allem die russischen diplomatischen Vertretungen genutzt.“ Die Frage, ob die Schweiz in den vergangenen zwei Jahren enttarnte russische Spione ausgewiesen hat, ließen der NDB und das Schweizer Außenministerium unbeantwortet. Hinweise darauf gibt es bisher nicht.",
+            "Nach Einschätzung des Schweizer Historikers und Geheimdienstexperten Adrian Hänni, Forscher am Austrian Center for Intelligence, Propaganda and Security Studies (ACIPSS), könnten die russischen Geheimdienste ihre Aktivitäten in der Schweiz sogar ausgebaut haben. Viele andere Länder haben den russischen Spionen die Tür gewiesen – allein Deutschland dürfte inzwischen 170 bis 180 als Diplomaten getarnte Mitarbeiter verschiedener russischer Geheimdienste losgeworden sein. Deshalb liegt es aus Hännis Sicht nah, dass die Russen ihre Spionagetätigkeit nun an jenen Orten verstärken, wo sie nicht sonderlich behelligt werden. Dazu zählt neben Wien vor allem Genf.",
+            "Als UN-Sitz sowie als Standort Dutzender internationaler Institutionen, darunter der Welthandelsorganisation (WTO) und der Weltgesundheitsorganisation (WHO), habe sich die westschweizerische Stadt zu einer Spionagedrehscheibe in Europa entwickelt. Dazu trage auch deren günstige Lage im Herzen Europas bei. „Von Genf aus kann man sich mit Flügen im gesamten Schengenraum bewegen, ohne dass Pässe kontrolliert werden“, sagt Hänni im Gespräch mit der F.A.Z."
+          ]
+        },
+        {
+          "headline": [
+            "Havanna-Syndrom-Fälle in der amerikanischen UN-Vertretung in Genf"
+          ],
+          "paragraphs": [
+            "Hänni erinnert daran, dass die Schweiz auch im Zusammenhang mit dem Giftanschlag auf Sergej Skripal im Jahr 2018 eine Rolle spielte: Die mutmaßlichen Attentäter Alexander Mischkin und Anatolij Tschepiga hielten sich vor ihrem Angriff mehrmals in Genf auf. Zwei Agenten des russischen Militärnachrichtendienstes GRU sollten hernach die Spuren verwischen, wurden aber selbst ertappt, nachdem sie ein Auto voller Überwachungstechnik vor dem Hauptquartier der Organisation für das Verbot chemischer Waffen (OPCW) im schweizerischen Spiez geparkt hatten.",
+            "Auch in den jüngsten Enthüllungen zur Arbeit der russischen Dienste taucht Genf auf. Ein Rechercheverbund unter Führung des exilrussischen Investigativportals „The Insider“ will herausgefunden haben, dass russische Spezialagenten hinter den verdeckten Angriffen auf die zentralen Nervensysteme westlicher Diplomaten mittels Mikrowellen oder elektromagnetischer Energie stecken. Die darauf zurückzuführenden Symptome wie stechende Kopfschmerzen, Hörverlust, Schwindel und Übelkeit laufen unter dem Begriff „Havanna-Syndrom“, weil die ersten Fälle im Jahr 2016 in der kubanischen Hauptstadt auftraten.",
+            "Den Recherchen zufolge bereiteten die Agenten ihre Anschläge in Europa regelmäßig in Genf vor, getarnt als Englisch-Sprachschüler oder als Mitarbeiter der Ständigen Vertretung der Russischen Föderation bei den Vereinten Nationen, einem streng abgeschirmten, riesigen Komplex mit einem halben Dutzend Gebäuden. Eine Schlüsselfigur der auf Sabotage und Mordanschläge spezialisierten Kommandoeinheit mit der Nummer 29155 war demnach Egor Gordienko. Der GRU-Oberst war bis 2020 als Diplomat bei der WTO akkreditiert.",
+            "Auch in der amerikanischen UN-Vertretung in Genf hat es angeblich Havanna-Syndrom-Fälle gegeben. Auf diese Thematik angesprochen, zeigt sich die Sprecherin des Schweizer Nachrichtendienstes zugeknöpft: „Der NDB hat Kenntnis vom Havanna-Syndrom, kommentiert aber keine Medienberichte.“"
+          ]
+        },
+        {
+          "headline": [
+            "Ist eine schwache Spionageabwehr politisch gewollt?"
+          ],
+          "paragraphs": [
+            "Dass russische Agenten nach wie vor sehr stark in Genf vertreten sind, führt der Geheimdienstexperte Hänni auf die traditionell zurückhaltende Spionageabwehr der Schweiz zurück. „Der NDB ist ein kleiner und relativ schwacher Nachrichtendienst.“ Die nur 420 Mitarbeiter seien neben der Spionageabwehr auch mit der Bekämpfung von Terrorismus und Extremismus beschäftigt. Die Schwäche sei politisch gewollt. „Ein aktiveres Vorgehen gegen ausländische Geheimdienstmitarbeiter läuft dem Ziel der Regierung zuwider, als Vermittler in internationalen Konflikten zu agieren.“ Tatsächlich will der Außenminister Ignazio Cassis (FDP) im Einvernehmen mit dem ukrainischen Präsidenten Wolodymyr Selenskyj einen Friedensgipfel in der Schweiz organisieren. Doch der russische Außenminister Sergej Lawrow sieht das Land als „Spielball Kiews“ und erklärte Anfang März: „Wir zählen nicht auf die Dienste der Schweiz.“",
+            "Hänni hält das politisch gewollte „Laissez-faire“ der Schweiz gegenüber den zahlreichen russischen Spionen für falsch und rät zu einem Kurswechsel. Dass russische Agenten aus der Schweiz heraus Anschläge vorbereiteten, werfe sicherheitspolitische Fragen auf und schade dem Ruf des Landes im westlichen Ausland. Die Passivität der Regierung gefährde zudem die Sicherheit der in der Schweiz lebenden Kritiker des russischen Regimes, die der Kreml von Genf aus elektronisch und mittels Agenten überwachen lasse. Dass es in der Schweiz zu Tötungsoperationen kommt, erwartet Hänni indes nicht: „Die Russen wollen das Fass nicht zum Überlaufen bringen.“ Sonst gefährdeten sie ihre wichtige Operationsbasis in der Schweiz. Gerade weil die russischen Geheimdienste in Europa stärker denn je auf Genf als Standort angewiesen seien, könnte die Schweiz nach Hännis Ansicht offensiver vorgehen und enttarnte russische Spione des Landes verweisen.",
+            "Auch der ehemalige russische Diplomat Boris Bondarew kritisiert das Verhalten der Schweizer Regierung. Diese wolle Russland nicht verärgern. „Die Schweiz ist bereit für den Moment, in dem es wieder opportun ist, auch ranghohe Russen auf ihrem Boden willkommen zu heißen“, sagte Bondarew dem Züricher „Tages-Anzeiger“. Doch diese Haltung werde dem Charakter dieses Krieges und der Politik Putins nicht gerecht. Aus Protest gegen den russischen Angriffskrieg gegen die Ukraine war Bondarew im Mai 2022 von seinem Diplomatenposten in Genf zurückgetreten. Seither lebt er unter Polizeischutz an einem unbekannten Ort in der Schweiz.",
+            "Nach den jüngsten Enthüllungen über das Havanna-Syndrom und die Rolle Genfs als Drehkreuz für Attentäter haben Schweizer Sicherheitspolitiker parteiübergreifend Gegenmaßnahmen verlangt. Die russischen Machenschaften in der Schweiz seien nicht zu akzeptieren, hieß es von der Schweizerischen Volkspartei (SVP). Identifizierte Spione müssten ausgewiesen werden, forderte die Partei „Die Mitte“. Und die Sozialdemokraten mahnten an, dem Schweizer Nachrichtendienst mehr Kompetenzen und Ressourcen zu geben. Wenn die Schweiz nicht zu einem immer größeren Sicherheitsrisiko für ihre engsten Verbündeten und Partner werden solle, müsse sie jetzt handeln."
+          ]
+        }
+      ]
+    },
     "publishing_date": "2024-04-17 10:24:31+00:00",
     "title": "Die Schweiz ist ein großer Tummelplatz für russische Spione",
     "topics": [

tests/resources/parser/test_data/de/WAZ.json

@@ -33,6 +33,32 @@
     "authors": [
       "Philipp Wahl"
     ],
+    "body": {
+      "summary": [
+        "Duisburg. Erste Visualisierungen zeigen, wie die Seilbahn in Duisburg aussehen könnten. Ebenfalls zu sehen: eine Haltestelle am Technologiequartier Wedau."
+      ],
+      "sections": [
+        {
+          "headline": [],
+          "paragraphs": [
+            "Zum Start der Immobilienmesse Mipim in Cannes startet Duisburgs städtische Entwicklungsgesellschaft Gebag am Montag eine neue Projekt-Internetseite zum Technologiequartier Wedau. Ein Hingucker der Seite, der viele Duisburgerinnen und Duisburger interessieren dürfte, ist eine erste Visualisierung der geplanten Seilbahn.",
+            "Die noch nicht finanzierte und noch nicht beschlossene „Urbane Seilbahn“ würden Stadtplaner und städtische Gesellschaften gerne umsetzen. Sie soll vom Duisburger Hauptbahnhof bis zur Fläche des Stadtentwicklungsprojekts 6-Seen-Wedau „fliegen“. Die Gebag hatte im Herbst eine Konzeptstudie zum Seilbahnbau vorgestellt, die für Aufsehen und Diskussionen über das Für und Wider sorgte."
+          ]
+        },
+        {
+          "headline": [
+            "Seilbahn Duisburg: Haltestelle an der ehemaligen Richthalle und Trassenverlauf"
+          ],
+          "paragraphs": [
+            "Die nun von der Gebag veröffentlichte Visualisierung zeigt, wie ein möglicher Haltepunkt am zukünftigen Technologie-Quartier-Wedau (TQW) aussehen könnte. Demnach sei es „denkbar, dass sich die Seilbahn-Haltestelle über dem Dach der ehemaligen Richthalle im Herzen der Projektfläche wiederfinden wird“, so die Gebag.",
+            "Neben allgemeinen Informationen zum Projekt TQW illustriert die Webseite auch den aktuell vorgesehenen Trassenverlauf vom Hauptbahnhof an den „Duisburger Dünen“ entlang über den Sportpark Duisburg bis hin zum Bahnhof Wedau, direkt an der Projektfläche 6-Seen-Wedau.",
+            "Auf www.technologie-quartier-wedau.de geht‘s aber vor allem um das geplante Technologiequartier, etwa in Visualisierungen und Erläuterungen zum Entwurf.",
+            "Auf der rund 30 Hektar großen Fläche des ehemaligen Ausbesserungswerks Wedau, die sich unmittelbar nördlich an das Stadtentwicklungsprojekt 6-Seen-Wedau anschließt, soll ein Technologie-Quartier geschaffen werden, das Impulse für die Gesamtentwicklung der Stadt und der Region setzen soll.",
+            "Dort sollen etwa Campus-Flächen für eine mögliche Ansiedlung der Ingenieurwissenschaftlichen Fakultät der Universität Duisburg-Essen (UDE) und ein „Wissens-Campus“ geschaffen werden, wo sich beispielsweise Forschungs- und Entwicklungsfirmen oder Start-ups ansiedeln können."
+          ]
+        }
+      ]
+    },
     "publishing_date": "2024-03-08 17:59:39+00:00",
     "title": "Erstes Bild: So könnte die Duisburger Seilbahn aussehen",
     "topics": [