Merge pull request #684 from flairNLP/rework-la-vanguardia

Add `LaVanguardia`

docs/supported_publishers.md

@@ -1000,6 +1000,23 @@
     </tr>
   </thead>
   <tbody>
+    <tr>
+      <td>
+        <code>LaVanguardia</code>
+      </td>
+      <td>
+        <div> La Vanguardia</div>
+      </td>
+      <td>
+        <a href="https://www.lavanguardia.com/">
+          <span>www.lavanguardia.com</span>
+        </a>
+      </td>
+      <td>
+        <code>topics</code>
+      </td>
+      <td>&#160;</td>
+    </tr>
     <tr>
       <td>
         <code>ABC</code>

src/fundus/publishers/es/__init__.py

@@ -6,6 +6,7 @@
 from fundus.publishers.es.abc import ABCParser
 from fundus.publishers.es.el_mundo import ElMundoParser
 from fundus.publishers.es.el_pais import ElPaisParser
+from fundus.publishers.es.la_vanguardia import LaVanguardiaParser
 from fundus.scraping.url import NewsMap, RSSFeed, Sitemap
 
 
@@ -41,3 +42,20 @@ class ES(metaclass=PublisherGroup):
             RSSFeed("https://www.abc.es/rss/2.0/portada/"),
         ],
     )
+    LaVanguardia = Publisher(
+        name=" La Vanguardia",
+        domain="https://www.lavanguardia.com/",
+        parser=LaVanguardiaParser,
+        sources=[
+            NewsMap("https://www.lavanguardia.com/sitemap-google-news.xml"),
+            NewsMap("https://www.lavanguardia.com/sitemap-news-agencias.xml"),
+            RSSFeed("https://www.lavanguardia.com/rss/home.xml"),
+            RSSFeed("https://www.lavanguardia.com/rss/internacional.xml"),
+        ]
+        + [
+            Sitemap(f"https://www.lavanguardia.com/sitemap-noticias-{d.year}{str(d.month).zfill(2)}.xml.gz")
+            for d in reversed(
+                list(rrule(MONTHLY, dtstart=datetime.datetime(2019, 1, 1), until=datetime.datetime.now()))
+            )
+        ],
+    )

src/fundus/publishers/es/la_vanguardia.py

@@ -0,0 +1,61 @@
+import datetime
+import re
+from typing import List, Optional
+
+from lxml.etree import XPath
+
+from fundus.parser import ArticleBody, BaseParser, Image, ParserProxy, attribute
+from fundus.parser.utility import (
+    extract_article_body_with_selector,
+    generic_author_parsing,
+    generic_date_parsing,
+    image_extraction,
+)
+
+
+class LaVanguardiaParser(ParserProxy):
+    class V1(BaseParser):
+        _paragraph_selector = XPath(
+            "//div[@class='article-modules']//p[@class='paragraph'] | "
+            "//div[@class='widget' and not(@id)]//p[not(@class='creditos')]"
+        )
+        _subheadline_selector = XPath(
+            "//div[@class='article-modules']//h3[@class='subtitle'] | "
+            "//div[@class='widget' and not(@id)]//h2|//span[@class='ubicacion']"
+        )
+        _summary_selector = XPath("//h2[@class='epigraph']|//div[@id='slide-content-1']/p")
+
+        @attribute
+        def body(self) -> Optional[ArticleBody]:
+            return extract_article_body_with_selector(
+                self.precomputed.doc,
+                paragraph_selector=self._paragraph_selector,
+                subheadline_selector=self._subheadline_selector,
+                summary_selector=self._summary_selector,
+            )
+
+        @attribute
+        def publishing_date(self) -> Optional[datetime.datetime]:
+            return generic_date_parsing(self.precomputed.ld.bf_search("datePublished"))
+
+        @attribute
+        def title(self) -> Optional[str]:
+            return self.precomputed.meta.get("title")
+
+        @attribute
+        def authors(self) -> List[str]:
+            return [
+                re.sub(r"(?u)\s*\u200b.*", "", author)
+                for author in generic_author_parsing(self.precomputed.ld.bf_search("author"))
+            ]
+
+        @attribute
+        def images(self) -> List[Image]:
+            return image_extraction(
+                doc=self.precomputed.doc,
+                paragraph_selector=self._paragraph_selector,
+                image_selector=XPath("//figure[contains(@class,'composite-image')]//img"),
+                caption_selector=XPath("./ancestor::figure//figcaption/p"),
+                author_selector=XPath("./ancestor::figure//figcaption/span"),
+                relative_urls=True,
+            )

tests/resources/parser/test_data/es/LaVanguardia.json

@@ -0,0 +1,101 @@
+{
+  "V1": {
+    "authors": [
+      "Carlota Guindal"
+    ],
+    "body": {
+      "summary": [
+        "El magistrado Ángel Hurtado ve “apuntalados” los indicios contra Álvaro García Ortiz, amplía la investigación a su número dos y señala a Presidencia del Gobierno"
+      ],
+      "sections": [
+        {
+          "headline": [],
+          "paragraphs": [
+            "El juez del Tribunal Supremo Ángel Hurtado ha citado a declarar en calidad de investigado al fiscal general del Estado, Álvaro García Ortiz, para el próximo 29 de enero al considerar que los indicios contra él por un delito de revelación de secretos se han visto “apuntalados” durante la instrucción.",
+            "El magistrado investiga si el número uno de la Fiscalía filtró u ordenó filtrar datos reservados respecto del empresario Alberto González Amador, pareja de la presidenta madrileña, Isabel Díaz Ayuso. Concretamente, se investiga si se filtró a la prensa una serie de correos electrónicos entre el fiscal que investiga al empresario por fraude fiscal y su abogado en el que este último comunicaría la intención de González Amador de reconocer el fraude y pagar una multa a cambio de evitar el juicio.",
+            "Además de García Ortiz, el instructor cita como investigados a la fiscal jefe provincial de Madrid, Pilar Rodríguez, para el 30 de enero, y para el 5 de febrero, al teniente fiscal de la Secretaría Técnica y mano derecha de García Diego Villafañe.",
+            "En el auto, Hurtado se basa en el informe de la Unidad Central Operativa (UCO) de la Guardia Civil del pasado mes de noviembre que habla de “la participación preeminente del fiscal general del Estado en los hechos que, finalmente, derivaron en la filtración investigada”."
+          ]
+        },
+        {
+          "headline": [
+            "Situación de “superioridad” del fiscal general"
+          ],
+          "paragraphs": [
+            "Para el instructor, en este momento de la causa las diligencias que se han practicado dan un “elevado grado de verosimilitud” sobre la “relevante participación” del fiscal general en esa filtración. Para Hurtado, García Ortiz fue la persona que “dirigió los pasos” para que se revelaran los datos de González Amador, \"aprovechando la situación de superioridad que ostentaba sobre otros fiscales, que se prestaron a ponerse a su disposición, y esto solo cabe entenderlo desde su posición de preeminencia por ser superior jerárquico de todos ellos”.",
+            "Hurtado analiza en “trasiego” del intercambio de mensajes que se producen el día 13 de marzo de 2024 entre las 21:59 horas, en que Álvaro García Ortiz recibe en su gmail particular el correo en que Pilar Rodríguez le reenvía el de 2 de febrero entre el abogado de Alberto González Amador y el fiscal Julián Salto, y los pasos que da antes para lograr hacerse con él.",
+            "Estos mensajes, para Hurtado, son “reveladores de momentos de urgencia y gran tensión, que tienen lugar bajo su batuta”. El juez le hace responsable de la noticia publicada en la cadena ser a las 23:51 de ese 13 de marzo con el correo envía por el abogado para ofrecer un acuerdo de conformidad. Además, el propio García ya reconoció que fue él quien dio la orden, el 14 de marzo, de emitir una nota de prensa relatando los contactos entre el abogado y el fiscal ante las noticias publicadas que no se acogían a la realidad de los hechos.",
+            "Para Hurtado, su intervención “es lo suficientemente indicativo de su papel relevante en la divulgación de una información reservada y confidencial que no debió divulgarse”.",
+            "“La secuencia y presura de esos pasos ponen de relieve unas prisas por parte del fiscal general del Estado en recoger una determinada información, tantas, que no puede esperar a la mañana siguiente, así como el concreto interés de contar con ese correo de 2 de febrero (del abogado de González Amador ofreciendo un pacto)”."
+          ]
+        },
+        {
+          "headline": [
+            "Distinto valor a los testigos"
+          ],
+          "paragraphs": [
+            "El juez no tiene en cuenta el testimonio de los periodistas de la Ser y el Diario, que aseguraron en su declaración como testigos que ellos tuvieron acceso a ese correo horas antes de que lo tuviera el fiscal general. Según Hurtado, “se trata de testimonios que no aportan datos objetivos“.",
+            "El juez sí tiene en cuenta el testimonio del director de gabinete de Díaz Ayuso, Miguel Ángel Rodríguez, quien aseguró que el difundió también ese correo electrónico pero cuando ya estaba publicado en la prensa.",
+            "Para el magistrado del Supremo los elementos objetivos que hay en la causa apuntan a que solo tras la recepción por parte de García Ortiz del correo a las 21:59 horas de ese 13 de marzo ”es cuando tiene lugar su difusión, lo que debe llevar a mantener su condición de imputado”."
+          ]
+        },
+        {
+          "headline": [
+            "El juez defiende la “imparcialidad” de la UCO"
+          ],
+          "paragraphs": [
+            "El auto destaca que los informes de la UCO han aportado en las diligencias “una información de peso y que, en el momento procesal en que nos encontramos, no podemos ignorar“. Además, advierte que no hay razones para presumir interés alguno de los agentes de la García Civil que han llevado a cabo la investigación.",
+            "\"Conviene no olvidar las notas de imparcialidad y objetividad en el proceder de un organismo como es esa unidad, que, dicho sea de paso, ha venido contando con el beneplácito del ministerio fiscal en otras causas en que se ha apoyado habitualmente en sus informes para mantener sus tesis acusatorias”, recoge en el auto judicial."
+          ]
+        },
+        {
+          "headline": [
+            "Hurtado apunta a Presidencia del Gobierno"
+          ],
+          "paragraphs": [
+            "Uno de los hechos que destaca es que el correo fechado el 2 de febrero que se puso en circulación a partir del 13 de marzo con el ofrecimiento del abogado de González Amador a llegar a un pacto con el fiscal, salió de la Fiscalía General hacia Presidencia de Gobierno.",
+            "“Llegado a Presidencia del Gobierno, se puso a disposición del testigo Juan Lobato, portavoz del grupo socialista de la Asamblea de Madrid, al objeto de que hiciera uso de él, con una clara finalidad política, en la intervención que tendría la mañana del día 14 en el pleno dicha Asamblea“, apunta el juez.",
+            "Así, destaca que Lobato planteó inicialmente sus dudas de hacer uso público del documento si no se había publicado previamente en algún medio. De hecho, llega a pedir que se le confirme este extremo, pues, como diría en whatsapp que envía en la mañana del día 14 ”Porque si no parece que me la ha dado la fiscalía“ y otro a continuación que dice ”y Pilar quiere que yo saque el mail de fiscalía. Que no ha salido pero que lo saque yo. No puede ser“.",
+            "Ante estas circunstancias, añade el auto, “desde Presidencia del Gobierno se hacen gestiones para la publicación en el medio El Plural del correo de 2 de febrero entre el abogado de González Amador y el fiscal, ”donde aparece, pero con los datos personales tapados, que es el que muestra en la Asamblea Juan Lobato, y que no lo estaban en el correo que con anterioridad había recibido él de Presidencia”."
+          ]
+        }
+      ]
+    },
+    "images": [
+      {
+        "versions": [
+          {
+            "url": "https://www.lavanguardia.com/files/content_image_intermediate_filter/uploads/2025/01/13/678525bfebea7.jpeg",
+            "query_width": "min-width:480",
+            "size": null,
+            "type": "image/jpeg"
+          },
+          {
+            "url": "https://www.lavanguardia.com/files/content_image_desktop_filter/uploads/2025/01/13/678525bfebea7.jpeg",
+            "query_width": "min-width:638",
+            "size": null,
+            "type": "image/jpeg"
+          },
+          {
+            "url": "https://www.lavanguardia.com/files/content_image_mobile_filter/uploads/2025/01/13/678525bfebea7.jpeg",
+            "query_width": null,
+            "size": {
+              "width": 449,
+              "height": 220
+            },
+            "type": "image/jpeg"
+          }
+        ],
+        "is_cover": false,
+        "description": "El fiscal general del Estado, Álvaro García Ortiz",
+        "caption": "El fiscal general del Estado, Álvaro García Ortiz",
+        "authors": [
+          "Álex Cámara - Europa Press / Europa Press"
+        ],
+        "position": 555
+      }
+    ],
+    "publishing_date": "2025-01-13 10:22:29+01:00",
+    "title": "El juez cita como investigado al fiscal general por revelar datos de la pareja de Díaz Ayuso"
+  }
+}

tests/resources/parser/test_data/es/meta.info

@@ -10,5 +10,9 @@
   "ElPais_2024_10_15.html.gz": {
     "url": "https://elpais.com/internacional/2024-10-15/bruselas-sondea-la-apertura-de-centros-de-deportacion-fuera-de-la-union-europea.html",
     "crawl_date": "2024-10-15 17:43:35.457824"
+  },
+  "LaVanguardia_2025_01_13.html.gz": {
+    "url": "https://www.lavanguardia.com/politica/20250113/10277301/juez-cita-investigado-fiscal-general-revelar-datos-pareja-diaz-ayuso.html",
+    "crawl_date": "2025-01-13 19:51:18.100984"
   }
 }