Defines valid sentence-endings more strictly

zentrum-lexikographie · Dec 17, 2024 · 2e91271 · 2e91271
1 parent 1b3e16b
commit 2e91271
Show file tree

Hide file tree

Showing 2 changed files with 3 additions and 1 deletion.
diff --git a/gdex/__init__.py b/gdex/__init__.py
@@ -174,7 +174,7 @@ def _de_is_misparsed(sent: Span) -> bool:
         return True
 
     last_token = tokens[-1]
-    if last_token.pos_ != "PUNCT":
+    if last_token.text not in {".", "?", "!"}:
         return True
 
     return False

diff --git a/tests/test_gdex.py b/tests/test_gdex.py
@@ -54,6 +54,8 @@ def test_misparsed():
     assert_knockout("Ein Satz ohne Satzzeichen")
     assert_knockout("ein Satz, der mit Kleinbuchstaben beginnt.")
     assert_knockout(": Ein Satz mit Interpunktion am Anfang.")
+    assert_knockout("Ein Satz, der nach einem Komma geteilt wurde,")
+    assert_knockout("Der nächste Satz gehört inhaltlich eng zu diesem:")
 
 
 def test_finite_verb_and_subject():