Support variation of Thies LNM format from pyAtmosLogger

cloudnetpy/instruments/disdrometer/thies.py

@@ -148,14 +148,14 @@ def convert_units(self) -> None:
         self._convert_data(("T_laser_driver",), c_to_k, method="add")
 
     def _read_data(self, filename: str | PathLike) -> None:
-        with open(filename) as file:
+        with open(filename, errors="ignore") as file:
             first_line = file.readline()
         if "TOA5" in first_line:
             units, process, rows = read_toa5(filename)
             for row in rows:
                 self._read_line(row["RawString"], row["TIMESTAMP"])
-        elif first_line.startswith("Datetime [utc];Device address;"):
-            with open(filename) as file:
+        elif first_line.lower().startswith("datetime [utc];"):
+            with open(filename, errors="ignore") as file:
                 first_line = file.readline()
                 for line in file:
                     timestamp, telegram = line.split(";", maxsplit=1)
@@ -165,7 +165,7 @@ def _read_data(self, filename: str | PathLike) -> None:
                     )
                     self._read_line(fixed_telegram, parsed_timestamp)
         else:
-            with open(filename) as file:
+            with open(filename, errors="ignore") as file:
                 for line in file:
                     self._read_line(line)
         if len(self.raw_data["time"]) == 0:

tests/unit/data/thies-lnm/20241003_lnm_lindenberg.csv

@@ -0,0 +1,4 @@
+datetime [utc];STX (start identifier);Device address;Serial number;Software version;Date of the sensor (tt.mm.jj);Time of the sensor (on request);5min_SYNOP_4677 (5 minutes mean value);5min_SYNOP_4680 (5 minutes mean value);5min_METAR_4678 (5 minutes mean value);5min_intensity (5 minutes mean value);1min_SYNOP_4677 (1 minutes mean value);1min_SYNOP_4680 (1 minutes mean value);1min_METAR_4678 (1 minutes mean value);1min_total_intensity [mm/h] total precipitation;1min_liquid_intensity [mm/h] liquid precipitation;1min_solid_intensity [mm/h] solid precipitation;Precipitation amount [mm];1min Visibility in precipitation [m];1min_radar_reflectivity [dBZ];1min_measuring_quality [%];1min_max_hail_diam [mm];Status Laser (OK/on:0, off:1);Status signal (OK:0, Error:1);Status Laser temperature (OK:0, Error:1);Status Laser temperature (OK:0, Error:1);Status Laser current (OK:0, Error:1);Status Laser current (OK:0, Error:1);Status Sensor supply (OK:0, Error:1);Status Current pane heating laser head (OK:0, warning:1);Status Current pane heating receiver head (OK:0, warning:1);Status Temperature sensor (OK:0, warning:1);Status Heating supply (OK:0, warning:1);Status Current heating housing (OK:0, warning:1);Status Current heating heads (OK:0, warning:1);Status Current heating carriers (OK:0, warning:1);Status Control output laser power (OK:0, warning:1);Reserve Status;Interior temperature [�C];Temperature of laser driver 0-80�C;Mean value laser current [1/100 mA];Control voltage [mV] (reference value: 4010�5);Optical control output [mV] (2300 � 6500);Voltage sensor supply [1/10V];Current pane heating laser head [mA];Current pane heating receiver head [mA];Ambient temperature [�C];Voltage Heating supply [1/10 V];Current heating housing [mA];Current heating heads [mA];Current heating carriers [mA];Number of all measured particles ;internal_1 (internal data);Number of particles < minimal speed (0.15m/s);internal_2 (internal data);Number of particles > maximal speed (20m/s);internal_3 (internal data);Number of particles < minimal diameter (0.15mm);internal_4 (internal data);Number of particles no hydrometeor;Total volume (gross) of this class;Number of particles with unknown classification;Total volume (gross) of this class;no_of_type_1;vol_of_type_1;no_of_type_2;vol_of_type_2;no_of_type_3;vol_of_type_3;no_of_type_4;vol_of_type_4;no_of_type_5;vol_of_type_5;no_of_type_6;vol_of_type_6;no_of_type_7;vol_of_type_7;no_of_type_8;vol_of_type_8;no_of_type_9;vol_of_type_9;diam_1_speed_1;diam_1_speed_2;diam_1_speed_3;diam_1_speed_4;diam_1_speed_5;diam_1_speed_6;diam_1_speed_7;diam_1_speed_8;diam_1_speed_9;diam_1_speed_10;diam_1_speed_11;diam_1_speed_12;diam_1_speed_13;diam_1_speed_14;diam_1_speed_15;diam_1_speed_16;diam_1_speed_17;diam_1_speed_18;diam_1_speed_19;diam_1_speed_20;diam_2_speed_1;diam_2_speed_2;diam_2_speed_3;diam_2_speed_4;diam_2_speed_5;diam_2_speed_6;diam_2_speed_7;diam_2_speed_8;diam_2_speed_9;diam_2_speed_10;diam_2_speed_11;diam_2_speed_12;diam_2_speed_13;diam_2_speed_14;diam_2_speed_15;diam_2_speed_16;diam_2_speed_17;diam_2_speed_18;diam_2_speed_19;diam_2_speed_20;diam_3_speed_1;diam_3_speed_2;diam_3_speed_3;diam_3_speed_4;diam_3_speed_5;diam_3_speed_6;diam_3_speed_7;diam_3_speed_8;diam_3_speed_9;diam_3_speed_10;diam_3_speed_11;diam_3_speed_12;diam_3_speed_13;diam_3_speed_14;diam_3_speed_15;diam_3_speed_16;diam_3_speed_17;diam_3_speed_18;diam_3_speed_19;diam_3_speed_20;diam_4_speed_1;diam_4_speed_2;diam_4_speed_3;diam_4_speed_4;diam_4_speed_5;diam_4_speed_6;diam_4_speed_7;diam_4_speed_8;diam_4_speed_9;diam_4_speed_10;diam_4_speed_11;diam_4_speed_12;diam_4_speed_13;diam_4_speed_14;diam_4_speed_15;diam_4_speed_16;diam_4_speed_17;diam_4_speed_18;diam_4_speed_19;diam_4_speed_20;diam_5_speed_1;diam_5_speed_2;diam_5_speed_3;diam_5_speed_4;diam_5_speed_5;diam_5_speed_6;diam_5_speed_7;diam_5_speed_8;diam_5_speed_9;diam_5_speed_10;diam_5_speed_11;diam_5_speed_12;diam_5_speed_13;diam_5_speed_14;diam_5_speed_15;diam_5_speed_16;diam_5_speed_17;diam_5_speed_18;diam_5_speed_19;diam_5_speed_20;diam_6_speed_1;diam_6_speed_2;diam_6_speed_3;diam_6_speed_4;diam_6_speed_5;diam_6_speed_6;diam_6_speed_7;diam_6_speed_8;diam_6_speed_9;diam_6_speed_10;diam_6_speed_11;diam_6_speed_12;diam_6_speed_13;diam_6_speed_14;diam_6_speed_15;diam_6_speed_16;diam_6_speed_17;diam_6_speed_18;diam_6_speed_19;diam_6_speed_20;diam_7_speed_1;diam_7_speed_2;diam_7_speed_3;diam_7_speed_4;diam_7_speed_5;diam_7_speed_6;diam_7_speed_7;diam_7_speed_8;diam_7_speed_9;diam_7_speed_10;diam_7_speed_11;diam_7_speed_12;diam_7_speed_13;diam_7_speed_14;diam_7_speed_15;diam_7_speed_16;diam_7_speed_17;diam_7_speed_18;diam_7_speed_19;diam_7_speed_20;diam_8_speed_1;diam_8_speed_2;diam_8_speed_3;diam_8_speed_4;diam_8_speed_5;diam_8_speed_6;diam_8_speed_7;diam_8_speed_8;diam_8_speed_9;diam_8_speed_10;diam_8_speed_11;diam_8_speed_12;diam_8_speed_13;diam_8_speed_14;diam_8_speed_15;diam_8_speed_16;diam_8_speed_17;diam_8_speed_18;diam_8_speed_19;diam_8_speed_20;diam_9_speed_1;diam_9_speed_2;diam_9_speed_3;diam_9_speed_4;diam_9_speed_5;diam_9_speed_6;diam_9_speed_7;diam_9_speed_8;diam_9_speed_9;diam_9_speed_10;diam_9_speed_11;diam_9_speed_12;diam_9_speed_13;diam_9_speed_14;diam_9_speed_15;diam_9_speed_16;diam_9_speed_17;diam_9_speed_18;diam_9_speed_19;diam_9_speed_20;diam_10_speed_1;diam_10_speed_2;diam_10_speed_3;diam_10_speed_4;diam_10_speed_5;diam_10_speed_6;diam_10_speed_7;diam_10_speed_8;diam_10_speed_9;diam_10_speed_10;diam_10_speed_11;diam_10_speed_12;diam_10_speed_13;diam_10_speed_14;diam_10_speed_15;diam_10_speed_16;diam_10_speed_17;diam_10_speed_18;diam_10_speed_19;diam_10_speed_20;diam_11_speed_1;diam_11_speed_2;diam_11_speed_3;diam_11_speed_4;diam_11_speed_5;diam_11_speed_6;diam_11_speed_7;diam_11_speed_8;diam_11_speed_9;diam_11_speed_10;diam_11_speed_11;diam_11_speed_12;diam_11_speed_13;diam_11_speed_14;diam_11_speed_15;diam_11_speed_16;diam_11_speed_17;diam_11_speed_18;diam_11_speed_19;diam_11_speed_20;diam_12_speed_1;diam_12_speed_2;diam_12_speed_3;diam_12_speed_4;diam_12_speed_5;diam_12_speed_6;diam_12_speed_7;diam_12_speed_8;diam_12_speed_9;diam_12_speed_10;diam_12_speed_11;diam_12_speed_12;diam_12_speed_13;diam_12_speed_14;diam_12_speed_15;diam_12_speed_16;diam_12_speed_17;diam_12_speed_18;diam_12_speed_19;diam_12_speed_20;diam_13_speed_1;diam_13_speed_2;diam_13_speed_3;diam_13_speed_4;diam_13_speed_5;diam_13_speed_6;diam_13_speed_7;diam_13_speed_8;diam_13_speed_9;diam_13_speed_10;diam_13_speed_11;diam_13_speed_12;diam_13_speed_13;diam_13_speed_14;diam_13_speed_15;diam_13_speed_16;diam_13_speed_17;diam_13_speed_18;diam_13_speed_19;diam_13_speed_20;diam_14_speed_1;diam_14_speed_2;diam_14_speed_3;diam_14_speed_4;diam_14_speed_5;diam_14_speed_6;diam_14_speed_7;diam_14_speed_8;diam_14_speed_9;diam_14_speed_10;diam_14_speed_11;diam_14_speed_12;diam_14_speed_13;diam_14_speed_14;diam_14_speed_15;diam_14_speed_16;diam_14_speed_17;diam_14_speed_18;diam_14_speed_19;diam_14_speed_20;diam_15_speed_1;diam_15_speed_2;diam_15_speed_3;diam_15_speed_4;diam_15_speed_5;diam_15_speed_6;diam_15_speed_7;diam_15_speed_8;diam_15_speed_9;diam_15_speed_10;diam_15_speed_11;diam_15_speed_12;diam_15_speed_13;diam_15_speed_14;diam_15_speed_15;diam_15_speed_16;diam_15_speed_17;diam_15_speed_18;diam_15_speed_19;diam_15_speed_20;diam_16_speed_1;diam_16_speed_2;diam_16_speed_3;diam_16_speed_4;diam_16_speed_5;diam_16_speed_6;diam_16_speed_7;diam_16_speed_8;diam_16_speed_9;diam_16_speed_10;diam_16_speed_11;diam_16_speed_12;diam_16_speed_13;diam_16_speed_14;diam_16_speed_15;diam_16_speed_16;diam_16_speed_17;diam_16_speed_18;diam_16_speed_19;diam_16_speed_20;diam_17_speed_1;diam_17_speed_2;diam_17_speed_3;diam_17_speed_4;diam_17_speed_5;diam_17_speed_6;diam_17_speed_7;diam_17_speed_8;diam_17_speed_9;diam_17_speed_10;diam_17_speed_11;diam_17_speed_12;diam_17_speed_13;diam_17_speed_14;diam_17_speed_15;diam_17_speed_16;diam_17_speed_17;diam_17_speed_18;diam_17_speed_19;diam_17_speed_20;diam_18_speed_1;diam_18_speed_2;diam_18_speed_3;diam_18_speed_4;diam_18_speed_5;diam_18_speed_6;diam_18_speed_7;diam_18_speed_8;diam_18_speed_9;diam_18_speed_10;diam_18_speed_11;diam_18_speed_12;diam_18_speed_13;diam_18_speed_14;diam_18_speed_15;diam_18_speed_16;diam_18_speed_17;diam_18_speed_18;diam_18_speed_19;diam_18_speed_20;diam_19_speed_1;diam_19_speed_2;diam_19_speed_3;diam_19_speed_4;diam_19_speed_5;diam_19_speed_6;diam_19_speed_7;diam_19_speed_8;diam_19_speed_9;diam_19_speed_10;diam_19_speed_11;diam_19_speed_12;diam_19_speed_13;diam_19_speed_14;diam_19_speed_15;diam_19_speed_16;diam_19_speed_17;diam_19_speed_18;diam_19_speed_19;diam_19_speed_20;diam_20_speed_1;diam_20_speed_2;diam_20_speed_3;diam_20_speed_4;diam_20_speed_5;diam_20_speed_6;diam_20_speed_7;diam_20_speed_8;diam_20_speed_9;diam_20_speed_10;diam_20_speed_11;diam_20_speed_12;diam_20_speed_13;diam_20_speed_14;diam_20_speed_15;diam_20_speed_16;diam_20_speed_17;diam_20_speed_18;diam_20_speed_19;diam_20_speed_20;diam_21_speed_1;diam_21_speed_2;diam_21_speed_3;diam_21_speed_4;diam_21_speed_5;diam_21_speed_6;diam_21_speed_7;diam_21_speed_8;diam_21_speed_9;diam_21_speed_10;diam_21_speed_11;diam_21_speed_12;diam_21_speed_13;diam_21_speed_14;diam_21_speed_15;diam_21_speed_16;diam_21_speed_17;diam_21_speed_18;diam_21_speed_19;diam_21_speed_20;diam_22_speed_1;diam_22_speed_2;diam_22_speed_3;diam_22_speed_4;diam_22_speed_5;diam_22_speed_6;diam_22_speed_7;diam_22_speed_8;diam_22_speed_9;diam_22_speed_10;diam_22_speed_11;diam_22_speed_12;diam_22_speed_13;diam_22_speed_14;diam_22_speed_15;diam_22_speed_16;diam_22_speed_17;diam_22_speed_18;diam_22_speed_19;diam_22_speed_20;checksum
+2024-10-03 00:00:41;00;1025;2.70;03.10.24;00:00:40;00;00;NP   ;000.000;00;00;NP   ;000.000;000.000;000.000;0382.44;99999;-9.9;100;0.0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;+10;17;0852;4010;1798;277;148;151;99999;999;9999;9999;9999;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;74;
+2024-10-03 00:01:41;00;1025;2.70;03.10.24;00:01:40;00;00;NP   ;000.000;00;00;NP   ;000.000;000.000;000.000;0382.44;99999;-9.9;100;0.0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;+10;17;0851;4011;1798;277;149;151;99999;999;9999;9999;9999;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;72;
+2024-10-03 00:02:41;00;1025;2.70;03.10.24;00:02:40;00;00;NP   ;000.000;00;00;NP   ;000.000;000.000;000.000;0382.44;99999;-9.9;100;0.0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;+10;17;0851;4011;1798;277;149;150;99999;999;9999;9999;9999;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;00000;00000.000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;000;72;

tests/unit/test_disdrometer.py

@@ -366,6 +366,32 @@ def test_processing(self):
         )
 
 
+class TestThies5(Check):
+    date = "2024-10-03"
+    temp_dir = TemporaryDirectory()
+    temp_path = temp_dir.name + "/test.nc"
+    filename = f"{SCRIPT_PATH}/data/thies-lnm/20241003_lnm_lindenberg.csv"
+    site_meta = SITE_META
+    uuid = disdrometer.thies2nc(filename, temp_path, site_meta, date=date)
+
+    def test_processing(self):
+        assert self.nc.title == f'LNM disdrometer from {self.site_meta["name"]}'
+        assert self.nc.year == "2024"
+        assert self.nc.month == "10"
+        assert self.nc.day == "03"
+        assert self.nc.location == "Kumpula"
+        assert self.nc.cloudnet_file_type == "disdrometer"
+        assert self.nc.serial_number == "1025"
+        assert np.allclose(
+            self.nc["time"][:],
+            [
+                timedelta(hours=0, minutes=0, seconds=41) / timedelta(hours=1),
+                timedelta(hours=0, minutes=1, seconds=41) / timedelta(hours=1),
+                timedelta(hours=0, minutes=2, seconds=41) / timedelta(hours=1),
+            ],
+        )
+
+
 class TestInvalidCharacters(Check):
     temp_dir = TemporaryDirectory()
     temp_path = temp_dir.name + "/test.nc"