Silent exit after 31 x 2 GB GZIP-ed CSV imports #12453
Description
What happens?
I'm having another look at the 1.1B taxi rides benchmark with v1.0.0 that was just released on Windows 11. Since that post, I've upgraded to 96 GB of DDR5.
I created a SQL file that has 56 insert commands so that after each INSERT, DuckDB will free up resources before importing the next file. There are 54 of these statements in total.
INSERT INTO trips SELECT * FROM READ_CSV('../taxi/trips_xaa.csv.gz');
INSERT INTO trips SELECT * FROM READ_CSV('../taxi/trips_xab.csv.gz');
INSERT INTO trips SELECT * FROM READ_CSV('../taxi/trips_xac.csv.gz');
...After 31 imports, DuckDB exits without any error message.
D:\test_taxi>c:\Users\markl\Downloads\duckdb.exe working.duckdb
v1.0.0 1f98600c2c
Enter ".help" for usage hints.
D .read load.sql100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
100% ?████████████████████████████████████████████████████████████?
99% ?███████████████████████████████████████████████████████████??
D:\test_taxi>c:\Users\markl\Downloads\duckdb.exe working.duckdb
v1.0.0 1f98600c2c
Enter ".help" for usage hints.
D select count(*) from trips;┌──────────────┐
│ count_star() │
│ int64 │
├──────────────┤
│ 600000000 │
└──────────────┘
To Reproduce
See above.
OS:
Windows 11
DuckDB Version:
v1.0.0
DuckDB Client:
duckdb.exe
Full Name:
Mark Litwintschik
Affiliation:
Green Idea
What is the latest build you tested with? If possible, we recommend testing with the latest nightly build.
I have tested with a stable release
Did you include all relevant data sets for reproducing the issue?
No - I cannot share the data sets because they are confidential
Did you include all code required to reproduce the issue?
- Yes, I have
Did you include all relevant configuration (e.g., CPU architecture, Python version, Linux distribution) to reproduce the issue?
- Yes, I have