mv file nhietmuoi.py > nhietmuoi_hycom.py
Loading
-
💬 @levangOwnerTrong quá trình thực hiện thử nghiệm tải dữ liệu từ HYCOM, người học lựa chọn dữ liệu nhiệt độ và độ muối bề mặt biển để tải, với giới hạn dữ liệu khoảng hơn 20 năm, tần suất 3h 1 dữ liệu >>> tổng số file dữ liệu được tải về khoảng hơn 60,000 file dữ liệu dạng netcdf. Các vấn đề người học gặp phải khi tải dữ liệu:
- Khi thời gian chờ tải cho 1 file dữ liệu quá lâu thì sẽ bị ngắt giữa chừng. Biện pháp người học giải quyết là tăng thời gian tải dữ liệu.
- Với quá nhiều file dữ liệu được tải về, người học khi sử dụng dữ liệu không thể sử dụng nhỏ lẻ file như vậy. Biện pháp: người học thực hiện ghép tất cả các file dữ liệu lại thành 1 dataframe lớn cho toàn bộ dữ liệu. Đôi khi sẽ bị lỗi do không thể ghép quá nhiều file 1 lúc, cho nên người học đã dùng lệnh cdo để ghép nhưng không đề cập trong code này vì cdo được thực hiện sau khi đã tải toàn bộ dữ liệu. Tuy nhiên, người học gặp 1 vấn đề khi sử dụng cdo, đó là, cdo cũng bị giới hạn mở nhiều file 1 lúc, giới hạn thường là 1024 file, vậy cho nên người học phải thực hiện 1 file bash để mỗi lần lặp sẽ có 1000 file dữ liệu được ghép thành data lớn và cứ như vậy có khoảng hơn 60 lần. Tuy nhiên, khi người học sử dụng cdo thì file tổng sau khi ghép của người học lại bị mất khoảng 1000 timestep, hiện tại, người học chưa xử lý được vấn đề này, vì về mặt lý thuyết khi sử dụng cdo, cdo có thể ghép toàn bộ chuỗi dữ liệu lần lượt theo thời gian, tối ưu hơn 1 số lệnh khác. Bởi vậy người học sẽ tiếp tục tiến hành rà soát lại file bash lặp cdo để có thể có được một kế quả chính xác. Bên cạnh đó, người học có sử dụng các mã lệnh như ncrat và ncks, nhưng hiện tại đều chưa thu được kết quả như mong muốn.
- Khi thực hiện tải hơn 20 năm dữ liệu, người học đã mất khoảng 1 tuần để tải hoàn tất. Người học cho rằng đây là thời gian quá lâu để tải dữ liệu. Người học sẽ cân nhắc các biện pháp khác vào chương trình tải lần sau.
-
💬 @levangOwnerBổ sung mục 3: Dữ liệu người học tải trong vùng vịnh Bắc Bộ
Please register or sign in to comment