Xóa các dòng trùng lặp

Giới thiệu về công cụ này

Công cụ này làm sạch một khối văn bản bằng cách loại bỏ các dòng trùng lặp, so sánh mỗi dòng với những dòng đã xuất hiện trước đó và chỉ giữ lại lần xuất hiện đầu tiên, nhờ vậy thứ tự ban đầu của các dòng còn lại được giữ nguyên thay vì bị sắp xếp hay xáo trộn. Nó chỉ so khớp dòng một cách chính xác tuyệt đối, nên hai dòng chỉ khác nhau một dấu cách ở cuối hay một chữ in hoa cũng bị coi là khác nhau.

Nó được lập trình viên dùng để dọn dẹp file log, file CSV xuất ra hay danh sách URL và địa chỉ email đã tích tụ các mục lặp lại, và bởi bất kỳ ai gộp hai danh sách — danh bạ, công việc, từ khóa — muốn có một bản sạch duy nhất mà không phải dò tìm chỗ lặp bằng mắt. Đây là bước quen thuộc trước khi nhập danh sách vào bảng tính hay cơ sở dữ liệu, nơi các hàng trùng lặp sẽ gây lỗi hoặc làm sai lệch số đếm.