Один рейс попал в отчёт дважды: как искать дубли по нескольким признакам
Как отличить повторную загрузку записи от двух похожих поездок и сохранить проверяемую историю исправления.
В месячном отчёте нашлись два одинаковых рейса: машина, дата и маршрут совпадают. Рука тянется удалить один. Но водитель действительно мог съездить дважды. Поиск дублей должен сначала находить подозрительные записи, а уже потом давать основание для исправления.
Определить, что считается одним событием
Рейс в вашем учёте должен иметь ясные границы: отдельное задание, поездка между двумя точками или работа по определённому документу. Если один филиал передаёт смену одной строкой, а другой разбивает её на поездки, сравнение одинаково названных строк даст странный результат ещё до поиска повторов.
Лучший исходный признак — устойчивый номер события в системе-источнике вместе с обозначением самого источника. Номер 125 из двух разных журналов не обязан относиться к одной поездке. Сохраняйте также номер документа, машину, начало и окончание, маршрут и версию записи. Эти поля помогут разобраться, когда идентификатор отсутствует или был присвоен заново.
Разделить совпадения по силе
Не все одинаковые значения одинаково убедительны. Условная таблица показывает порядок проверки, а не автоматическое разрешение удалить строку.
| Совпадение | Возможное объяснение | Действие |
|---|---|---|
| Источник и номер события, одинаковая версия | Повторная загрузка | Сверить содержимое и журнал импорта |
| Источник и номер, разные версии | Исправление прежнего события | Определить действующую версию |
| Машина, дата, маршрут | Повторная реальная поездка | Проверить время и документы |
| Машина и пересекающееся время | Дубль, ошибка времени или разные показатели | Проверить смысл записей |
| Одинаковые суммы без общих реквизитов | Случайное совпадение | Не считать доказательством дубля |
Сохранить исходник до очистки
Работайте с копией выгрузки и сохраните полученный файл без исправлений. Каждой строке присвойте внутреннюю ссылку на источник: файл, лист или пакет, номер строки. Когда две записи окажутся похожими, проверяющий сможет вернуться к тому, что действительно прислал филиал.
Подготовка данных может включать удаление лишних пробелов, единый формат даты и сопоставление известных обозначений машин. Но исходное значение должно оставаться доступным. Автоматическая замена похожих номеров способна объединить разные машины, особенно если в одном документе встречаются опечатки. Не исправляйте неопределённость молча.
Сначала найти кандидатов
Сгруппируйте записи по сильному ключу: источник плюс идентификатор. Отдельно сформируйте список похожих строк по машине, дате и времени. В первом списке ищут повторный импорт и версии; во втором — возможные ошибки, требующие рассмотрения. Это разные проверки с разной уверенностью результата.
В документации Oracle 10g описаны уникальность значения или сочетания полей и первичный ключ, который идентифицирует строку. Для организации учёта из этого полезен принцип: ключ должен соответствовать смыслу события. Ограничение «одна машина — одна дата» может технически работать, но запретит несколько настоящих рейсов за день. [1]
Разобрать две похожие поездки
Условный пример: машина М-12 везёт материалы с базы на участок в 09:00 и в 14:00. Маршрут и расстояние одинаковы, номера заданий разные. Это две поездки. Если удалить одну по совпадению даты и маршрута, месячный пробег уменьшится без всякого отношения к фактической работе.
Теперь другой пример: одна поездка с номером Р-318 пришла в утренней выгрузке, а затем повторилась в полном дневном файле. Источник, версия и содержимое совпадают. Проверяющий подтверждает повторное включение и исключает из расчёта одну запись, сохраняя связь с оставшейся.
Третий случай сложнее: Р-318 повторилась с исправленным временем окончания. Это может быть новая версия того же события. Нужно выяснить, кто изменил запись, когда и на каком основании. Сложить обе строки нельзя, а выбрать последнюю только по времени копирования файла — недостаточно.
Фиксировать решение, а не стирать следы
В журнале проверки укажите группу кандидатов, основание, решение, проверяющего и действующую запись. Для настоящих повторных рейсов сохраните отметку, объясняющую совпадение. Иначе следующая автоматическая проверка снова принесёт тот же вопрос. Для ошибочного дубля отметьте исключение из конкретного расчёта.
Проверьте изменение итогов: число рейсов, пробег, время и другие связанные показатели. Если исключили одну запись на восемьдесят километров, изменение пробега должно объясняться именно ею. Контроль только общей суммы недостаточен: две ошибки могут компенсировать друг друга. Сохраните ссылку на подтверждение каждой исключённой записи.
Предотвратить повторный импорт
После разовой очистки установите правило повторной загрузки одного пакета. Система должна различать уже принятый источник, новую версию и действительно новое событие. В простой организации это может быть журнал принятых файлов; в программном решении — проверка устойчивых ключей и версий.
Проверьте правило на копии: загрузите один пакет дважды и убедитесь, что итог не удвоился. Затем передайте исправленную версию и проверьте, что история сохранилась, а действующий расчёт использует нужное значение. Такой маленький опыт полезнее большой кнопки «Удалить дубликаты», смысл которой никто не успел согласовать.