Данные и их качество: типы, пропуски, дубли, выбросы

Как выглядят данные

Для расследования попросим у разработчиков «Чайной лавки» выгрузку заказов за апрель и май. Это таблица, где каждая строка — один заказ:

У каждого столбца свой тип данных:

• число — сумма заказа amount: её можно складывать и сравнивать;
• дата — order_date: по ней группируют по дням и месяцам;
• текст — город и источник source: по ним делят заказы на группы;
• идентификатор — номер заказа и покупателя: они только различают записи, складывать их бессмысленно.

Аналитику важно понимать, что означает каждый столбец. Например, source — источник посещения, после которого человек сделал заказ: поиск, реклама или рассылка. Если неясно, как считается столбец, — спросите у того, кто делал выгрузку. Это быстрее, чем потом переделывать выводы.

Проверяем, можно ли верить данным

В выгрузке за апрель 812 строк, а в отчёте руководителя — 800 заказов. Разница всего 12 строк, но с неё и начинается проверка.

Дубли. Сортируем по order_id и находим 9 номеров, которые встречаются дважды. Это повторы при выгрузке: один и тот же заказ записан два раза. Оставляем по одной строке.

Тестовые записи. Ещё 3 заказа на 1 ₽ от покупателя «Тест» — их делали разработчики, проверяя оплату. Это не продажи, убираем.

После чистки остаётся 800 заказов — ровно как в отчёте. Посмотрим, что было бы, если бы мы считали по сырой выгрузке:

Здесь разница небольшая. Но представьте, что в апреле проходила массовая проверка оплаты и тестовых заказов было 200. Тогда по сырым данным число заказов упало бы на 34% вместо настоящих 18%, и руководитель принял бы решение по выдуманной цифре.

Пропуски, выбросы и форматы

Пропуски. У 27 апрельских заказов не указан город: покупатель не заполнил поле. Заполнять пустые ячейки «самым частым городом» нельзя — так в Москве окажется больше покупателей, чем на самом деле. Для выручки эти заказы считаем как обычно, а при разбивке по городам выделяем в отдельную группу «не указан».

Отдельно запомните: пропуск — не ноль. Если у товара не указан вес, это не значит, что он весит 0 граммов.

Выбросы — значения, которые сильно отличаются от остальных. Допустим, среди заказов на 1–2 тысячи рублей вы видите заказ на 85 000 ₽. Удалять его сразу нельзя: сначала выясните, что это.

• Ошибка — например, лишний ноль при вводе. Её исправляют или убирают.
• Настоящее редкое событие — кафе закупило чай на квартал вперёд. Его оставляют, но считают отдельно, иначе он исказит средний чек.

В данных «Чайной лавки» за апрель и май таких заказов нет, но проверять их нужно всегда.

Форматы. Частая поломка в выгрузках — числа и даты, записанные текстом: 1 500 ₽ вместо 1500, 05.04.2026 в одном столбце с 2026-04-05. Формулы не сложат такие суммы, а сортировка пойдёт по алфавиту. Подробно о типах данных в таблицах — в курсе «Excel и Google Таблицы».

Записывайте, что сделали

Чистка данных — часть результата. Если через месяц руководитель спросит, почему в вашем отчёте 800 заказов, а в выгрузке 812, нужен ответ. Поэтому аналитик ведёт короткую запись:

Апрель, выгрузка заказов: 812 строк.
− 9 дублей по order_id
− 3 тестовых заказа (покупатель «Тест», сумма 1 ₽)
= 800 заказов, сходится с отчётом.
Город не указан у 27 заказов: оставлены, в разбивке по городам — «не указан».

Теперь данным можно верить. В следующем уроке найдём в них первую подсказку.