Какие задачи решает платформа
DataRobot объединяет средства машинного обучения и управления ИИ в организации. Для прогнозных задач платформа помогает подготовить данные, обучить несколько моделей, сравнить их и перейти к получению прогнозов. В документации также представлены генеративные и агентные сценарии. Для выбора полезно сначала определить тип задачи, поскольку эти направления требуют разных данных и критериев качества.
Прогнозная модель подходит, когда есть история наблюдений и измеряемый результат. Например, по сведениям о заказе нужно оценить вероятность задержки доставки. Генеративный помощник, который пишет комментарий к отчёту, решает другую задачу. Для первой требуется проверка на известных исходах, для второй дополнительно оценивается верность текстовых утверждений.
Целевой признак и момент прогноза
Запишите, что именно должна предсказывать модель. В задаче доставки определите условие задержки и момент, когда прогноз нужен сотруднику. Затем перечислите сведения, доступные в этот момент. Если в обучение попадёт дата фактического прибытия, модель получит ответ, который ещё не известен при рабочем применении.
Такое попадание будущей информации называют утечкой данных. Оно способно дать убедительный результат проверки и бесполезную модель для реальной работы. Обсудите каждое поле с сотрудником, знакомым с процессом. Статус «заказ закрыт» или итоговый комментарий могут косвенно раскрывать ответ так же, как отдельная колонка с задержкой.
Нужно оценивать риск задержки до передачи заказа перевозчику. Используем только сведения, доступные до этого события. Цель определяется по фактическому выполнению согласованного срока. Отдельно проверяем новые направления доставки. Предсказание помогает расставить приоритеты проверки и не меняет обещанный клиенту срок автоматически.
Это пример постановки аналитической задачи. В нём указаны момент прогноза и способ применения результата. Перед началом согласуйте определение цели и возможные последствия ошибки. Пропущенная задержка и лишняя проверка обычного заказа имеют разную стоимость для бизнеса.
Загрузка и проверка данных
В Workbench материалы и эксперименты организуются внутри Use Case. После загрузки изучите поля, типы и распределение значений. Проверьте пустые даты, повторяющиеся записи и разные обозначения одного перевозчика. Если часть истории выгружена из другой системы, выясните, совпадает ли правило определения задержки.
Подготовка данных может включать преобразования и создание признаков. Сохраните порядок операций, чтобы применять тот же способ к новым заказам. Преобразование, выполненное только для обучающей таблицы, приведёт к несовместимости при прогнозе. Сверьте единицы измерения и названия полей до запуска эксперимента.
Разделение данных должно отражать будущий сценарий. Для процесса, который меняется со временем, случайное смешивание старых и новых заказов может давать слишком благоприятную оценку. Рассмотрите проверку на более позднем периоде и следите, чтобы связанные записи не попадали по обе стороны разделения без причины.
Обучение и сравнение моделей
DataRobot строит кандидатов и показывает их в списке результатов эксперимента. Выберите метрику, соответствующую задаче. Для риска задержки полезно понимать, сколько реальных проблем обнаружено и сколько обычных заказов отправлено на лишнюю проверку. Одно сводное значение не объясняет обе стороны ошибки.
Посмотрите распределение ошибок по направлениям и типам заказов. Хорошая общая оценка может скрывать слабый результат на небольшом, но важном участке. Сравните поведение с простым действующим правилом сотрудников. Если новая модель даёт похожий эффект при большей сложности, уточните, какую практическую пользу она добавляет.
Средства анализа влияния признаков помогают понять, что связано с прогнозом. Высокое влияние поля требует содержательной проверки: оно может отражать реальную зависимость или утечку ответа. Объяснение модели показывает её поведение, но не устанавливает причинность. Для решения о процессе нужны предметные знания и отдельное обоснование.
Для выбранного порога рассмотрите реальные примеры ошибочных прогнозов из разрешённого проверочного набора. Обсудите их с сотрудником, который будет принимать решение. Это помогает определить, какие случаи модель передаёт на ручную проверку и где нужен дополнительный признак.
Прогнозы и развёртывание
Перед развёртыванием получите прогнозы для проверенного набора новых записей. Убедитесь, что поля обработаны тем же способом и каждая строка соответствует ожидаемому заказу. Для пакетной работы предусмотрите сопоставление результата с исходной записью. Ошибка идентификаторов способна сделать правильные оценки неприменимыми.
Решите, какое действие выполняется при высоком риске. Для начала можно передавать результат сотруднику и собирать обратную связь. Полностью автоматическое изменение процесса требует отдельного согласования. В отчёте фиксируйте модель, используемый набор данных и правило превращения прогноза в действие.
Мониторинг после запуска
В DataRobot предусмотрен контроль развёрнутых моделей, включая состояние сервиса и изменения данных. Следите за появлением новых значений и изменением распределений. Когда становятся известны фактические исходы, сравнивайте их с прогнозами. Изменение процесса доставки может потребовать пересмотра модели даже без технического сбоя.
Назначьте ответственного за реакцию на предупреждение и порядок возврата к прежнему решению. Автоматическое переобучение требует контролируемой проверки кандидата. Для другого прикладного подхода сравните Akkio, а для исследования табличного материала изучите Julius. Смежные решения находятся в категории анализа данных.
