<< Click to Display Table of Contents >> Интеллектуальные возможности > Сервисы Directum Ario > Адаптация сервисов Ario под бизнес-задачи компании > Настройка извлечения фактов Анализ результатов обучения |
Чтобы оценить качество обученной модели и/или отдельных ее фактов, используются те же метрики, с помощью которых анализировались результаты обучения классификатора.
Однако для анализа обучения моделей извлечения фактов следует учитывать значение дополнительной метрики eter (мера погрешности точности и полноты). Она выводится в ответе запроса на обучение, если в разметке присутствовали составные факты, и отображает коэффициент погрешности в расчете метрик точности (precision) и полноты (recall). При расчете значения метрики eter учитываются ошибки распознавания конкретных фактов и ошибки корректности нанесения соответствующих атрибутов. Чем меньше значение метрики, тем выше качество обученной модели. При этом сравнение значений метрики для моделей разных видов документов непоказательно. В таких случаях верхняя граница может сильно отличаться. С помощью метрики eter допустимо сравнение моделей, которые обучаются в рамках одного вида документа. Но даже в этом случае верхняя граница может меняться от одного цикла обучения к другому. На это влияют документы из выборки, тип извлекаемых реквизитов, качество текстового слоя и др.
© Компания Directum, 2024 |