Brenmor использует ML.NET для улучшения обслуживания пациентов и качества обслуживания

Компания Brenmor Technologies сотрудничает с медицинскими группами и поставщиками планов медицинского страхования для создания решений в области удовлетворенности пациентов, которые улучшают обслуживание пациентов. Они работают в тесном сотрудничестве со своими клиентами над созданием индивидуальных опросов пациентов, которые являются статистически достоверным и экономически эффективным способом выявления сильных и слабых сторон, а затем разработки инициатив по улучшению. Эти опросы часто содержат как минимум один текстовый ответ в свободной форме. В ходе анализа эти ответы изучаются и распределяются по определенному набору категорий, чтобы клиенты могли улучшить опыт посещения и качество обслуживания, действуя непосредственно на основе отзывов пациентов.

Бизнес-проблема

Решение Brenmor обеспечивает глубокое понимание и аналитику, которые в значительной степени зависят от данных опросов пациентов. Возможность анализировать текстовые ответы пациентов в произвольной форме по нескольким категориям и по положительному или отрицательному настроению имеет решающее значение для медицинских групп, планов медицинского страхования и поставщиков медицинских услуг (то есть врачей), поскольку эти аудитории должны понимать и создавать действенные планы на основе взвешенных отзывов пациентов.

Благодаря распределению ответов пациентов по категориям различные организации-клиенты получают соответствующие ответы для анализа и определения инициатив в области качества. Например, комментарии, относящиеся к категориям "Поставщик" или "Персонал", передаются специалистам, которые работают с пациентами один на один, а такие категории, как "Запись на прием" и "Телефонные звонки", направляются персоналу регистратуры.

Сегодня медицинским работникам требуется обратная связь о качестве услуг, предоставляемых медицинскими группами, офисами и поставщиками, практически в режиме реального времени, однако ручная категоризация выполняется медленно и подвержена несоответствиям. Поэтому компания Brenmor решила заменить свой ежемесячный ручной процесс категоризации решением для машинного обучения классификации по нескольким классам, чтобы быстро и точно классифицировать сложные текстовые ответы пациентов в произвольной форме.

Почему ML.NET?

Выбор ML.NET был привлекательным решением, учитывая существующие инвестиции Brenmor в решения .NET. Кроме того, надежный набор примеров кода ML.NET, предоставленный Microsoft, дал Brenmor четкий путь к работающей реализации. Возможность быстро и легко создать модель машинного обучения с помощью AutoML, а затем использовать эту модель в своих существующих решениях позволила Brenmor предоставить решение для вывода на рынок за считанные недели.

С тех пор, как мы начали работу с ML.NET, корпорация Майкрософт быстро усовершенствовала продукт ML.NET. Это привело к значительному увеличению скорости и точности категоризации сложных, произвольных, терпеливых текстовых ответов. Наши клиенты в восторге".

Влияние ML.NET и AutoML

Возможность масштабировать классификацию текстовых ответов пациентов в свободной форме стала огромным преимуществом для компании Brenmor. Ранее категоризация производилась раз в месяц и занимала примерно 16 человеко-часов. С ML.NET эта классификация выполняется в режиме реального времени и предоставляет немедленную обратную связь клиентам аналитики Brenmor, которые теперь могут тратить меньше времени на анализ и больше времени на реализацию решений проблем, выявленных моделью ML.NET.

Еще одним огромным преимуществом, которое Brenmor увидел в использовании ML.NET, является повышенная точность. Текстовые ответы пациентов часто содержат несколько тем. До ML.NET точность определялась вручную разными людьми; это было подвержено ошибкам, и мультиклассовая классификация с уровнями достоверности была невозможна. Поддержка многоклассовой классификации ML.NET позволила Brenmor повысить точность классификации с 50% до примерно 76% и предоставляет клиентам компании уровни достоверности для обнаружения нескольких категорий.

Кроме того, при использовании AutoML с ML.NET не требовалось понимания низкоуровневых нюансов алгоритмов машинного обучения и обширного набора гиперпараметров алгоритмов. Разработчикам Brenmor больше не нужно было часами тестировать различные алгоритмы и настраивать гиперпараметры в поисках лучшей модели. Эта экономия времени принесла Бренмору огромную пользу, поскольку позволила больше сосредоточиться на улучшении исходных данных обучения.

Из-за интеллектуальных возможностей, которые предоставляет AutoML, корпорация Майкрософт, по сути, предоставила пользователям ML.NET скрытого специалиста по данным. Это огромная ценность для сообщества .NET!"

Архитектура решения

Создание приложения с ML.NET

Технический стек приложения Brenmor для категоризации опросов состоит из ML.NET, ASP.NET Core, Entity Framework Core и SQL Server.

Много времени было выделено на создание четкого и лаконичного набора обучающих данных, в основном основанных на необработанных ответах на опросы. Теперь, когда приложение выполняется в производственной среде, когда есть результаты прогнозирования с низкой достоверностью, эти комментарии проверяются и становятся дополнительными обучающими данными. Этот рабочий процесс представляет собой процесс «отфильтровать и повторить», который вносит дополнительный интеллект и точность в модель машинного обучения. Версии обновленных моделей машинного обучения устанавливаются в системе управления исходным кодом и автоматически развертываются в рамках регулярных запланированных развертываний в Azure DevOps.

Обработка данных

Первоначальные обучающие данные, которые состояли примерно из 3000 строк комментариев в произвольной форме, были получены из необработанных ответов на опросы пациентов. Все данные, используемые Brenmor, были сначала очищены HIPPA, а затем разделены на краткие обучающие данные для более точного взвешивания комментариев с несколькими категориями. Как только появился первоначальный точный набор обучающих данных и была установлена точность классификации, ручной процесс значительно сократился.

Преобразования данных и алгоритмы машинного обучения

Компания Brenmor использовала AutoML с ML.NET для автоматического создания преобразований данных и алгоритмов машинного обучения, которые привели к созданию модели высочайшего качества. Используемые преобразования данных включают сопоставление значения с ключом и функции текста, а используемые алгоритмы включают алгоритм One Versus All для классификации по нескольким классам (категоризации комментариев) и целевой Двоичный алгоритм логистической регрессии L-BFGS для двоичной классификации (положительные и отрицательные комментарии).

AutoML с ML.NET также сгенерировал приведенный ниже набор параметров алгоритма для дальнейшей точной настройки модели для достижения оптимальной точности модели.

var trainer = mlContext.MulticlassClassification.Trainers.OneVersusAll(mlContext.BinaryClassification.Trainers.LbfgsLogisticRegression(new LbfgsLogisticRegressionBinaryTrainer.Options(){
    L2Regularization = 0.7512906f,
    L1Regularization = 0.4493316f,
    OptmizationTolerance = 0.0001f,
    HistorySize = 50,
    MaximumNumberOfIterations = 348607332,
    InitialWeightsDiameter = 0.1322905f,
    DenseOptimizer = false,
    LabelColumnName = "Category",
    FeatureColumnName = "Features",
    }),
    labelColumnName: "Category")
.Append(mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel", "PredictedLabel"));

Сегодня удовлетворенность пациентов является растущей потребностью для медицинских групп и планов медицинского обслуживания, и возможность слышать непосредственно пациентов имеет решающее значение. Прием входных данных опроса, а также анализ и классификация текстовых ответов в произвольной форме сложны и требуют высокой степени точности. Используя ML.NET и AutoML, Brenmor смогла быстро и точно предоставить своим клиентам дополнительную информацию и аналитику, связанные с опытом пациентов.