Brenmor использует ML.NET для улучшения обслуживания пациентов и качества обслуживания

Клиент
Brenmor Technologies

Продукты и службы
ML.NET
AutoML
.NET Core
ASP.NET Core
Entity Framework Core
Visual Studio
SQL Server
Azure DevOps
Dynamics

Промышленность
Здравоохранение

Размер организации
Малый (от 1 до 100 сотрудников)

Страна/регион
Соединенные Штаты Америки

Компания Brenmor Technologies сотрудничает с медицинскими группами и поставщиками планов медицинского страхования для создания решений в области удовлетворенности пациентов, которые улучшают обслуживание пациентов. Они работают в тесном сотрудничестве со своими клиентами над созданием индивидуальных опросов пациентов, которые являются статистически достоверным и экономически эффективным способом выявления сильных и слабых сторон, а затем разработки инициатив по улучшению. Эти опросы часто содержат как минимум один текстовый ответ в свободной форме. В ходе анализа эти ответы изучаются и распределяются по определенному набору категорий, чтобы клиенты могли улучшить опыт посещения и качество обслуживания, действуя непосредственно на основе отзывов пациентов.

Бизнес-проблема

Решение компании Brenmor обеспечивает глубокую аналитику и аналитику, которые в значительной степени зависят от данных опросов пациентов. Возможность анализировать неструктурированные текстовые ответы пациентов, чтобы отнести их к одной из нескольких категориям и определить положительную или отрицательную тональность, имеет решающее значение для медицинских групп, планов медицинского страхования и поставщиков медицинских услуг (то есть врачей), поскольку эти аудитории должны понимать и создавать конкретные планы действий на основе оцененных отзывов пациентов.

Благодаря распределению ответов пациентов по категориям различные организации-клиенты получают соответствующие ответы для анализа и определения инициатив в области качества. Например, комментарии, относящиеся к категориям "Поставщик" или "Персонал", передаются специалистам, которые работают с пациентами один на один, а такие категории, как "Запись на прием" и "Телефонные звонки", направляются персоналу регистратуры.

Сегодня медицинским работникам требуется обратная связь по качеству услуг, предоставляемых медицинскими группами, офисами и поставщиками услуг здравоохранения, практически в режиме реального времени, однако категоризация вручную выполняется медленно и в ней часто возникают несоответствия. Поэтому компания Brenmor решила заменить выполняемый вручную раз в месяц процесс категоризации решением классификации по нескольким категориям на основе машинного обучения, чтобы быстро и точно классифицировать сложные неструктурированные текстовые ответы пациентов.

Почему ML.NET?

Выбор ML.NET был привлекательным решением, учитывая существующие инвестиции Brenmor в решения .NET. Кроме того, надежный набор примеров кода ML.NET, предоставленный Microsoft, дал Brenmor четкий путь к работающей реализации. Возможность быстро и легко создать модель машинного обучения с помощью AutoML, а затем использовать эту модель в своих существующих решениях позволила Brenmor предоставить решение для вывода на рынок за считанные недели.

С тех пор, как мы начали работу с ML.NET, корпорация Майкрософт быстро усовершенствовала продукт ML.NET. Это привело к значительному увеличению скорости и точности категоризации сложных, произвольных, терпеливых текстовых ответов. Наши клиенты в восторге".

Пол Карвер, технический директор Brenmor

Влияние ML.NET и AutoML

Возможность расширять масштаб классификации неструктурированных текстовых ответов пациентов стала огромным преимуществом для компании Brenmor. Ранее категоризация производилась раз в месяц и занимала примерно 16 человеко-часов. С использованием ML.NET эта классификация выполняется в режиме реального времени и предоставляет немедленную обратную связь клиентам аналитики Brenmor, которые теперь могут тратить меньше времени на анализ и больше времени на реализацию решений проблем, выявленных моделью ML.NET.

Еще одно огромное преимуществом, полученное компанией Brenmor от использования ML.NET — повышенная точность. Текстовые ответы пациентов часто охватывают несколько тем. До ML.NET точность определялась вручную разными людьми; этот процесс был подвержен ошибкам, и классификация на несколько категорий с уровнями достоверности была невозможна. Поддержка классификации на несколько категорий в ML.NET позволила Brenmor повысить точность классификации с 50 % до примерно 76 % и теперь предоставляет клиентам компании уровни достоверности для обнаружения целого ряда категорий.

Кроме того, благодаря использованию AutoML с ML.NET не требовалось понимания низкоуровневых нюансов алгоритмов машинного обучения и обширного набора гиперпараметров алгоритмов. Разработчикам Brenmor больше не нужно было часами тестировать различные алгоритмы и настраивать гиперпараметры в поисках лучшей модели. Эта экономия времени принесла компании Brenmor огромную пользу, поскольку позволила сосредоточиться на улучшении исходных данных обучения.

Из-за интеллектуальных возможностей, которые предоставляет AutoML, корпорация Майкрософт, по сути, предоставила пользователям ML.NET скрытого специалиста по данным. Это огромная ценность для сообщества .NET!"

Пол Карвер, технический директор Brenmor

Архитектура решения

Создание приложения с ML.NET

Технический стек приложения Brenmor для категоризации опросов состоит из ML.NET, ASP.NET Core, Entity Framework Core и SQL Server.

Много времени было выделено на создание четкого и лаконичного набора обучающих данных, в основном основанных на необработанных ответах на опросы. Теперь, когда приложение выполняется в производственной среде, когда есть результаты прогнозирования с низкой достоверностью, эти комментарии проверяются и становятся дополнительными обучающими данными. Этот рабочий процесс представляет собой процесс «отфильтровать и повторить», который вносит дополнительный интеллект и точность в модель машинного обучения. Версии обновленных моделей машинного обучения устанавливаются в системе управления исходным кодом и автоматически развертываются в рамках регулярных запланированных развертываний в Azure DevOps.

Обработка данных

Первоначальные обучающие данные, которые состояли примерно из 3000 строк комментариев в произвольной форме, были получены из необработанных ответов на опросы пациентов. Все данные, используемые Brenmor, были сначала очищены HIPPA, а затем разделены на краткие обучающие данные для более точного взвешивания комментариев с несколькими категориями. Как только появился первоначальный точный набор обучающих данных и была установлена точность классификации, ручной процесс значительно сократился.

Преобразования данных и алгоритмы машинного обучения

Компания Brenmor использовала AutoML с ML.NET для автоматического создания преобразований данных и алгоритмов машинного обучения, которые привели к созданию модели высочайшего качества. Используемые преобразования данных включают сопоставление значения с ключом и функции текста, а используемые алгоритмы включают алгоритм One Versus All для классификации по нескольким классам (категоризации комментариев) и целевой Двоичный алгоритм логистической регрессии L-BFGS для двоичной классификации (положительные и отрицательные комментарии).

AutoML с ML.NET также сгенерировал приведенный ниже набор параметров алгоритма для дальнейшей точной настройки модели для достижения оптимальной точности модели.

var trainer = mlContext.MulticlassClassification.Trainers.OneVersusAll(mlContext.BinaryClassification.Trainers.LbfgsLogisticRegression(new LbfgsLogisticRegressionBinaryTrainer.Options(){
    L2Regularization = 0.7512906f,
    L1Regularization = 0.4493316f,
    OptimizationTolerance = 0.0001f,
    HistorySize = 50,
    MaximumNumberOfIterations = 348607332,
    InitialWeightsDiameter = 0.1322905f,
    DenseOptimizer = false,
    LabelColumnName = "Category",
    FeatureColumnName = "Features",
    }),
    labelColumnName: "Category")
.Append(mlContext.Transforms.Conversion.MapKeyToValue("PredictedLabel", "PredictedLabel"));


Сегодня удовлетворенность пациентов является растущей потребностью для медицинских групп и планов медицинского обслуживания, и возможность слышать непосредственно пациентов имеет решающее значение. Прием входных данных опроса, а также анализ и классификация текстовых ответов в произвольной форме сложны и требуют высокой степени точности. Используя ML.NET и AutoML, Brenmor смогла быстро и точно предоставить своим клиентам дополнительную информацию и аналитику, связанные с опытом пациентов.

Готовы приступить?

Наше пошаговое руководство поможет вам запустить ML.NET на вашем компьютере.

Начать