Руководство по ML.NET — Начните работу через 10 минут

Введение

Цель

Установите ML.NET CLI, затем обучите и используйте свою первую модель машинного обучения с ML.NET.

Обязательные требования

macOS 12.0 или более поздних версий.

Время завершения

10 минут + время загрузки/установки

Сценарий

Приложение, способное прогнозировать положительную или отрицательную тональность текста в отзывах клиентов.

Загрузить и установить

Загрузите и установите Visual Studio 2022.

Скачать Visual Studio 2022

При установке выберите рабочую нагрузку Разработка пользовательского интерфейса многоплатформенного приложения .NET, а также необязательный компонент ML.NET Model Builder. Если вы воспользуетесь приведенной выше ссылкой, необходимые предварительные условия будут выбраны автоматически, как показано на следующем изображении:

У вас уже есть Visual Studio 2022?

Если у вас уже есть решение Visual Studio 2022, обновите его и установите требуемую рабочую нагрузку:

Нажмите клавишу Windows, введите Установщик Visual Studio и нажмите клавишу Enter.
При появлении запроса разрешите программе установки обновить себя.
Если доступно обновление для Visual Studio 2022, будет показана кнопка Обновить. Нажмите ее для обновления перед изменением установки. Рекомендуется использовать последнюю версию Visual Studio 2022 для этого руководства.
Найдите свою установку Visual Studio 2022 и выберите Изменить.
Выберите Разработка классических приложений .NET и убедитесь, что на панели справа выбран ML.NET Model Builder. Нажмите кнопку Изменить.

Перейдите на новейшую версию Model Builder

После включения ML.NET Model Builder в Visual Studio скачайте и установите последнюю версию.

Скачайте последнюю версию Model Builder

После скачивания установите расширение, дважды щелкнув файл VSIX.

Проверить наличие обновлений Visual Studio

Это руководство оптимизировано для последней версии Visual Studio. Если у вас уже есть Visual Studio 2022, вы можете проверить наличие обновлений:

Нажмите клавишу Windows, введите Установщик Visual Studio и нажмите клавишу Enter.
При появлении запроса разрешите программе установки обновить себя.
Если доступно обновление, в установке Visual Studio 2022 появится кнопка Обновить. Выберите ее для обновления.

Установите пакет SDK для .NET

Для создания приложений .NET необходимо скачать и установить SDK .NET 8 (пакет средств разработки).

Скачать пакет SDK x64 для .NET 8 (Intel)
Скачать пакет SDK Arm64 для .NET 8 (Apple Silicon)

Если вы работаете на Mac с чипом Apple M1 или M2, вам необходимо установить версию Arm64 для SDK.

Установить CLI ML.NET

Интерфейс командной строки ML.NET (CLI) предоставляет инструменты для создания моделей машинного обучения с помощью ML.NET.

Примечание. В настоящее время ML.NET CLI находится в предварительной версии и поддерживает только последнюю LTS-версию .NET SDK (.NET 8).

Для действий по установке рекомендуется использовать консоль Bash. Так как по умолчанию для macOS используется консоль zsh, вы можете создать единственный экземпляр, открыв новый терминал и выполнив указанную ниже команду.

Terminal

bash

ДЛЯ КОМПЬЮТЕРОВ x64 — выполните следующую команду:

Terminal

dotnet tool install -g mlnet-osx-x64

ДЛЯ АРХИТЕКТУР ЧИПОВ ARM64 — вместо этого выполните следующую команду:

Terminal

dotnet tool install -g mlnet-osx-arm64

Если инструмент успешно установлен, вы должны увидеть выходное сообщение, где [arch] — это архитектура чипа, аналогичная следующей:

Terminal

You can invoke the tool using the following command: mlnet
Tool 'mlnet-osx-[arch]' (version 'X.X.X') was successfully installed.

Примечание. Если вы используете консоль, отличную от Bash (например, zsh, которая является новой консолью по умолчанию для macOS), нужно предоставить для mlnet исполняемые разрешения и включить mlnet в системный путь. Инструкции о том, как это сделать, должны появиться в терминале при установке mlnet (или любого другого глобального инструмента). Как правило, для большинства систем должна работать следующая команда: chmod +x [PATH-TO-MLNET-CLI-EXECUTABLE]

Если вы видите инструкции, аналогичные приведенным ниже, выполните их в своем терминале.

Terminal

cat << \EOF >> ~/.zprofile
#Add .NET Core SDK tools
export  PATH="$PATH:~/.dotnet/tools"
EOF

В качестве альтернативы вы можете попробовать использовать следующую команду для запуска инструмента mlnet:

Terminal

~/.dotnet/tools/mlnet

Если команда по-прежнему выдает ошибку, нажмите кнопку Я столкнулся с проблемой ниже, чтобы сообщить о проблеме и получить помощь в ее устранении.

Создайте свое приложение

Откройте Visual Studio и создайте новое консольное приложение .NET:

Выберите Создать новый проект в начальном окне Visual Studio 2022.
Выберите шаблон проекта Консольное приложение C#.

Измените имя проекта на myMLApp (Мое приложение машинного обучения).
Убедитесь, что флажок Поместить решение и проект в один каталог не установлен.

Нажмите кнопку Далее.
Выберите в качестве платформы .NET 8.0 (долгосрочная поддержка).
Нажмите кнопку Создать. Visual Studio создаст проект и загрузит файл Program.cs.

Добавьте машинное обучение

Щелкните правой кнопкой мыши проект myMLApp в Обозревателе решений и выберите Добавить > Модель машинного обучения.
В диалоговом окне Добавить новый элемент убедитесь, что выбран параметр Модель машинного обучения (ML.NET).
Измените поле Name на SentimentModel.mbconfig и нажмите кнопку Add.

В решение добавляется новый файл с именем SentimentModel.mbconfig, а пользовательский интерфейс построителя моделей открывается в новом закрепленном окне инструмента в Visual Studio. Файл mbconfig — это просто файл JSON, который отслеживает состояние пользовательского интерфейса.

Построитель моделей проведет вас через процесс создания модели машинного обучения, выполнив следующие шаги.

В терминале выполните следующие команды:

Terminal

mkdir myMLApp
cd myMLApp

Команда mkdir создает новый каталог с именем myMLApp, а команда cd myMLApp помещает вас во вновь созданный каталог приложения.

Код обучения вашей модели будет сгенерирован на следующих шагах.

Выберите сценарий

Чтобы сгенерировать модель, вам нужно выбрать сценарий машинного обучения.

Интерфейс командной строки ML.NET поддерживает несколько сценариев ML:

Классификация. Используйте это, если хотите предсказать, к какой категории относятся данные (например, анализируя настроение отзывов клиентов как положительное или отрицательное).
Классификация изображений. Используйте это, если хотите предсказать, к какой категории относится изображение (например, предсказать, является ли изображение кошкой или собакой).
Регрессия (например, прогноз стоимости). Используйте это, если вы хотите прогнозировать числовое значение (например, прогнозировать цену дома).
Прогнозирование. Используйте это, если хотите прогнозировать будущие значения во временном ряду (например, прогнозировать квартальные продажи).
Рекомендация. Используйте это, если хотите рекомендовать товары пользователям на основе исторических рейтингов (например, рекомендацию продукта).

В этом случае вы будете прогнозировать тональность на основе содержания (текста) отзывов клиентов, поэтому будете использовать классификацию.

Скачать и добавить данные

Загрузите наборы данных Sentiment Labeled Sentences из репозитория машинного обучения UCI. Разархивируйте sentiment labelled sentences.zip и сохраните файл yelp_labelled.txt в каталоге myMLApp.

Каждая строка в yelp_labelled.txt представляет собой отдельный отзыв о ресторане, оставленный пользователем Yelp. В первом столбце приведен комментарий пользователя, а втором столбце указана тональность текста (0 — отрицательная, 1 — положительная). Столбцы разделены знаками табуляции, а набор данных не имеет заголовка. Данные выглядят следующим образом:

yelp_labelled.txt

Wow... Loved this place.	        1
Crust is not good.	        0
Not tasty and the texture was just nasty.	        0

Обучите свою модель

Теперь вы обучите свою модель набору данных yelp_labelled.txt.

Model Builder оценивает многие модели с различными алгоритмами и параметрами на основе количества времени обучения, отведенного для построения наиболее эффективной модели.

Измените время обучения, которое представляет собой время, в течение которого построитель моделей должен исследовать различные модели, на 60 секунд (вы можете попробовать увеличить это число, если после обучения модели не будут найдены). Обратите внимание, что для больших наборов данных время обучения будет больше. Построитель моделей автоматически регулирует время обучения в зависимости от размера набора данных.
Вы можете обновить метрику оптимизации и алгоритмы, используемые в дополнительных параметрах обучения, но это не обязательно для этого примера.
Выберите Начать обучение, чтобы запустить процесс обучения. После запуска вы сможете увидеть оставшееся время.

Результаты обучения

После завершения обучения вы можете просмотреть сводку результатов обучения.

Наилучшая точность макроса. Это показывает точность лучшей модели, найденной Model Builder. Более высокая точность означает, что модель более правильно предсказала тестовые данные.
Лучшая модель. Здесь показано, какой алгоритм продемонстрировал наилучшие результаты во время исследования построителя моделей.
Время обучения. Здесь показано общее время, затраченное на обучение/исследование моделей.
Изучено моделей (всего). Здесь показано общее количество моделей, исследованных конструктором моделей за указанный период времени.
Созданный код программной части. Здесь отображаются имена файлов, созданных для использования модели или обучения новой модели.

При желании вы можете просмотреть дополнительные сведения о сеансе обучения в окне «Вывод машинного обучения».

После завершения обучения модели перейдите к шагу Оценка.

В терминале выполните следующую команду (в папке myMLApp):

Terminal

mlnet classification --dataset "yelp_labelled.txt" --label-col 1 --has-header false --name SentimentModel  --train-time 60

Что означают эти команды?

Команда mlnet classification запускает ML.NET с AutoML для изучения множества итераций моделей классификации за заданное время обучения с различными комбинациями преобразований данных, алгоритмов и параметров алгоритмов, а затем выбирает наиболее производительную модель.

--dataset: Вы выбрали yelp_labelled.txt в качестве набора данных (внутренне интерфейс командной строки разделит один набор данных на наборы данных для обучения и тестирования).
--label-col: Вы должны указать целевой столбец, который вы хотите предсказать (или метку). В этом случае вы хотите предсказать тональность во втором столбце (столбцы с нулевым индексом означают, что это столбец "1").
--has-header: Используйте этот параметр, чтобы указать, есть ли у набора данных заголовок. В этом случае у набора данных нет заголовка, так что это false.
--name: Используйте этот параметр, чтобы указать имя для модели машинного обучения и связанных ресурсов. В этом случае все ресурсы, связанные с этой моделью машинного обучения, будут иметь в названии SentimentModel.
--train-time: Вы также должны указать количество времени, в течение которого интерфейс командной строки ML.NET должен исследовать различные модели. В данном случае 60 секунд (можно попробовать увеличить это число, если после обучения не будет найдено ни одной модели). Обратите внимание, что для больших наборов данных вы должны установить более длительное время обучения.

Ход выполнения

Пока интерфейс командной строки ML.NET изучает различные модели, он отображает следующие данные:

Начать обучение. В этом разделе показана каждая итерация модели, включая используемый обучающий модуль (алгоритм) и показатели оценки для этой итерации.
Осталось времени. Это, а также индикатор выполнения показывают, сколько времени осталось в процессе обучения в секундах.
Лучший алгоритм — показывает, какой алгоритм до сих пор давал наилучшие результаты.
Лучший результат – показывает эффективность лучшей модели на данный момент. Более высокая точность означает, что модель более правильно предсказала тестовые данные.

При желании вы можете просмотреть дополнительную информацию о сеансе обучения в файле журнала, созданном интерфейсом командной строки.

Оцените свою модель

После того, как интерфейс командной строки ML.NET выберет лучшую модель, он отобразит сводку обучения, в которой будет показана сводка процесса исследования, включая количество моделей, изученных за заданное время обучения.

Лучшие модели

Хотя интерфейс командной строки ML.NET генерирует код для наиболее производительной модели, он также отображает лучшие модели (до 5) с наивысшей точностью, обнаруженной за заданное время исследования. Он отображает несколько показателей оценки для этих лучших моделей, включая AUC, AUPRC и F1-оценку. Дополнительные сведения см. в разделе метрики ML.NET.

Сгенерировать код

После завершения обучения четыре файла автоматически добавляются в качестве кода программной части в SentimentModel.mbconfig:

SentimentModel.consumption.cs: этот файл содержит входные и выходные классы модели, а также метод Predict, который можно использовать для потребления модели.
SentimentModel.evaluate.cs: этот файл содержит метод CalculatePFI, использующий метод важности признака перестановки (PFI) для вычисления того, какие признаки оказывают наибольшее влияние на прогнозы модели.
SentimentModel.mlnet. Этот файл представляет собой обученную модель ML.NET, которая является сериализованным ZIP-файлом.
SentimentModel.training.cs. Этот файл содержит код для понимания важности входных столбцов для прогнозов вашей модели.

В шаге Использование в Model Builder предоставляется фрагмент кода, который создает выборку входных данных для модели и использует модель для прогнозирования этих входных данных.

Построитель моделей также предлагает шаблоны проектов, которые вы можете дополнительно добавить в свое решение. Существует два шаблона проекта (консольное приложение и веб-API), оба используют обученную модель.

Интерфейс командной строки ML.NET добавляет как модель машинного обучения, так и код для обучения и использования модели, который включает следующее:

Создан новый каталог SentimentModel с консольным приложением .NET, содержащим следующие файлы:
- Program.cs: этот файл содержит код для запуска модели.
- SentimentModel.consumption.cs: этот файл содержит входные и выходные классы модели, а также метод Predict, который можно использовать для потребления модели.
- SentimentModel.mbconfig: этот файл представляет собой файл JSON, в котором отслеживаются конфигурации и результаты вашего обучения.
- SentimentModel.training.cs: этот файл содержит конвейер обучения (преобразование данных, алгоритм и параметры алгоритма), используемый для обучения окончательной модели.
- SentimentModel.zip: этот файл представляет собой обученную модель ML.NET, которая является сериализованным ZIP-файлом.

Попробуйте модель в действии. Для этого запустите консольное приложение, чтобы с помощью модели спрогнозировать тональность одного предложения.

Потребляйте свою модель

Интерфейс командной строки ML.NET сгенерировал для вас обученную модель и код, поэтому теперь вы можете использовать модель в приложениях .NET (например, в консольном приложении SentimentModel), выполнив следующие действия:

В командной строке перейдите в каталог consumeModelApp.
Terminal
```
cd SentimentModel
```

Откройте Program.cs в любом редакторе кода и проверьте код. Код должен выглядеть примерно так:

Program.cs

using System;

namespace SentimentModel.ConsoleApp
{
    class Program
    {
        static void Main(string[] args)
        {
            // Add input data
            SentimentModel.ModelInput sampleData = new SentimentModel.ModelInput()
            {
              Col0 = @"Wow... Loved this place."
            };

            // Make a single prediction on the sample data and print results
            var predictionResult = SentimentModel.Predict(sampleData);

            Console.WriteLine("Using model to make single prediction -- Comparing actual Col1 with predicted Col1 from sample data...\n\n");


            Console.WriteLine($"Col0: @{"Wow... Loved this place."}");
            Console.WriteLine($"Col1: {1F}");


            Console.WriteLine($"\n\nPredicted Col1: {predictionResult.PredictedLabel}\n\n");
            Console.WriteLine("=============== End of process, hit any key to finish ===============");
            Console.ReadKey();
        }
    }
}

Запустите приложение SentimentModel.ConsoleApp. Вы можете сделать это, выполнив следующую команду в терминале (убедитесь, что вы находитесь в каталоге SentimentModel):

Terminal

dotnet run

Вывод должен выглядеть примерно так:

Terminal

Using model to make single prediction -- Comparing actual Col1 with predicted Col1 from sample data...


Col0: Wow... Loved this place.
Col1: 1
Class                          Score
-----                          -----
1                              0.9651076
0                              0.034892436
=============== End of process, hit any key to finish ===============

Следующие шаги

Поздравляем, вы создали свою первую модель машинного обучения с помощью ML.NET CLI!

Теперь, когда вы использовали интерфейс командной строки ML.NET для классификации (в частности, для анализа тональности), вы можете попробовать другие сценарии. Попробуйте сценарий регрессии (в частности, прогнозирование цен) с использованием набора данных о тарифах на такси, чтобы продолжить создание моделей ML.NET с помощью интерфейса командной строки ML.NET.

Загрузите набор данных о тарифах на такси

ML.NET для начинающих

Луис познакомит вас с концепцией машинного обучения и ИИ, объяснит возможности этих технологий и поможет вам приступить к работе с OpenAI, Сервисами ИИ Azure и ML.NET:

Вас также может заинтересовать...

Документация по интерфейсу командной строки ML.NET

Узнайте больше о ML.NET CLI

Примеры ML.NET

Изучите примеры ML.NET в GitHub

Документы для разработчиков

Изучите документацию по ML.NET подробнее

Руководство по ML.NET — начало работы через 10 минут

Введение

Цель

Обязательные требования

Время завершения

Сценарий

Загрузить и установить

У вас уже есть Visual Studio 2022?

Перейдите на новейшую версию Model Builder

Проверить наличие обновлений Visual Studio

Установите пакет SDK для .NET

Установить CLI ML.NET

Создайте свое приложение

Добавьте машинное обучение

Выберите сценарий

Скачать и добавить данные

Добавить данные

Обучите свою модель

Результаты обучения

Что означают эти команды?

Ход выполнения

Оцените свою модель

Попробуйте свою модель

Лучшие модели

Сгенерировать код

Потребляйте свою модель

Следующие шаги

ML.NET для начинающих

Руководство по созданию моделей

Примеры ML.NET

Документы для разработчиков

ML.NET для начинающих

Документация по интерфейсу командной строки ML.NET

Примеры ML.NET

Документы для разработчиков

Сообщить о проблеме

Обеспечить обратную связь