ML - Основы машинного обучения

Что такое машинное обучение?

Машинное обучение (ML) — это область искусственного интеллекта, которая занимается разработкой алгоритмов и статистических моделей, позволяющих компьютерам выполнять конкретные задачи без явного программирования на выполнение этих задач. Основная идея состоит в том, чтобы создать модель, способную "учиться" на данных и делать прогнозы или принимать решения на основе этого обучения.

Основные принципы машинного обучения

1. Обучение на данных: Модели машинного обучения обучаются на наборе данных. Этот процесс включает в себя использование алгоритмов, которые анализируют данные и выявляют в них закономерности.

2. Обобщение: После обучения на данных модель должна быть способна обобщать свои знания на новые, невиданные ранее данные. Это означает, что она должна давать правильные ответы не только на обучающих данных, но и на любых других данных из той же области.

3. Итеративное улучшение: Модели машинного обучения часто улучшаются итеративно. Это включает в себя оценку модели, выявление её недостатков и последующую настройку параметров или алгоритма для повышения точности.

Алгоритмы машинного обучения

Машинное обучение делится на три основных типа, каждый из которых включает в себя множество алгоритмов:

1. Обучение с учителем (Supervised Learning): Модель обучается на размеченных данных, где каждой входной информации соответствует правильный выход. Примеры алгоритмов: линейная регрессия, логистическая регрессия, деревья решений, случайный лес (Random Forest), поддерживающие векторы (SVM), нейронные сети.

2. Обучение без учителя (Unsupervised Learning): Модель обучается на неразмеченных данных и пытается выявить скрытые структуры. Примеры алгоритмов: кластеризация (например, k-средних), ассоциативные правила, метод главных компонент (PCA).

3. Обучение с подкреплением (Reinforcement Learning): Модель обучается на основе взаимодействия с окружающей средой, получая вознаграждения или наказания за свои действия. Примеры алгоритмов: Q-learning, SARSA, глубокое обучение с подкреплением.

Этапы работы с данными

1. Сбор данных: Первый этап включает сбор данных из различных источников. Данные могут быть получены из баз данных, файлов, веб-скрапинга, API и других источников.

2. Очистка данных: На этом этапе данные очищаются от шума и ошибок. Это может включать удаление или исправление пропущенных значений, обработку выбросов, устранение дубликатов и исправление ошибок в данных.

3. Подготовка данных: Включает в себя приведение данных к такому виду, который может быть использован моделью. Это может включать нормализацию или стандартизацию данных, кодирование категориальных переменных, разбиение данных на обучающий и тестовый наборы.

4. Анализ данных: Предварительный анализ данных для понимания их структуры и свойств. Этот этап может включать визуализацию данных, вычисление статистических характеристик и выявление корреляций между переменными.

https://colab.research.google.com/drive/1BeiXIHnpSqwOfEai__nzEB7rnup7NwUH#scrollTo=LWZ3CQqVFf9e