Обработка естественного языка (NLP) — это область, связанная со способностью компьютера понимать, анализировать, манипулировать и потенциально генерировать человеческий язык.

Пример: спам-фильтр, автозаполнение, автозамена

Набор инструментов естественного языка (NLTK)

Вот темы, которые мы рассмотрим сегодня:

  1. Удалить знаки препинания
  2. Токенизация
  3. Удалить стоп-слова
  4. Стемминг
  5. лемматизация
  6. Векторизация
  7. Разработка функций
    Преобразования

Удалить знаки препинания

Мы должны удалить зашумленные текстовые данные, прежде чем передавать их в модель машинного обучения.

Токенизация

Преобразуйте текстовые данные в векторы токена

Удалить стоп-слова:

Часто используемые слова, которые можно игнорировать, не добавляя к тексту релевантной информации.

Вывод

  1. Процесс сокращения флективных (или иногда производных) слов до их основы или корня слова.
  2. Хотя они могут иметь разные аффиксы, слова, имеющие одинаковую основу, имеют сходное семантическое значение.
  3. Просто отсекает конец слова с помощью эвристики без понимания контекста, в котором слово используется.
  4. Типы Stemmer:
    Stemmer Porter
    Stemmer Snowball
    Stemmer Lancaster
    Stemmer на основе регулярных выражений

Лемматизация

  1. Процесс группировки флективных форм слова, чтобы их можно было проанализировать как единый термин, определяемый леммой слова.
  2. Лемматизация — это использование словарного анализа слов для удаления флективных окончаний и возврата к словарной форме слова.
  3. Лемматизатор WordNet()

Лучше, чем стеммер, но требует больше времени для запуска

Векторизация:

ВЕКТОРИЗАЦИЯ: процесс кодирования текста как целых чисел для создания векторов признаков.

ВЕКТОР ПРИЗНАКОВ: n-мерный вектор числовых признаков, представляющих некоторый объект.

МАТРИЦА ТЕРМИНОВ ДОКУМЕНТОВ:
столбец: слова
строка: количество документов/сообщений в данных.
значение: количество раз появления этого слова.

Типы векторизации:

  1. Векторизация счета
  2. N-граммы
  3. Term Frequency — обратная частота документа (TF-IDF)
  4. СЧЕТ ВЕКТОРИЗАЦИИ: создает матрицу терминов документа, а затем просто подсчитывает, сколько раз каждое слово появляется в данном документе.

2. N-ГРАММЫ: матрица терминов документа, в которой счетчики по-прежнему занимают ячейку, но вместо столбцов, представляющих отдельные термины, они представляют все комбинации соседних терминов длины n в вашем тексте.

РАЗРЯДНАЯ МАТРИЦА: матрица, в которой большинство элементов равно 0. В интересах эффективного хранения разреженная матрица будет храниться путем хранения только местоположения ненулевых элементов.

3. TF-IDF (Термин частота-обратная частота документа)

TF-IDF создает матрицу терминов документа, в которой по-прежнему есть одна строка для каждого текстового сообщения, а столбцы по-прежнему представляют отдельные уникальные термины. Но вместо ячеек, представляющих количество, ячейки представляют собой взвешивание, которое предназначено для определения того, насколько важно слово для отдельного текстового сообщения.

Как определяется вес? Используя эту формулу

Разработка функций

Создание новых функций или преобразование существующих функций, чтобы получить максимальную отдачу от ваших данных

Создание новых функций

  1. Длина текстового поля
  2. % знаков препинания в тексте
  3. % символов, написанных с заглавной буквы

Преобразования

  1. Степенные преобразования (квадрат, квадратный корень и т. д.)
  2. Стандартизация данных

  1. Длина текстового сообщения
    Гипотеза: спам-сообщения, как правило, длиннее, чем настоящие текстовые сообщения.

2. Процент каждого текстового сообщения, содержащего знаки препинания
Гипотеза: в настоящих текстовых сообщениях используется меньше знаков препинания, чем в спаме.

Оцените созданные функции

Гипотеза: что спам-сообщения, как правило, длиннее, чем не-спам-сообщения, кажется верной на основе этой оценки, эта функция, вероятно, придаст некоторую ценность модели.

Гипотеза: что сообщения радиолюбителей содержат меньше знаков препинания, чем спам, кажется неточным, не совсем ясно, будет ли эта функция ценной для модели.

Преобразования

Процесс преобразования:

  1. Определите, какой диапазон показателей тестировать
  2. Применить каждое преобразование к каждому значению выбранного признака
  3. Используйте некоторые критерии, чтобы определить, какое из преобразований дает наилучшее распределение.

Выберите преобразование, которое будет либо одной четвертой, либо одной пятой.

Концепции машинного обучения: продолжение следует…

Спасибо, что прочитали эту статью! Пожалуйста, похлопайте 👏 или оставьте комментарий 💬, если эта статья вам помогла!