Questão 71 — Inteligência Artificial: Processamento de Linguagem Natural — Tokenização

Com base em obtenção, limpeza e pré-processamento de dados, julgue os próximos itens.
A toquenização (do inglês tokenization) de palavras é uma atividade inerente aos algoritmos de análise granular de palavras em documentos.