Gabarito disponível
Acerca do processamento de linguagem natural e dos conceitos de modelos preditivos (supervisionados) e descritivos (não supervisionados), julgue os itens a seguir.
Em um pipeline de pré-processamento de linguagem natural aplicado ao domínio jurídico, a tokenização deve, necessariamente, ser precedida pela lematização, uma vez que a lematização opera sobre formas canônicas já segmentadas.
Em um pipeline de pré-processamento de linguagem natural aplicado ao domínio jurídico, a tokenização deve, necessariamente, ser precedida pela lematização, uma vez que a lematização opera sobre formas canônicas já segmentadas.
Resolução comentada
Tokenização normalmente precede a lematização, mas não é uma regra absoluta.
O item afirma que a tokenização deve ser necessariamente precedida pela lematização, o que inverte a ordem lógica. A lematização opera sobre tokens, já segmentados, então a tokenização vem antes. O erro está na ordem apresentada.
Análise das alternativas
A) Errada: inverte a ordem lógica do pipeline. B) Correta: a tokenização antecede a lematização.
Referência: Jurafsky e Martin, Speech and Language Processing.
Resolução comentada do VaiConcursos.