Questão 80 — IA Generativa — Transformers e Mecanismo de Atenção (Inteligência Artificial) — Cebraspe · Banco do Estado do Rio Grande do Sul S.A. (BANRISUL) 2025

Inteligência Artificial IA Generativa — Transformers e Mecanismo de Atenção

Cebraspe 2025

Banco do Estado do Rio Grande do Sul S.A. (BANRISUL) · Técnico em Tecnologia da Informação II — Área 2: Desenvolvimento de Software

Gabarito disponível

Nas IA generativas baseadas em arquiteturas transformer, com mecanismo de atenção, o modelo consegue relacionar diferentes palavras para produzir texto coerente; ao gerar, por exemplo, a frase “Maria foi ao mercado porque ela precisava comprar leite”, o modelo deve lembrar que “ela” se refere a “Maria”. Com base nesse contexto, assinale a opção correta.

Selecione uma alternativa A) Modelos de IA que geram texto processam simultaneamente todas as palavras de saída, sem considerar a ordem em que elas aparecem. B) Na geração de texto palavra por palavra, a cada nova palavra gerada, o modelo de IA deve dedicar a atenção às palavras que já foram geradas anteriormente. C) A principal função do mecanismo de atenção é verificar a gramática do texto, não suas relações semânticas. D) O mecanismo de atenção distribui o mesmo peso para todas as palavras anteriores, sem priorizar palavras quanto à relevância no contexto. E) O mecanismo de atenção cria conexões para relações entre palavras adjacentes, não conectando palavras que estão distantes entre si no texto.

Resolução comentada

Na geração palavra por palavra, o modelo atenta às palavras já geradas.

Em transformers com mecanismo de atenção, cada novo token gerado considera os tokens anteriores (contexto), ponderando a relevância de cada um. É assim que o modelo liga "ela" a "Maria".

Análise das alternativas

A) Errada: a ordem é considerada, por meio de codificação posicional, e a geração é autorregressiva. C) Errada: a atenção captura relações semânticas e de contexto, não apenas gramática. D) Errada: os pesos são diferentes e priorizam o mais relevante. E) Errada: a atenção conecta também palavras distantes, o que é sua grande vantagem.

Referência: Vaswani et al., "Attention Is All You Need" (2017).

Resolução comentada do VaiConcursos.