AVALIANDO OS AVALIADORES

QUÃO EFICIENTES SÃO OS SISTEMAS DE CORREÇÃO AUTOMÁTICA DE REDAÇÕES?

Autores

DOI:

https://doi.org/10.35572/rle.v25i2.6493

Palavras-chave:

Correção automática de redações, Avaliação automática de redações

Resumo

Este artigo avalia a eficácia dos sistemas de correção automática de redações em português do Brasil, comparando suas avaliações com as de professores experientes. Foram analisados três sistemas disponíveis no mercado brasileiro: coRedação, CRIA e Glau, utilizando um corpus de 40 redações de alunos do ensino médio. Os resultados revelaram divergências significativas entre as avaliações dos sistemas e as dos avaliadores humanos, especialmente na avaliação geral das redações. Embora os sistemas mostrem alguma convergência na avaliação isolada das competências do ENEM, o desempenho global apresentou discrepâncias consideráveis. As análises estatísticas, incluindo correlação de Pearson, erro médio absoluto e diferença média quadrática, confirmaram a variabilidade no desempenho dos sistemas. A pesquisa destaca a necessidade de aprimoramentos nos sistemas de correção automática para que possam ser utilizados de forma mais eficaz como ferramentas de apoio ao ensino.

Downloads

Não há dados estatísticos.

Biografia do Autor

Ronaldo Martins, Universidade do Distrito Federal

Ronaldo Teixeira Martins é consultor legislativo do Núcleo de Pronunciamentos do Senado Federal e professor de Linguística e Língua Portuguesa da Universidade do Distrito Federal (UnDF). Possui graduação em Letras (Português e Latim) pela UFJF (1994), mestrado em Linguística pela Unicamp (1997) e doutorado em Linguística pela Unicamp (2004). Também concluiu uma especialização em Comunicação Política no Legislativo pelo Cefor/Câmara dos Deputados (2016) e o bacharelado em Direito pela UnB (2024). Tem larga experiência na área de Linguística, principalmente em Linguística Computacional, como gerente de projetos (UNDL Foundation, NILC), como consultor e language expert (Lionbridge, Microsoft, Nuance, Itautec), e como pesquisador (FAPESP, CNPq, Capes, FINEP, Fondation Hans Wilsdorf). Também atuou em universidades brasileiras, como professor da graduação (Univás, Mackenzie, USF), como professor e orientador do programa de pós-graduação stricto sensu em Ciências da Linguagem (Univás), como editor de periódicos científicos (Todas as Letras, Entremeios), e como coordenador de cursos de graduação em Letras (USF, Mackenzie). Sua principal veleidade é fazer que as máquinas falem.

Referências

AMORIM, E.; VELOSO, A. A Multi-aspect Analysis of Automatic Essay Scoring for Brazilian Portuguese. Proceedings of the Student Research Workshop at the 15th Conference of the European Chapter of the Association for Computational Linguistics. Anais...Valencia, Spain: Association for Computational Linguistics, abr. 2017.

BITTENCOURT JR., J. A. S. Avaliação automática de redação em língua portuguesa empregando redes neurais profundas. Universidade Federal de Goiás, 2020.

DA SILVA JR., J. A. Um avaliador automático de redações. Universidade Federal do Espírito Santo, 2021.

FERREIRA MELLO, R. et al. Towards automated content analysis of rhetorical structure of written essays using sequential content-independent features in Portuguese. (A. F. Wise, R. Martinez-Maldonado, I. Hilliger, Eds.) LAK22 Conference Proceedings.

Anais...United States of America: Association for Computing Machinery (ACM), 2022.

FONSECA, E. R. et al. Automatically Grading Brazilian Student Essays. (A. Villavicencio et al., Eds.) Computational Processing of the Portuguese Language. Anais...Springer International Publishing, 2018.

FOSSEY, Marcela Franco. Avaliação de redações de vestibular: da teoria à prática. Trabalhos em Linguística Aplicada, 57 (2), mai-ago 2018. Disponível em: https://doi.org/10.1590/010318138652181377421. Acesso em 29 Mai 2024.

HAENDCHEN FILHO, A. et al. An approach to evaluate adherence to the theme and the argumentative structure of essays. International Conference on KnowledgeBased Intelligent Information & Engineering Systems. Anais...2018.

HAENDCHEN FILHO, A. et al. Imbalanced Learning Techniques for Improving the Performance of Statistical Models in Automated Essay Scoring. Procedia Computer Science, v. 159, p. 764–773, jan. 2019.

LIMA, T. B. DE et al. Avaliação Automática de Redação: Uma revisão sistemática. Revista Brasileira de Informática na Educação, v. 31, p. 205--221, maio 2023.

MARINHO, J. et al. Automated Essay Scoring: An approach based on ENEM competencies. Anais do XIX Encontro Nacional de Inteligência Artificial e Computacional. Anais...SBC, 2022.

MARINHO, J.; ANCHIÊTA, R.; MOURA, R. Essay-BR: a Brazilian Corpus to Automatic Essay Scoring Task. Journal of Information and Data Management, v. 13, n. 1, p. 65–76, 2022.

MARTINS, A. B.; SOUZA, R. C. (Eds.). Avaliação de redações: abordagens teóricas e práticas. Editora XYZ, 2015.

PAGE, Erica B.; ERICSSON, Patricia Freitag. "The development of the Project Essay Grade (PEG) system." Assessing Writing 8.1 (2002): 39-58.

RASSI, Amanda Pontes; LOPES, Priscilla de Abreu. Correção automática de redação. In CASELI, Helena; NUNES, Maria da Graça Volpe. (ed). Processamento de linguagem natural: conceitos, técnicas e aplicações em português. BPLN, 2024. Disponível em: https://brasileiraspln.com/livro-pln/2a-edicao/parte-aplicacoes/cap-aes/cap-aes.html. Acesso em: 29 Abr 2024.

SHERMIS, M. D.; BURSTEIN, J. Handbook of Automated Essay Evaluation: Current Applications and New Directions. [s.l.] Routledge/Taylor & Francis Group, 2013.

SILVA, C. M. Correção de redações: teoria e prática. Editora ABC, 2018.

Downloads

Publicado

18-11-2025

Como Citar

MARTINS, Ronaldo; SOUSA, Luan. AVALIANDO OS AVALIADORES: QUÃO EFICIENTES SÃO OS SISTEMAS DE CORREÇÃO AUTOMÁTICA DE REDAÇÕES?. Revista Leia Escola, Campina Grande, v. 25, n. 2, p. 275–294, 2025. DOI: 10.35572/rle.v25i2.6493. Disponível em: https://revistas.editora.ufcg.edu.br/index.php/leia/article/view/6493. Acesso em: 5 dez. 2025.

Edição

v. 25 n. 2 (2025): COLABORAÇÕES E PROBLEMATIZAÇÕES DAS TECNOLOGIAS DIGITAIS NO CONTEXTO DA EDUCAÇÃO LINGUÍSTICA

Seção

Dossiê

Licença

Copyright (c) 2025 Revista Leia Escola

Creative Commons License

Este trabalho está licenciado sob uma licença Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Artigos Semelhantes

1 2 > >> 

Você também pode iniciar uma pesquisa avançada por similaridade para este artigo.