Avaliação da Qualidade de Itens de Matemática Gerados por Inteligência Artificial Generativa: um estudo com base na teoria clássica dos testes

Fernando Eder Andrade de Lima; Juscileide Braga de Castro

doi:10.22169/revint.v21.e26do302

Authors

Fernando Eder Andrade de Lima Instituto Federal de Tecnologia do Ceará (IFCE) https://orcid.org/0009-0001-2585-098X
Juscileide Braga de Castro Universidade Federal do Ceará (UFC) https://orcid.org/0000-0002-6530-4860

DOI:

https://doi.org/10.22169/revint.v21.e26do302

Keywords:

generative artificial intelligence, mathematics education, educational assessment, classical test theory

Abstract

This study examines the development and evaluation of Mathematics items generated by Artificial Intelligence. The objective is to analyze the technical, cognitive, and psychometric quality of these items based on frameworks from Mathematics Education, Educational Assessment, and Psychometrics. This exploratory research was conducted in a controlled computational environment using simulated data. Four AI systems (ChatGPT, Gemini, Perplexity, and DeepSeek) were employed to generate multiple-choice items aligned with the BNCC skill EF09MA09 and analyzed according to the Revised Bloom’s Taxonomy and Classical Test Theory. The results indicate technical coherence of the items, while revealing variations in cognitive demand, distractor quality, and estimated psychometric performance, highlighting the need for teacher mediation and rigorous methodological protocols.

Downloads

Download data is not yet available.

Author Biographies

Fernando Eder Andrade de Lima, Instituto Federal de Tecnologia do Ceará (IFCE)

Mestrando do programa de pós-graduação em Ensino de Ciências e Matemática no Instituto Federal de Educação, Ciências e Tecnologia do Ceará - IFCE. Pós-graduação em Gestão Escolar pela Faculdade do Maciço de Baturité (2017) e em Informática e Comunicação na Educação pelo Instituto Superior de Educação Ibituruna (2017). Graduado em Licenciatura Plena em Matemática pela Universidade Estadual do Ceará - UECE (2013) e Licenciatura em Computação pelo Claretiano - Centro Universitário (2021).

Juscileide Braga de Castro, Universidade Federal do Ceará (UFC)

Possui licenciatura em Matemática (2006), mestrado (2012) e doutorado em Educação (2016) pela Universidade Federal do Ceará. Atualmente é professora adjunta da Universidade Federal do Ceará, na Faculdade de Educação/FACED, vinculada ao Departamento de Teoria e Prática do Ensino. Professora no Programa de Pós-graduação no Ensino de Ciências e Matemática (PGECM) do IFCE e do Programa de Pós-graduação em Educação da UFC. Integrante do Grupo de Pesquisa e Produção de Ambientes Interativos e Objetos de Aprendizagem (PROATIVA) e Líder do Grupo de Pesquisa e Produção Colaborativa de Mídias Digitais e Aprendizagem da Matemática (PROMÍDIA), onde desenvolve recursos Educacionais Digitais, projetos interdisciplinares e pesquisas na área de Matemática e Tecnologias Digitais.

References

AGUIRRE, Uriel José Castellanos. Inteligência artificial generativa (IAG) e educação matemática: possibilidades em sala de aula. Revista Interinstitucional Artes de Educar, [S. l.], v. 11, n. 1, p. 191-210, 2025. Disponível em: https://www.e-publicacoes.uerj.br/riae/article/view/86127. Acesso em: 28 jan. 2026.

ANDERSON, Lorin W.; KRATHWOHL, David R. (eds.). A taxonomy for learning, teaching, and assessing: a revision of Bloom's Taxonomy of educational objectives. New York: Longman, 2001.

ARSLAN, Burcu; LEHMAN, Blair; TENISON, Caitlin; SPARKS, Jesse R.; LÓPEZ, Alexis A.; GU, Lin; ZAPATA-RIVERA, Diego. Opportunities and challenges of using generative AI to personalize educational assessment. Frontiers in Artificial Intelligence, v. 7, 1460651, out. 2024. Disponível em: https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2024.1460651/full Acesso em: 6 jan. 2026.

BELKINA, Marina; DANIEL, Scott; NIKOLIC, Sasha; HAQUE, Rezwanul; LYDEN, Sarah; NEAL, Peter; GRUNDY, Sarah; HASSAN, Ghulam M. Implementing generative AI (GenAI) in higher education: A systematic review of case studies. Computers and Education: Artificial Intelligence, v. 8, 100407, abr. 2025. Disponível em: https://www.sciencedirect.com/science/article/pii/S2666920X25000475?via%3Dihub Acesso em: 6 jan 2026

BIDO, Yasmin P.; WIESE, Igor; NAKAMURA, Walter T.. IAs Generativas na Educação: Usos, percepções, desafios e adaptações nas práticas pedagógicas do ponto de vista de professores do ensino fundamental, médio e superior. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 35. , 2024, Rio de Janeiro/RJ. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2024. p. 1701-1714. Disponível em: https://sol.sbc.org.br/index.php/sbie/article/view/31351 Acesso em: 7 jan 2026.

BLOOM, Benjamin S.; ENGLEHART, Max D.; FURST, Edward J.; HILL, Walker H.; KRATHWOHL, David R. Taxonomy of educational objectives: the classification of educational goals. Handbook I: cognitive domain. New York: David McKay, 1956. 262 p.

BONSERVIZI, Virginia Magali; SGRECCIA, Natalia Fátima. Articulación de las tecnologías a través de la carrera Profesorado en Matemática de la Universidad Nacional de Rosario. Educação Matemática Debate, Montes Claros, v. 5, n. 11, p. 1–26, 2021.Disponível em: https://www.periodicos.unimontes.br/index.php/emd/article/view/3771. Acesso em: 29 jan. 2026.

BORGATTO, Adriano Ferreti; ANDRADE, Dalton Francisco de. Análise clássica de testes com diferentes graus de dificuldade. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 52, p. 146–156, 2012. Disponível em: https://publicacoes.fcc.org.br/eae/article/view/1934. Acesso em: 18 jan. 2026.

BRASIL. Base Nacional Comum Curricular (BNCC). Brasília, DF: Ministério da Educação, 2018. Disponível em: https://www.gov.br/mec/pt-br/escola-em-tempo-integral/BNCC_EI_EF_110518_versaofinal.pdf. Acesso em: 18 jan. 2026.

BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Saeb: Resultados. Brasília, DF: Inep, [2025a]. Disponível em: https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/saeb/resultados . Acesso em: 9 fev. 2026.

CASTRO-FILHO, José Aires de; FREIRE, Raquel Santiago; CASTRO, Juscileide Braga de. Tecnologia e Aprendizagem de Conceitos Matemáticos. Jornal Internacional de Estudos em Educação Matemática, [S. l.], v. 10, n. 2, p. 93–98, 2017.Disponível em: https://jieem.pgsscogna.com.br/jieem/article/view/5508. Acesso em: 17 fev. 2026.

CASTRO, Juscileide Braga de. Formação de Professores que Ensinam Matemática: Produção de Recursos Educacionais Digitais para a Construção de Significados. In: Simpósio Internacional de Pesquisa em Educação Matemática: a Educação Matemática num mundo pós-pandêmico. Anais...Campina Grande (PB) UEPB, 2024. Disponível em: https://www.even3.com.br/anais/6sipemat/872756-formacao-de-professores-que-ensinam-matematica--producao-de-recursos-educacionais-digitais-para-a-construcao-de-s/ Acesso em 31 jan 2026.

CENTRO DE INOVAÇÃO PARA A EDUCAÇÃO BRASILEIRA. Inteligência artificial na educação básica: novas aplicações e tendências para o futuro. São Paulo: CIEB, 2024. (Notas Técnicas, #21). Disponível em: https://cieb.net.br/wp-content/uploads/2024/06/Inteligencia-Artificial-na-Educacao-Basica_2024.pdf. Acesso em: 15 jan. 2026.

CENTRO DE POLÍTICAS PÚBLICAS E AVALIAÇÃO DA EDUCAÇÃO. Guia de elaboração de itens: Matemática. Juiz de Fora: CAEd/UFJF, 2008. Disponível em: https://docs.ufpr.br/~aanjos/CE095/3_Guia_De_-Elabora%C3%A7%C3%A3o_De_Itens_MT.pdf. Acesso em: 15 jan. 2026.

CONDÉ, Francisco Newton. Análise empírica de itens. Technical report, Instituto Nacional de Estudos e Pesquisas Educacionais-DAEB/INEP/MEC, Brasília, 2001.

COSTA, Diogo Gonzaga Monte da; MORAES, Edgar Perin. INTEGRANDO A INTELIGÊNCIA ARTIFICIAL GENERATIVA NA EDUCAÇÃO EM QUÍMICA: DESENVOLVIMENTO DE FERRAMENTAS E AVALIAÇÃO COMO RECURSO EDUCACIONAL. Journal of Media Critiques, [S. l.], v. 10, n. 26, p. e148, 2024. Disponível em: https://journalmediacritiques.com/index.php/jmc/article/view/148. Acesso em: 6 jan. 2026.

DELMIRO, Carlos Henrique; MENEZES, Daniel Brandão; BORGES NETO, Hermínio. Grau de dificuldade de itens em um teste para 9º ano do ensino fundamental: o caso de uma avaliação externa municipal. Horizontes, [S. l.], v. 42, n. 1, p. e023084, 2024. Disponível em: https://revistahorizontes.usf.edu.br/horizontes/article/view/1738. Acesso em: 9 fev. 2026.

DEEPSEEK. DeepSeek. [S. l.]: DeepSeek. Disponível em: https://deepseek.com. Acesso em: 18 jan. 2026 Acesso em: 7 jan. 2026.

DEL VALLE, Jasper M. Use of Generative AI in Writing Lesson Plans: The Case of English Pre-Service Teachers. International Journal of Social Science Humanity & Management Research, v. 4, n. 7, p. 1317-1326, jul. 2025. Disponível em: https://ijsshmr.com/v4i7/2.php. Acesso em: 7 jan. 2026.

FUNDAÇÃO ITAÚ. EQUIDADE.INFO. Percepções sobre a Inteligência Artificial na educação. São Paulo: Observatório Fundação Itaú, 2024. Disponível em: https://fundacaoitau.org.br/observatorio/biblioteca/pesquisa-percepcoes-sobre-inteligencia-artificial-na-educacao . Acesso em: 15 jan. 2026.

GIL, Antonio Carlos. Métodos e técnicas de pesquisa social. 6. ed. São Paulo: Atlas, 2008.

GOOGLE. Gemini. [S. l.]: Google LLC. Disponível em: https://gemini.google.com. Acesso em: 7 jan. 2026.

KEHOE, Frank. Leveraging Generative AI Tools for Enhanced Lesson Planning in Initial Teacher Education at Post-Primary. Irish Journal of Technology Enhanced Learning, [S. l.], v. 7, n. 2, p. 173-182, 2023. Disponível em:https://journal.ilta.ie/index.php/telji/article/view/124 . Acesso em: 8 jan. 2026

LAVERGHETTA JR., Antonio; LICATO, John. Generating better items for cognitive assessments using large language models. In: Proceedings of the 18th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2023). Toronto: Association for Computational Linguistics, 2023. p. 414-428. Disponível em: https://aclanthology.org/2023.bea-1.34/. Acesso em: 18 jan. 2026.

LIMA, Gabriel Loureiro de; BIANCHINI, Bárbara Lutaif. Reflexões sobre o ensino e a aprendizagem de álgebra a partir das produções do GT04 da SBEM. Educação em Revista, Belo Horizonte, v. 38, e24723, 2022. Disponível em: https://www.scielo.br/j/edur/a/SdTvr9PMcp9zTXf4kLRfNKv/?lang=pt. Acesso em: 9 fev. 2026.

LIMA NETTO, Manoel Salvino de. Analisando as Potencialidades da Inteligência Artificial na Criação de Materiais Didáticos para o Ensino de Física. Revista do Professor de Física, [S. l.], v. 8, n. 2, p. 41–53, 2024. DOI: 10.26512/rpf.v8i2.52289. Disponível em: https://periodicos.unb.br/index.php/rpf/article/view/52289. Acesso em: 6 jan. 2026.

MATOS, Cristiano Castro de; COUTINHO, Diogenes José Gusmão. DESAFIOS EDUCACIONAIS: A RESISTÊNCIA DO PROFESSOR ÀS NOVAS TECNOLOGIAS E A NECESSIDADE DE CAPACITAÇÃO. Revista Ibero-Americana de Humanidades, Ciências e Educação, [S. l.], v. 10, n. 5, p. 1069–1079, 2024. Disponível em: https://periodicorease.pro.br/rease/article/view/13181. Acesso em: 7 jan. 2026

MARCHI, Caio Fávero. O cérebro eletrônico que me dá socorro: os impactos da inteligência artificial generativa e os usos do ChatGPT na educação. 2023. 155 f. Tese (Doutorado em Tecnologias da Inteligência e Design Digital) - Pontifícia Universidade Católica de São Paulo, São Paulo, 2023. Disponível em: https://ariel.pucsp.br/bitstream/handle/40774/1/Caio%20Favero%20Marchi.pdf. Acesso em: 28 jan. 2026.

MEAD, Alan D.; ZHOU, Chenxuan. Evaluating the quality of AI-generated items for a certification exam. Journal of Applied Testing Technology, [S. l.], 2024. Disponível em: http://www.jattjournal.net/index.php/atp/article/view/173204. Acesso em: 18 jan. 2026.

NÚCLEO DE INFORMAÇÃO E COORDENAÇÃO DO PONTO BR (NIC.br). Inteligência artificial na educação: usos, oportunidades e riscos no cenário brasileiro. São Paulo: NIC.br/CGI.br, 2025. Disponível em:https://www.nic.br/publicacao/inteligencia-artificial-na-educacao-usos-oportunidades-e-riscos-no-cenario-brasileiro/ . Acesso em: 9 fev. 2026.

OPENAI. ChatGPT. [S. l.]: OpenAI. Disponível em: https://chat.openai.com. Acesso em: 7 jan. 2026.

PAES, Ângela Tavares; DUARTE, Danielle Tamashiro; FEITOSA, Natália Oliveira; CERATTI, Marcella M; SIQUEIRA, Felipe Prieto; LIBERATO, Pedro Afonso; OLIVEIRA, Carlos Augusto Cardim de. Assessing the Quality of Examination Questions in Medical Education: A Classical Test and Item Response Theory Approach in a Morphology Course. Creative Education, v. 16, n. 6, p. 932-946, 2025. Disponível em: https://www.scirp.org/journal/paperinformation?paperid=143673 Acesso em: 9 fev. 2026

PEDRINI, Vanuza do Amaral. Formação de professores e Inteligência Artificial na educação: revisão sistemática da literatura. Revista Científica, out. 2025. Disponível em: https://zenodo.org/records/17429292. Acesso em: 7 jan. 2026

PASQUALI, Luiz. Psicometria: teoria dos testes na psicologia e na educação. 6. ed. Petrópolis: Vozes, 2017.

PERPLEXITY AI. Perplexity. [S. l.]: Perplexity AÍ Inc.,. Disponível em: https://www.perplexity.ai. Acesso em: 7 jan. 2026.

PEREIRA, Stelamara Souza; SCHERER, Suely. Movimentos de integração de tecnologias digitais em tempos de pandemia: diálogos com professores que ensinam Matemática. Educação Matemática Debate, Montes Claros, v. 6, n. 12, p. 1–21, 2022. Disponível em: https://www.periodicos.unimontes.br/index.php/emd/article/view/4921. Acesso em: 29 jan. 2026.

RIBEIRO, André Ricardo Antunes; NAVARRO, Eloísa Rissoti; KALINKE, Marco Aurélio. O uso do ChatGPT para resolver problemas matemáticos sobre grandezas direta e inversamente proporcionais. Revista Pesquisa Qualitativa, [S. l.], v. 12, n. 30, p. 01–21, 2024. Disponível em: https://editora.sepq.org.br/rpq/article/view/716. Acesso em: 29 jan. 2026.

SANTOS, Luana Maiara dos; LIMONI, Herick Gonçalves; SOUZA, Mariana Cristina Moreira Souza. Inteligência Artificial Generativa (IAG) nas práticas pedagógicas: uma análise prospectiva. CONTRIBUCIONES A LAS CIENCIAS SOCIALES, [S. l.], v. 17, n. 3, p. e5858, 2024. Disponível em: https://ojs.revistacontribuciones.com/ojs/index.php/clcs/article/view/5858. Acesso em: 8 jan. 2026.

SILVA JUNIOR, Silvino Marques da; QUARTIERI, Marli Teresinha. Percepções e Desafios do Uso de IA Generativa na Educação: Um estudo com futuros professores. Revista Espaço Pedagógico, [S. l.], v. 32, p. e16860, 2025. Disponível em: https://ojs.upf.br/index.php/rep/article/view/16860. Acesso em: 6 jan. 2026.

SILVA, Andrey Camurça da; TANAKA FILHO, Mario. ELABORAÇÃO DE ITENS DE MATEMÁTICA COM AUXÍLIO DE INTELIGÊNCIA ARTIFICIAL GENERATIVA. Revista Nova Paideia - Revista Interdisciplinar em Educação e Pesquisa, [S. l.], v. 7, n. 1, p. 351–366, 2025. Disponível em: https://ojs.novapaideia.org/index.php/RIEP/article/view/399. Acesso em: 6 jan. 2026.

SILVA, Diego Scherer da; KAMPFF, Adriana Justin Cerveira. A inteligência artificial generativa como ferramenta educativa: perspectivas futuras e lições de um relato de experiência. Tecnologias, Sociedade e Conhecimento, Campinas, SP, v. 10, n. 2, p. 102-123, 2023. Disponível em: https://econtents.sbu.unicamp.br/inpec/index.php/tsc/article/view/18364 . Acesso em: 18 jan. 2026.

SILVA, Felipe Queiroz da; SANT’ANA, Irani Parolin; SANT’ANA, Claudinei de Camargo. O ChatGPT como recurso auxiliar na elaboração de aulas de Ciências e Matemática. ENCITEC - Ensino de Ciências e Tecnologia em Revista, v. 14, n. 3, out. 2024. Disponível em: https://san.uri.br/revistas/index.php/encitec/article/view/1897 Acesso em 6 jan 2026.

SILVA, Jackeline Sousa; SÁ, Cícera Alves Agostinho de. INTELIGÊNCIA ARTIFICIAL GENERATIVA APLICADA AO ENSINO INCLUSIVO DE LINGUAGENS. Revista Exitus, [S. l.], v. 14, n. 1, p. e024054, 2024. Disponível em: https://portaldeperiodicos.ufopa.edu.br/index.php/revistaexitus/article/view/2738. Acesso em: 6 jan. 2026.

SOARES, Denilson Junio Marques; EMILIANO, Paulo César; SOARES, Talita Emidio Andrade. Características Psicométricas de uma Avaliação de Matemática. Ensino da Matemática em Debate, [S. l.], v. 7, n. 3, p. 1–27, 2020. Disponível em: https://revistas.pucsp.br/index.php/emd/article/view/45658. Acesso em: 9 fev. 2026.

TEIXEIRA, Cristina de Jesus; FERREIRA, Weberson Campos; FRAZ, Joeanne Neves; MOREIRA, Geraldo Eustáquio. Professores/as que ensinam Matemática e o trabalho docente remoto: a experiência do presente e o olhar para o futuro. Educação Matemática Debate, Montes Claros, v. 6, n. 12, p. 1–17, 2022. Disponível em: https://www.periodicos.unimontes.br/index.php/emd/article/view/4920. Acesso em: 29 jan. 2026.

VASCONCELOS, Lucas; CASTRO FILHO, José Aires de; BARRETO, Daisyane; CASTRO, Juscileide Braga de; SOUZA, Maria de Fátima Costa de; CARDOSO, Lídia A. B.; MAIA, Dennys Leite. Design Guidelines for Integrating Artificial Intelligence into Preservice Teacher EFL and STEAM Education. Journal of Technology and Teacher Education, Waynesville, v. 33, n. 4, 2025, p. 753-784. NC USA: Society for Information Technology & Teacher Education. Disponível em: https://www.learntechlib.org/primary/p/226561/ . Acesso em: 20 de jan. 2026.

VENDRAMINI, Claudette Maria Medeiros; SILVA,Marjorie Cristina da; CANALE, Michelle. Análise de itens de uma prova de raciocínio estatístico. Psicologia em Estudo, Londrina, v. 9, n. 3, p. 487-498, 2004. Disponível em: https://www.scielo.br/j/pe/a/kVWWvnwgDmRrdDSJ8zFKjYw/?lang=pt. Acesso em: 19 jan. 2026.

WRÓBLEWSKA, Anna; GRABEK, Bartosz; ŚWISTAK, Jakub; DAN, Daniel. Evaluating LLM-generated Q&A test: a student-centered study. In: CRISTEA, A. I. et al. (Ed.). Artificial Intelligence in Education. AIED 2025. Cham: Springer, 2025. (Lecture Notes in Computer Science, v. 15878). Disponível em: https://link.springer.com/chapter/10.1007/978-3-031-98417-4_20. Acesso em: 19 jan. 2026.

ZHAN, Ying; BOUD, David; DAWSON, Phillip; YAN, Zi. Generative artificial intelligence as an enabler of student feedback engagement: a framework. Higher Education Research & Development, v. 44, n. 5, p. 1289-1304, mar. 2025. Disponível em: https://www.tandfonline.com/doi/full/10.1080/07294360.2025.2476513. Acesso em: 7 jan. 2026.