Avaliação da Qualidade de Itens de Matemática Gerados por Inteligência Artificial Generativa: um estudo com base na teoria clássica dos testes

Fernando Eder Andrade de Lima; Juscileide Braga de Castro

doi:10.22169/revint.v21.e26do302

Autores

Fernando Eder Andrade de Lima Instituto Federal de Tecnologia do Ceará (IFCE) https://orcid.org/0009-0001-2585-098X
Dra. Juscileide Braga de Castro Universidade Federal do Ceará (UFC) https://orcid.org/0000-0002-6530-4860

DOI:

https://doi.org/10.22169/revint.v21.e26do302

Palavras-chave:

inteligência artificial generativa, educação matemática, avaliação educacional, teoria clássica dos testes

Resumo

Este estudo tem como objeto a elaboração e a avaliação de itens de Matemática gerados por Inteligência Artificial Generativa. O objetivo é analisar a qualidade técnica, cognitiva e psicométrica desses itens, à luz de referenciais da Educação Matemática, da Avaliação Educacional e da Psicometria. Trata-se de uma pesquisa exploratória, desenvolvida em ambiente computacional controlado, com base em dados simulados. Quatro sistemas de IA (ChatGPT, Gemini, Perplexity e DeepSeek) foram utilizados para gerar itens de múltipla escolha alinhados à habilidade EF09MA09 da BNCC, analisados segundo a Taxonomia de Bloom Revisada e a Teoria Clássica dos Testes. Os resultados indicam coerência técnica dos itens, embora revelem variações no nível cognitivo mobilizado, na qualidade dos distratores e no desempenho psicométrico estimado, evidenciando a necessidade de mediação docente e de protocolos metodológicos rigorosos.

Downloads

Não há dados estatísticos.

Biografia do Autor

Fernando Eder Andrade de Lima, Instituto Federal de Tecnologia do Ceará (IFCE)

Mestrando do programa de pós-graduação em Ensino de Ciências e Matemática no Instituto Federal de Educação, Ciências e Tecnologia do Ceará - IFCE. Pós-graduação em Gestão Escolar pela Faculdade do Maciço de Baturité (2017) e em Informática e Comunicação na Educação pelo Instituto Superior de Educação Ibituruna (2017). Graduado em Licenciatura Plena em Matemática pela Universidade Estadual do Ceará - UECE (2013) e Licenciatura em Computação pelo Claretiano - Centro Universitário (2021).

Dra. Juscileide Braga de Castro, Universidade Federal do Ceará (UFC)

Possui licenciatura em Matemática (2006), mestrado (2012) e doutorado em Educação (2016) pela Universidade Federal do Ceará. Atualmente é professora adjunta da Universidade Federal do Ceará, na Faculdade de Educação/FACED, vinculada ao Departamento de Teoria e Prática do Ensino. Professora no Programa de Pós-graduação no Ensino de Ciências e Matemática (PGECM) do IFCE e do Programa de Pós-graduação em Educação da UFC. Integrante do Grupo de Pesquisa e Produção de Ambientes Interativos e Objetos de Aprendizagem (PROATIVA) e Líder do Grupo de Pesquisa e Produção Colaborativa de Mídias Digitais e Aprendizagem da Matemática (PROMÍDIA), onde desenvolve recursos Educacionais Digitais, projetos interdisciplinares e pesquisas na área de Matemática e Tecnologias Digitais.

Referências

AGUIRRE, Uriel José Castellanos. Inteligência artificial generativa (IAG) e educação matemática: possibilidades em sala de aula. Revista Interinstitucional Artes de Educar, [S. l.], v. 11, n. 1, p. 191-210, 2025. Disponível em: https://www.e-publicacoes.uerj.br/riae/article/view/86127. Acesso em: 28 jan. 2026.

ANDERSON, Lorin W.; KRATHWOHL, David R. (eds.). A taxonomy for learning, teaching, and assessing: a revision of Bloom's Taxonomy of educational objectives. New York: Longman, 2001.

ARSLAN, Burcu; LEHMAN, Blair; TENISON, Caitlin; SPARKS, Jesse R.; LÓPEZ, Alexis A.; GU, Lin; ZAPATA-RIVERA, Diego. Opportunities and challenges of using generative AI to personalize educational assessment. Frontiers in Artificial Intelligence, v. 7, 1460651, out. 2024. Disponível em: https://www.frontiersin.org/journals/artificial-intelligence/articles/10.3389/frai.2024.1460651/full Acesso em: 6 jan. 2026.

BELKINA, Marina; DANIEL, Scott; NIKOLIC, Sasha; HAQUE, Rezwanul; LYDEN, Sarah; NEAL, Peter; GRUNDY, Sarah; HASSAN, Ghulam M. Implementing generative AI (GenAI) in higher education: A systematic review of case studies. Computers and Education: Artificial Intelligence, v. 8, 100407, abr. 2025. Disponível em: https://www.sciencedirect.com/science/article/pii/S2666920X25000475?via%3Dihub Acesso em: 6 jan 2026

BIDO, Yasmin P.; WIESE, Igor; NAKAMURA, Walter T.. IAs Generativas na Educação: Usos, percepções, desafios e adaptações nas práticas pedagógicas do ponto de vista de professores do ensino fundamental, médio e superior. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO (SBIE), 35. , 2024, Rio de Janeiro/RJ. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2024. p. 1701-1714. Disponível em: https://sol.sbc.org.br/index.php/sbie/article/view/31351 Acesso em: 7 jan 2026.

BLOOM, Benjamin S.; ENGLEHART, Max D.; FURST, Edward J.; HILL, Walker H.; KRATHWOHL, David R. Taxonomy of educational objectives: the classification of educational goals. Handbook I: cognitive domain. New York: David McKay, 1956. 262 p.

BONSERVIZI, Virginia Magali; SGRECCIA, Natalia Fátima. Articulación de las tecnologías a través de la carrera Profesorado en Matemática de la Universidad Nacional de Rosario. Educação Matemática Debate, Montes Claros, v. 5, n. 11, p. 1–26, 2021.Disponível em: https://www.periodicos.unimontes.br/index.php/emd/article/view/3771. Acesso em: 29 jan. 2026.

BORGATTO, Adriano Ferreti; ANDRADE, Dalton Francisco de. Análise clássica de testes com diferentes graus de dificuldade. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 52, p. 146–156, 2012. Disponível em: https://publicacoes.fcc.org.br/eae/article/view/1934. Acesso em: 18 jan. 2026.

BRASIL. Base Nacional Comum Curricular (BNCC). Brasília, DF: Ministério da Educação, 2018. Disponível em: https://www.gov.br/mec/pt-br/escola-em-tempo-integral/BNCC_EI_EF_110518_versaofinal.pdf. Acesso em: 18 jan. 2026.

BRASIL. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Saeb: Resultados. Brasília, DF: Inep, [2025a]. Disponível em: https://www.gov.br/inep/pt-br/areas-de-atuacao/avaliacao-e-exames-educacionais/saeb/resultados . Acesso em: 9 fev. 2026.

CASTRO-FILHO, José Aires de; FREIRE, Raquel Santiago; CASTRO, Juscileide Braga de. Tecnologia e Aprendizagem de Conceitos Matemáticos. Jornal Internacional de Estudos em Educação Matemática, [S. l.], v. 10, n. 2, p. 93–98, 2017.Disponível em: https://jieem.pgsscogna.com.br/jieem/article/view/5508. Acesso em: 17 fev. 2026.

CASTRO, Juscileide Braga de. Formação de Professores que Ensinam Matemática: Produção de Recursos Educacionais Digitais para a Construção de Significados. In: Simpósio Internacional de Pesquisa em Educação Matemática: a Educação Matemática num mundo pós-pandêmico. Anais...Campina Grande (PB) UEPB, 2024. Disponível em: https://www.even3.com.br/anais/6sipemat/872756-formacao-de-professores-que-ensinam-matematica--producao-de-recursos-educacionais-digitais-para-a-construcao-de-s/ Acesso em 31 jan 2026.

CENTRO DE INOVAÇÃO PARA A EDUCAÇÃO BRASILEIRA. Inteligência artificial na educação básica: novas aplicações e tendências para o futuro. São Paulo: CIEB, 2024. (Notas Técnicas, #21). Disponível em: https://cieb.net.br/wp-content/uploads/2024/06/Inteligencia-Artificial-na-Educacao-Basica_2024.pdf. Acesso em: 15 jan. 2026.

CENTRO DE POLÍTICAS PÚBLICAS E AVALIAÇÃO DA EDUCAÇÃO. Guia de elaboração de itens: Matemática. Juiz de Fora: CAEd/UFJF, 2008. Disponível em: https://docs.ufpr.br/~aanjos/CE095/3_Guia_De_-Elabora%C3%A7%C3%A3o_De_Itens_MT.pdf. Acesso em: 15 jan. 2026.

CONDÉ, Francisco Newton. Análise empírica de itens. Technical report, Instituto Nacional de Estudos e Pesquisas Educacionais-DAEB/INEP/MEC, Brasília, 2001.

COSTA, Diogo Gonzaga Monte da; MORAES, Edgar Perin. INTEGRANDO A INTELIGÊNCIA ARTIFICIAL GENERATIVA NA EDUCAÇÃO EM QUÍMICA: DESENVOLVIMENTO DE FERRAMENTAS E AVALIAÇÃO COMO RECURSO EDUCACIONAL. Journal of Media Critiques, [S. l.], v. 10, n. 26, p. e148, 2024. Disponível em: https://journalmediacritiques.com/index.php/jmc/article/view/148. Acesso em: 6 jan. 2026.

DELMIRO, Carlos Henrique; MENEZES, Daniel Brandão; BORGES NETO, Hermínio. Grau de dificuldade de itens em um teste para 9º ano do ensino fundamental: o caso de uma avaliação externa municipal. Horizontes, [S. l.], v. 42, n. 1, p. e023084, 2024. Disponível em: https://revistahorizontes.usf.edu.br/horizontes/article/view/1738. Acesso em: 9 fev. 2026.

DEEPSEEK. DeepSeek. [S. l.]: DeepSeek. Disponível em: https://deepseek.com. Acesso em: 18 jan. 2026 Acesso em: 7 jan. 2026.

DEL VALLE, Jasper M. Use of Generative AI in Writing Lesson Plans: The Case of English Pre-Service Teachers. International Journal of Social Science Humanity & Management Research, v. 4, n. 7, p. 1317-1326, jul. 2025. Disponível em: https://ijsshmr.com/v4i7/2.php. Acesso em: 7 jan. 2026.

FUNDAÇÃO ITAÚ. EQUIDADE.INFO. Percepções sobre a Inteligência Artificial na educação. São Paulo: Observatório Fundação Itaú, 2024. Disponível em: https://fundacaoitau.org.br/observatorio/biblioteca/pesquisa-percepcoes-sobre-inteligencia-artificial-na-educacao . Acesso em: 15 jan. 2026.

GIL, Antonio Carlos. Métodos e técnicas de pesquisa social. 6. ed. São Paulo: Atlas, 2008.

GOOGLE. Gemini. [S. l.]: Google LLC. Disponível em: https://gemini.google.com. Acesso em: 7 jan. 2026.

KEHOE, Frank. Leveraging Generative AI Tools for Enhanced Lesson Planning in Initial Teacher Education at Post-Primary. Irish Journal of Technology Enhanced Learning, [S. l.], v. 7, n. 2, p. 173-182, 2023. Disponível em:https://journal.ilta.ie/index.php/telji/article/view/124 . Acesso em: 8 jan. 2026

LAVERGHETTA JR., Antonio; LICATO, John. Generating better items for cognitive assessments using large language models. In: Proceedings of the 18th Workshop on Innovative Use of NLP for Building Educational Applications (BEA 2023). Toronto: Association for Computational Linguistics, 2023. p. 414-428. Disponível em: https://aclanthology.org/2023.bea-1.34/. Acesso em: 18 jan. 2026.

LIMA, Gabriel Loureiro de; BIANCHINI, Bárbara Lutaif. Reflexões sobre o ensino e a aprendizagem de álgebra a partir das produções do GT04 da SBEM. Educação em Revista, Belo Horizonte, v. 38, e24723, 2022. Disponível em: https://www.scielo.br/j/edur/a/SdTvr9PMcp9zTXf4kLRfNKv/?lang=pt. Acesso em: 9 fev. 2026.

LIMA NETTO, Manoel Salvino de. Analisando as Potencialidades da Inteligência Artificial na Criação de Materiais Didáticos para o Ensino de Física. Revista do Professor de Física, [S. l.], v. 8, n. 2, p. 41–53, 2024. DOI: 10.26512/rpf.v8i2.52289. Disponível em: https://periodicos.unb.br/index.php/rpf/article/view/52289. Acesso em: 6 jan. 2026.

MATOS, Cristiano Castro de; COUTINHO, Diogenes José Gusmão. DESAFIOS EDUCACIONAIS: A RESISTÊNCIA DO PROFESSOR ÀS NOVAS TECNOLOGIAS E A NECESSIDADE DE CAPACITAÇÃO. Revista Ibero-Americana de Humanidades, Ciências e Educação, [S. l.], v. 10, n. 5, p. 1069–1079, 2024. Disponível em: https://periodicorease.pro.br/rease/article/view/13181. Acesso em: 7 jan. 2026

MARCHI, Caio Fávero. O cérebro eletrônico que me dá socorro: os impactos da inteligência artificial generativa e os usos do ChatGPT na educação. 2023. 155 f. Tese (Doutorado em Tecnologias da Inteligência e Design Digital) - Pontifícia Universidade Católica de São Paulo, São Paulo, 2023. Disponível em: https://ariel.pucsp.br/bitstream/handle/40774/1/Caio%20Favero%20Marchi.pdf. Acesso em: 28 jan. 2026.

MEAD, Alan D.; ZHOU, Chenxuan. Evaluating the quality of AI-generated items for a certification exam. Journal of Applied Testing Technology, [S. l.], 2024. Disponível em: http://www.jattjournal.net/index.php/atp/article/view/173204. Acesso em: 18 jan. 2026.

NÚCLEO DE INFORMAÇÃO E COORDENAÇÃO DO PONTO BR (NIC.br). Inteligência artificial na educação: usos, oportunidades e riscos no cenário brasileiro. São Paulo: NIC.br/CGI.br, 2025. Disponível em:https://www.nic.br/publicacao/inteligencia-artificial-na-educacao-usos-oportunidades-e-riscos-no-cenario-brasileiro/ . Acesso em: 9 fev. 2026.

OPENAI. ChatGPT. [S. l.]: OpenAI. Disponível em: https://chat.openai.com. Acesso em: 7 jan. 2026.

PAES, Ângela Tavares; DUARTE, Danielle Tamashiro; FEITOSA, Natália Oliveira; CERATTI, Marcella M; SIQUEIRA, Felipe Prieto; LIBERATO, Pedro Afonso; OLIVEIRA, Carlos Augusto Cardim de. Assessing the Quality of Examination Questions in Medical Education: A Classical Test and Item Response Theory Approach in a Morphology Course. Creative Education, v. 16, n. 6, p. 932-946, 2025. Disponível em: https://www.scirp.org/journal/paperinformation?paperid=143673 Acesso em: 9 fev. 2026

PEDRINI, Vanuza do Amaral. Formação de professores e Inteligência Artificial na educação: revisão sistemática da literatura. Revista Científica, out. 2025. Disponível em: https://zenodo.org/records/17429292. Acesso em: 7 jan. 2026

PASQUALI, Luiz. Psicometria: teoria dos testes na psicologia e na educação. 6. ed. Petrópolis: Vozes, 2017.

PERPLEXITY AI. Perplexity. [S. l.]: Perplexity AÍ Inc.,. Disponível em: https://www.perplexity.ai. Acesso em: 7 jan. 2026.

PEREIRA, Stelamara Souza; SCHERER, Suely. Movimentos de integração de tecnologias digitais em tempos de pandemia: diálogos com professores que ensinam Matemática. Educação Matemática Debate, Montes Claros, v. 6, n. 12, p. 1–21, 2022. Disponível em: https://www.periodicos.unimontes.br/index.php/emd/article/view/4921. Acesso em: 29 jan. 2026.

RIBEIRO, André Ricardo Antunes; NAVARRO, Eloísa Rissoti; KALINKE, Marco Aurélio. O uso do ChatGPT para resolver problemas matemáticos sobre grandezas direta e inversamente proporcionais. Revista Pesquisa Qualitativa, [S. l.], v. 12, n. 30, p. 01–21, 2024. Disponível em: https://editora.sepq.org.br/rpq/article/view/716. Acesso em: 29 jan. 2026.

SANTOS, Luana Maiara dos; LIMONI, Herick Gonçalves; SOUZA, Mariana Cristina Moreira Souza. Inteligência Artificial Generativa (IAG) nas práticas pedagógicas: uma análise prospectiva. CONTRIBUCIONES A LAS CIENCIAS SOCIALES, [S. l.], v. 17, n. 3, p. e5858, 2024. Disponível em: https://ojs.revistacontribuciones.com/ojs/index.php/clcs/article/view/5858. Acesso em: 8 jan. 2026.

SILVA JUNIOR, Silvino Marques da; QUARTIERI, Marli Teresinha. Percepções e Desafios do Uso de IA Generativa na Educação: Um estudo com futuros professores. Revista Espaço Pedagógico, [S. l.], v. 32, p. e16860, 2025. Disponível em: https://ojs.upf.br/index.php/rep/article/view/16860. Acesso em: 6 jan. 2026.

SILVA, Andrey Camurça da; TANAKA FILHO, Mario. ELABORAÇÃO DE ITENS DE MATEMÁTICA COM AUXÍLIO DE INTELIGÊNCIA ARTIFICIAL GENERATIVA. Revista Nova Paideia - Revista Interdisciplinar em Educação e Pesquisa, [S. l.], v. 7, n. 1, p. 351–366, 2025. Disponível em: https://ojs.novapaideia.org/index.php/RIEP/article/view/399. Acesso em: 6 jan. 2026.

SILVA, Diego Scherer da; KAMPFF, Adriana Justin Cerveira. A inteligência artificial generativa como ferramenta educativa: perspectivas futuras e lições de um relato de experiência. Tecnologias, Sociedade e Conhecimento, Campinas, SP, v. 10, n. 2, p. 102-123, 2023. Disponível em: https://econtents.sbu.unicamp.br/inpec/index.php/tsc/article/view/18364 . Acesso em: 18 jan. 2026.

SILVA, Felipe Queiroz da; SANT’ANA, Irani Parolin; SANT’ANA, Claudinei de Camargo. O ChatGPT como recurso auxiliar na elaboração de aulas de Ciências e Matemática. ENCITEC - Ensino de Ciências e Tecnologia em Revista, v. 14, n. 3, out. 2024. Disponível em: https://san.uri.br/revistas/index.php/encitec/article/view/1897 Acesso em 6 jan 2026.

SILVA, Jackeline Sousa; SÁ, Cícera Alves Agostinho de. INTELIGÊNCIA ARTIFICIAL GENERATIVA APLICADA AO ENSINO INCLUSIVO DE LINGUAGENS. Revista Exitus, [S. l.], v. 14, n. 1, p. e024054, 2024. Disponível em: https://portaldeperiodicos.ufopa.edu.br/index.php/revistaexitus/article/view/2738. Acesso em: 6 jan. 2026.

SOARES, Denilson Junio Marques; EMILIANO, Paulo César; SOARES, Talita Emidio Andrade. Características Psicométricas de uma Avaliação de Matemática. Ensino da Matemática em Debate, [S. l.], v. 7, n. 3, p. 1–27, 2020. Disponível em: https://revistas.pucsp.br/index.php/emd/article/view/45658. Acesso em: 9 fev. 2026.

TEIXEIRA, Cristina de Jesus; FERREIRA, Weberson Campos; FRAZ, Joeanne Neves; MOREIRA, Geraldo Eustáquio. Professores/as que ensinam Matemática e o trabalho docente remoto: a experiência do presente e o olhar para o futuro. Educação Matemática Debate, Montes Claros, v. 6, n. 12, p. 1–17, 2022. Disponível em: https://www.periodicos.unimontes.br/index.php/emd/article/view/4920. Acesso em: 29 jan. 2026.

VASCONCELOS, Lucas; CASTRO FILHO, José Aires de; BARRETO, Daisyane; CASTRO, Juscileide Braga de; SOUZA, Maria de Fátima Costa de; CARDOSO, Lídia A. B.; MAIA, Dennys Leite. Design Guidelines for Integrating Artificial Intelligence into Preservice Teacher EFL and STEAM Education. Journal of Technology and Teacher Education, Waynesville, v. 33, n. 4, 2025, p. 753-784. NC USA: Society for Information Technology & Teacher Education. Disponível em: https://www.learntechlib.org/primary/p/226561/ . Acesso em: 20 de jan. 2026.

VENDRAMINI, Claudette Maria Medeiros; SILVA,Marjorie Cristina da; CANALE, Michelle. Análise de itens de uma prova de raciocínio estatístico. Psicologia em Estudo, Londrina, v. 9, n. 3, p. 487-498, 2004. Disponível em: https://www.scielo.br/j/pe/a/kVWWvnwgDmRrdDSJ8zFKjYw/?lang=pt. Acesso em: 19 jan. 2026.

WRÓBLEWSKA, Anna; GRABEK, Bartosz; ŚWISTAK, Jakub; DAN, Daniel. Evaluating LLM-generated Q&A test: a student-centered study. In: CRISTEA, A. I. et al. (Ed.). Artificial Intelligence in Education. AIED 2025. Cham: Springer, 2025. (Lecture Notes in Computer Science, v. 15878). Disponível em: https://link.springer.com/chapter/10.1007/978-3-031-98417-4_20. Acesso em: 19 jan. 2026.

ZHAN, Ying; BOUD, David; DAWSON, Phillip; YAN, Zi. Generative artificial intelligence as an enabler of student feedback engagement: a framework. Higher Education Research & Development, v. 44, n. 5, p. 1289-1304, mar. 2025. Disponível em: https://www.tandfonline.com/doi/full/10.1080/07294360.2025.2476513. Acesso em: 7 jan. 2026.