Analista QA - Quality & AI Agents
Hybrid · São Paulo, São Paulo, Brazil
Job Summary
Analista QA - Quality & AI Agents atuará como QA Engineer especializado em validar agentes conversacionais baseados em IA Generativa (LLMs). Será responsável por criar estratégias de testes, desenvolver cenários de validação de comportamento do agente, automatizar testes de prompts e respostas, identificar alucinações e inconsistências, criar datasets de teste e suites de regressão, validar aderência a guardrails e políticas de resposta, participar da análise de qualidade antes do deploy de novas versões, e colaborar com times técnicos para melhoria do comportamento do agente. Trabalhará com tecnologias como LLMs, APIs, frameworks de testes automatizados, pipelines de avaliação de IA, ferramentas de análise de conversas e ambientes de simulação de conversas. Pode incluir experiência com Python, frameworks de testes, ferramentas de IA de geração de linguagem, e foco em qualidade de experiências conversacionais, com atuação em um ambiente corporativo que valoriza diversidade e bem-estar.
Required Qualifications
- Experiência em Quality Assurance ou Test Automation
- Experiência em criação de cenários e planos de teste
- Experiência prática com ferramentas de IA (ex.: ChatGPT, Claude, Gemini)
- Experiência com APIs e testes automatizados
- Experiência com NLP ou análise de texto
- Experiência com automação de testes em Python
- Experiência com testes de chatbots ou voicebots (desejável)
- Capacidade de estruturar testes sistemáticos para sistemas complexos
Apply with one swipe on Sorce. We auto-fill applications and apply on your behalf — no cover letters, no 40-minute forms.
Hiring someone like this?
Get your role in front of qualified candidates on Sorce.