Serasa Experian
11 months ago
Cientista de Dados Sênior - GenAI & LLMs
Sign up to save this job, get alerts, and apply with an optimized CV.
Company information
- Company
- Serasa Experian
- Location
- Brasil Brazil
- Posted
- 11 months ago
Job description
Job Description
Estamos em busca de um Cientista de Dados apaixonado por IA Generativa, que una rigor técnico e mentalidade experimental para acelerar a próxima onda de inovação com LLMs.
Se você gosta de transformar modelos em soluções reais, medir impacto com precisão e explorar o limite entre ciência e criatividade.
O que você fará
- Conduzir experimentos com diferentes LLMs (GPTs, Claude, Gemini, Llama, Deepseek, etc) aplicados a casos de uso de negócio.
- Desenvolver frameworks de avaliação e benchmarking para agentes GenAI (accuracy, relevance, hallucination).
- Otimizar pipelines de RAG, ajustando chunking, embeddings e estratégias de retrieval com base em métricas reais.
- Medir performance e ROI de agentes, criando dashboards e relatórios de experimentação.
- Implementar A/B tests e análises comparativas de prompts, modelos e arquiteturas.
- Criar datasets de avaliação e benchmarks específicos por domínio.
- Apoiar decisões estratégicas entre Fine-Tuning, RAG ou Prompt Engineering.
- Documentar descobertas e traduzir resultados em recomendações acionáveis para produto e tecnologia.
O que vamos esperar de você:
- 5+ anos de experiência em Data Science/ML, com pelo menos 1 ano em GenAI/LLMs.
- Proficiência em Python e bibliotecas de data science (pandas, scikit-learn, matplotlib).
- Vivência em NLP, embeddings e técnicas de processamento de texto.
- Sólidos conhecimentos em estatística, experimentação (A/B testing) e análise de dados.
- Experiência com evaluation de modelos generativos (BLEU, ROUGE, BERTScore etc.).
- Familiaridade com frameworks de LLMs e MultiAgents (OpenAI, LangChain, CrewAI, VannaAI).
- Conhecimento de SQL e manipulação de grandes volumes de dados.
Vamos considerar um derencial
- Mestrado ou PhD em áreas quantitativas (Estatística, Ciência da Computação, Matemática).
- Experiência com Fine-tuning e transfer learning.
- Domínio de frameworks de ML (PyTorch, TensorFlow, Hugging Face).
- Domínio de frameworks e ferramentas de automacao (n8n, FlowIse, LangFlow).
- Experiência com Prompt Optimization (DSPy, Automatic Prompt Engineering).
- Conhecimento em interpretabilidade e explainability de modelos.
- Familiaridade com ferramentas de visualização (Plotly, Streamlit, Tableau).
Required skills
- sql
- python
- nlp
- pytorch
- claude
- llama
- embeddings
- genai
- tableau
- a/b testing
- statistics
- gemini
- tensorflow
- llms
- pandas
- explainability
- streamlit
- scikit-learn
- matplotlib
- hugging face
- fine-tuning
- n8n
- prompt optimization
- plotly
- gpts
- text processing
- deepseek
- datalab
- transfer learning
- flowise
- langflow
- automatic prompt engineering
- interpretabilidade
Interested in this position?
Create your free account and tailor your CV to match this job.