Em 2021, meu amigo de longa data, Eric Barreto, e eu, decidimos criar a Okai, uma startup com a missão de simplificar compliance. Eric dedicou décadas de sua carreira a ajudar empresas a navegar pelo complexo cenário regulatório brasileiro, e vimos uma oportunidade de usar IA generativa para simplificar esse processo.

Na época, o GPT-3 ainda estava sendo lançado, e conseguimos acesso antecipado por meio da Microsoft, que apoiou nossa ideia. Com o suporte de engenheiros da BigTech e R$ 1.000.000 em créditos do Azure, começamos a explorar o que essa tecnologia era capaz de fazer. Hoje, 5 bilhões de tokens depois, e com a liderança técnica de Leonardo Appio, construímos uma plataforma inteira, a Aila, que se tornou o núcleo da nossa solução de compliance e educação.

Neste artigo, vou compartilhar os principais desafios e aprendizados ao longo dessa jornada.

Não é só hype

Muitos se perguntam se IA generativa é apenas uma moda passageira ou se realmente traz valor. Desde o começo dos nossos testes, ficou evidente que essa tecnologia vinha para revolucionar processamento de linguagem natural. Até então, os avanços nessa área eram muito tímidos.

Se para muitas áreas o valor dessa tecnologia ainda não está muito claro, em compliance ela brilha, acelerando a leitura e interpretação de textos, resumindo e extraindo insights de documentos, gerando diagnósticos e relatórios de maneira eficiente e precisa.

IA generativa precisa de um solo fértil para processamento de linguagem natural, de forma que consiga entregar valor real para os usuários. Compliance, sendo uma área altamente dependente de regras, documentos, leis e regulamentações, fornece à IA uma base sólida para ser útil e precisa.

Conteúdo ainda é rei!

O verdadeiro poder da IA generativa, fora das tarefas criativas, não está em criar coisas do zero, mas em transformar informações já existentes. Com essa estratégia, os algoritmos contam com textos curados para trabalhar, em vez de seu próprio treinamento original. Isso faz com que eles produzam informações muito mais precisas e confiáveis.

Na Okai, combinamos três fontes principais de dados: centenas de milhares de divulgações dos principais reguladores do Brasil; milhares de artigos técnicos escritos pela nossa equipe sobre conceitos-chave do negócio; e as informações dos próprios clientes, que são usadas para personalizar a experiência das empresas.

Para injetar essa informação toda no modelo, utilizamos técnicas como fine-tuning e retrieval-augumented generation. Ambos se provaram muito desafiadores de implementar, mas possíveis. Um agradecimento especial ao Jonathan Unikowski pelos insights valiosos enquanto implementávamos o RAG!

Testes e mais testes

Ao longo do tempo, exploramos várias maneiras de usar IA generativa na Okai: começamos com fine-tuning, retreinando o modelo com nossas informações, depois exploramos o few-shot learning, com exemplos diretamente no prompt, e finalmente implementamos o retrieval-augumented generation, injetando conteúdo relevante e tempestivo em tempo real. Acabamos adotando um mix dessas técnicas.

Durante cada uma dessas fases, e suas iterações, tivemos que fazer validações extensas com os resultados. Esse é um dos maiores desafios com IA generativa, já que os modelos são probabilísticos, e não determinísticos. Isso significa que, mesmo com a mesma entrada, o resultado tende a variar, o que dificulta garantir uma consistência absoluta. Às vezes, os primeiros testes indicam que o modelo está funcionando perfeitamente, mas, conforme expandimos os cenários, problemas surgem, demandando ajustes contínuos.

Para vencer esse desafio, é indispensável criar um framework de testes rigoroso. Cada nova versão da plataforma tem que passar por um ciclo extenso de validação, onde amostras de resultados são avaliadas por profissionais especializados, garantindo que a IA mantenha a qualidade esperada.

O custo da inovação é alto

Outro aprendizado importante foi relacionado ao custo. Processar 5 bilhões de tokens — o equivalente a 3,75 bilhões de palavras ou cerca de 35.667 livros — não é apenas desafiador tecnicamente, mas também financeiramente. A cada novo ajuste, cada novo teste, o custo de processamento aumenta.

Para gerenciar isso de maneira eficiente, implementamos uma variedade de técnicas para controlar os custos, com logs customizados, seleção de modelos com preços diferentes de acordo com a tarefa e controles redundantes nos processamentos automatizados. Esse gerenciamento cuidadoso nos permitiu otimizar nossos gastos sem comprometer a qualidade dos resultados.

A parceria com a Microsoft também foi fundamental nesse processo. Com o incentivo dos créditos do Azure, pudemos financiar o desenvolvimento e os testes de nossa plataforma em larga escala, com um volume inédito nessa área.

IA não substitui experts

Apesar de todos os avanços que fizemos com a IA generativa, está claro que ela não substitui o conhecimento humano, especialmente em uma área tão crítica quanto compliance. Embora a IA possa automatizar grande parte da análise de dados e da interpretação de normas, a análise final exige o olhar atento de especialistas com experiência profunda no setor.

Na Okai, sempre adotamos uma abordagem híbrida. A Aila acelera o processo e aumenta a eficiência, mas sempre com o apoio de especialistas humanos para validar os resultados nos pontos mais críticos. Contamos com uma rede de profissionais experientes, incluindo professores e profissionais com grande experiência no setor, para garantir que tudo esteja conforme as exigências regulatórias e alinhado com as necessidades específicas de cada cliente.

Essa abordagem híbrida nos permite tirar o máximo proveito da IA generativa sem comprometer a precisão e a segurança das informações, oferecendo uma solução que combina o melhor da tecnologia com o conhecimento e a expertise humana.

Próximos passos

Nos últimos anos conseguimos criar uma plataforma de compliance incrível com IA generativa. Nossos clientes estimam uma economia de pelo menos 2.000 horas por ano com a nossa solução, além de diminuição dos riscos regulatórios e ganho de confiança dos gestores.

Continuamos apostando fortemente em conteúdo original, aumentando nosso ritmo de produção e expandindo nossa base de conhecimento através de parcerias com associações, que geram tantos insights valiosos sobre o que acontece no panorama regulatório do país.

A eficiência gerada pela inteligência artificial também nos permite reduzir custos, viabilizando a plataforma para empresas menores, que antes não teriam acesso a esse tipo de solução. Isso é central à nossa missão: usar tecnologia para tornar as empresas mais dinâmicas, simplificando compliance.