Modelcraft | Management Solutions

¿Por quê Modelcraft™?

ModelCraftTM é uma ferramenta de machine learning automatizado e de modelagem por componentes para simplificar e industrializar os processos de desenvolvimento e validação de modelos analíticos avançados

O ModelCraft™ tem componentes de uso intuitivo para o tratamento de dados, o desenvolvimento de modelos analíticos avançados e a análise de interpretabilidade. Essa plataforma permite que os usuários se conectem de forma transparente a qualquer fonte de dados e criem workflows de modelagem visualmente, eliminando a necessidade de conhecimento de codificação.

O ModelCraft™ efetivamente atende às necessidades da indústria ao:

Simplificar a integração de algoritmos sofisticados de machine learning - como gradient boosting, redes elásticas, modelos de conjunto, florestas aleatórias, máquinas de vetor de suporte e redes neurais - ao processo de modelagem.
Simplificar e agilizar o processo de modelagem por meio da reutilização de código e da minimização do tempo dedicado a tarefas rotineiras.
Tornar técnicas avançadas de modelagem acessíveis a equipes sem conhecimento especializado.
Aprimorar o desempenho, a rastreabilidade e a comparabilidade dos modelos.
Facilitar a interpretabilidade do modelo e automatizar a geração da documentação do modelo.
Por fim, refinar os processos de desenvolvimento e validação de modelos e promover a criação de modelos challenger avançados.

O ModelCraft™ está desenvolvido em cloud e utiliza de forma nativa as capacidades de autoescalabilidade e computação paralela.

Além disso, o ecossistema ModelCraft™ inclui o conjunto ModelCraft™ Library, uma biblioteca em Python/PySpark criada com base em componentes analíticos reutilizáveis e testados durante seu desenvolvimento, que permite estruturar, padronizar e acelerar o desenvolvimento, a validação e a implantação de modelos por meio de pipelines robustos, reproduzíveis e auditáveis.

Como resultado, o ModelCraft™ é uma ferramenta para acelerar a transição para a modelagem baseada em componentes que é mais eficiente, interpretável e acessível, enquanto reduz o risco de modelo.

Funcionalidades do ModelCraft™

O ModelCraft™ tem uma biblioteca de componentes predefinidos que suporta o ciclo de vida completo de modelagem.

Input, conexão e download

Leitor de dados de input suportando diferentes formatos e delimitadores

Componentes de conexão com bancos de dados (Cloud, RDS)

Download de modelos, datasets processadose relatórios automatizados

Amostragem

Algoritmos de amostragem

Amostras de treinamento, testes e validação

Algoritmos de tratamento de dados com alto grau de desbalanceamento (técnicas de oversampling e undersampling)

Visualizações

Comparação de e seleção de modelos

Análise da estrutura do banco de dados

Análise de dados exploratória

Representação de histogramas, diagramas circulares, etc.

Cálculo de estatística descritiva

Performance e previsão

Mapeamento de critérios nas amosras de treinamento, validação e teste

Cálculo de métricas e KPIs

Análise out-of-time e backtesting

Modelos de validação

Gestão de Bancos de Dados

Conexão simultânea com diferentes repositórios incluindo bancos de dados MySQL

Tratamento de dados com SQL (geração de tabelas, manipulação e recuperação de dados, cruzamento de tabelas, etc.)

Importa e exporta arquivos

Feature engineering

Análise de correlações

Análise e alocação de missings

Análise e tratamento de outliers

Técnicas de encoding

Algoritmos de binning

Treinamento de modelos

Técnicas de tuning de hiperparâmetros

Treinamento de modelos supervisionados e não supervisionados

Metodologias de montagem de modelos

Interpretabilidade

Análise de importância de variáveis usando técnicas de interpretabilidade avançada (SHAP, LIME, modelos Surrogate)

Análises univariadas e bivariadas

Rastreamento de todo o processo de desenvolvimento Geração automática de um relatório de modelo completo

Automated machine learning

Geração de componentes criados pelo usuário

Determinação e otimização do caminho crítico entre componentes

Encapsulamento de componentes em três níveis de profundidade

Acesso ao código Python de cada componente

Características do ModelCraft™

O ModelCraft™ facilita a aplicação de técnicas de machine learning por meio de uma plataforma intuitiva e robusta, implantada como uma tecnologia simples, flexível e escalável

Usuário

Facilidade de uso

A interface do ModelCraft™ oferece suporte à construção visual de workflows de modelagem, fornecendo acesso estruturado a todas as configurações de parâmetros.

Customização

Os usuários podem desenhar seus próprios componentes e fluxos de modelagem, com acesso aos códigos Python gerados..

Explicabilidade

Mediante um único clique, o ModelCraft™ produz um resumo detalhado do modelo, incluindo suas variáveis e todo o processo de desenvolvimento, explicando as decisões do usuário (por exemplo, hiperparâmetros do modelo) e as escolhas algorítmicas (por exemplo, motivos para exclusão de variáveis).

Evolução

O ModelCraft™ é continuamente atualizado para atender às demandas da indústria; por exemplo, os próximos acréscimos à ferramenta incluem o uso de modelos de linguagem de larga escala (LLMs) e o desenvolvimento de redes neurais avançadas

Rastreabilidade

A plataforma garante a rastreabilidade completa dos desenvolvimentos, oferecendo acesso total ao código, juntamente com recursos abrangentes de log e de rastreabilidade.

Código otimizado

Cada componente do ModelCraft™ é ajustado para otimizar a eficiência computacional, utilizando bibliotecas de ambientes de programação de ponta.

Capacidade de adaptação

O ModelCraft™ tem módulos adicionais para resolver problemas específicos com soluções ad-hoc, como: ModelCraft™ University, ModelCraft™ Virology, ou ModelCraft™ Validation Workspace (MVW).

Flexibilidade de implantação

O ModelCraft™ pode ser implantado como uma ferramenta on-premise ou como software-as-a-service (SaaS) na nuvem, de acordo com as necessidades do cliente

Escalabilidade e computação paralela

O ModelCraft™ é escalável e aproveita plenamente as capacidades da computação paralela, permitindo o processamento de grandes volumes de dados e execuções computacionalmente intensivas.

Fácil implantação

A arquitetura desenhada permite que o ModelCraft™ seja implantado em um prazo muito curto, incluindo uma análise das necessidades do cliente, preferências de configuração e customizações necessárias.

Soporte reduzido

O ModelCraft™ requer suporte de TI reduzido, e a manutenção inclui o roll-out de versões evolutivas

Estrutura do ModelCraft™

O ModelCraft™ tem duas áreas primárias de trabalho: o painel de gestão de dados e o painel de modelagem

O painel de gestão de dados permite aos usuários a conexão a qualquer banco de dados e a execução de tarefas como extração, merge e carga de tabelas utilizando a linguagem SQL. O painel de modelagem permite, através de componentes, a realização de análise exploratória de dados, preparação de dados para modelagem e treinamento e interpretação de algoritmos avançados de machine learning.

Gestão de Dados

Gestão de bancos de dados
Conexão simultânea com diferentes repositórios de dados incluindo bancos de dados MySQL
Programação em SQL

Modelagem

Processamento de dados e EDA
Componentes de modelagem e algoritmos avançados de machine learning
Componentes de interpretabilidade e reporting automático

Os componentes de modelagem são organizados em três níveis de profundidade: do nível 0, que abrange tarefas executáveis mínimas, como detecção de outlier ou treinamento de modelos, ao nível 2, que envolve a agregação de componentes para construir um processo de modelagem de ponta-a-ponta.

Modelcraft Structure

Arquitetura técnica

O ModelCraft™ foi desenvolvido de forma nativa em cloud, usando uma arquitetura baseada em Kubernetes que permite a rápida implantação da biblioteca de componentes e o front-end de programação visual

A arquitetura do ModelCraft™ está focada em diferentes bibliotecas de componentes APIficados, permitindo o uso dos componentes como micro-serviços, e inclui um gestor de usuários, de armazenamento e de execuções.

ModelCraft™ Library

A ModelCraft™ Library é uma biblioteca de Python/PySpark criada com base em componentes analíticos reutilizáveis e testados durante seu desenvolvimento, que permite estruturar, padronizar e acelerar o desenvolvimento, a validação e a implantação de modelos por meio de pipelines robustos, reproduzíveis e auditáveis

A ModelCraft™ Library representa a evolução do ModelCraft para um formato leve e reutilizável: uma biblioteca com os mesmos componentes, a mesma lógica de trabalho e a mesma qualidade, mas sem a necessidade de implantar uma ferramenta completa, reduzindo ao mínimo as dependências tecnológicas.

Ela é construída sobre o PySpark, o que permite utilizá-la nas plataformas de big data já disponíveis em algumas entidades. Dessa forma, as equipes podem trabalhar com grandes volumes de dados e computação distribuída sem precisar mudar de ambiente.

A biblioteca reúne componentes prontos para uso em todas as fases do pipeline: tratamento de dados, engenharia de variáveis, treinamento, avaliação, explicabilidade, validação e monitoramento. Tudo organizado e encapsulado de forma consistente, para evitar tarefas repetitivas e acelerar tanto o desenvolvimento quanto a validação.

A ModelCraft™ Library pode ser utilizada como aceleradora em projetos, integrada diretamente no ambiente do cliente ou em formato de codesenvolvimento, criando bibliotecas corporativas personalizadas com base em nossos componentes.

A ModelCraft™ Library abrange todo o ciclo de vida do modelo, permitindo o desenvolvimento de modelos de Machine Learning e padronizando sua criação e implantação em um único ambiente: prepara os dados, treina modelos com controle de vieses e interpretabilidade local e global, e os leva à produção por meio de formatos nativos, como Pickle ou ONNX, seguindo os princípios do MLOps. Além disso, o módulo estatístico de validação de modelos IRB e IFRS 9, que avalia a distribuição, o poder preditivo e a heterogeneidade, e fornece métricas e testes segmentados por períodos de interesse, está conectado a ferramentas de IA generativa (GenMS NEXUS) para gerar automaticamente relatórios de validação alinhados com a orientação metodológica, reduzindo o tempo de elaboração e garantindo uma documentação padronizada e rastreável.

Credenciais

A Management Solutions tem amplas capacidades e referências no campo da modelagem avançada, combinadas com um profundo conhecimento da tecnologia e dos processos de negócio

A Management Solutions oferece um valor diferencial no campo da modelagem avançada:

Tem ampla experiência no desenvolvimento, validação e implementação de modelos e algoritmos aplicados a múltiplas áreas de negócios em diferentes indústrias e setores.
Possui capacidades e recursos quantitativos com um alto grau de conhecimento e especialização (dois terços de seu pessoal tem perfil STEM).
Especificamente, dispõe de equipes de data scientists que realizam projetos em inteligência artificial e Machine Learning, bem como uma equipe de P&D dedicada à aplicação prática da IA aplicada à gestão.
Desenvolveu uma cátedra em Big Data and Analytics junto à Universidad Politécnica de Madrid, onde desenvolve linhas de pesquisa sobre técnicas de modelagem e de inteligência artificial. Isto lhe permitiu desenvolver o ModelCraft™ e mantê-lo atualizado com os últimos avanços no campo da modelagem e da computação.

Graças a estes valores diferenciais, a Management Solutions implementa o ModelCraft™ em todas os setores e países onde desenvolve sua atividade.