Este é um artigo traduzido originalmente publicado dia 28/10/2022 no blog do Kai Waehner: "Decentralized Data Mesh with Data Streaming in Financial Services". Assine a newsletter do Kai para se manter atualizado com novas publicações.
A transformação digital requer agilidade e tempo de lançamento rápido no mercado como fatores críticos para o sucesso de qualquer empresa. A descentralização com um data mesh separa aplicativos e unidades de negócios em domínios independentes. O compartilhamento de dados em tempo real com streaming de dados ajuda a fornecer informações no contexto adequado para o aplicativo correto no momento certo. Este blog post explora um estudo de caso do setor de serviços financeiros, onde um data mesh foi construída entre os países para compartilhamento de dados fracamente acoplados, mas governança de dados padronizada em toda a empresa.
A transformação digital requer agilidade e tempo de lançamento rápido no mercado como fatores críticos para o sucesso de qualquer empresa. A descentralização com um data mesh separa aplicativos e unidades de negócios em domínios independentes. O compartilhamento de dados em tempo real com streaming de dados ajuda a fornecer informações no contexto adequado para o aplicativo correto no momento certo . Esta postagem de blog explora um estudo de caso do setor de serviços financeiros, onde um data mesh foi construída entre os países para compartilhamento de dados fracamente acoplados, mas governança de dados padronizada em toda a empresa.
Data mesh e a necessidade de streaming de dados em tempo real
Se houvesse uma palavra da moda, sem dúvida seria “ data mesh ”! Esse novo paradigma de arquitetura desbloqueia dados analíticos e transacionais em escala e permite acesso rápido a um número cada vez maior de conjuntos de dados de domínio distribuído para vários cenários de uso. O data mesh aborda os pontos fracos mais comuns do lago de dados centralizado tradicional ou arquitetura de plataforma de dados. E o coração de uma infraestrutura de data mesh descentralizada deve ser em tempo real, confiável e escalável :
A transformação digital nos serviços financeiros
A nova realidade empresarial no setor de serviços financeiros: Inovar ou ser interrompido!
Algumas iniciativas que vi em bancos ao redor do mundo com dados em tempo real aproveitando o streaming de dados:
Modernização do legado, por exemplo, descarregamento de mainframe e substituição por Apache Kafka
Modernização de middleware com infraestruturas escaláveis e abertas substituindo plataformas ETL, ESB e iPaaS
Replicação de dados em nuvem híbrida para recuperação de desastres, migração e outros cenários
Transações e análises em tempo real em qualquer escala
Detecção de fraudes em tempo real com Kafka e Flink para evitar fraudes antes que elas aconteçam
Core banking nativo da nuvem para habilitar processos de negócios modernos
Inovação de pagamento digital com Apache Kafka como hub de dados para criptomoeda, DeFi, NFT e Metaverse (além do burburinho)
Vejamos um exemplo prático do mundo real.
Raiffeisen Bank International – Uma transformação bancária em 12 países
O Raiffeisen Bank International (RBI) está expandindo uma arquitetura orientada a eventos em todo o grupo como parte de um programa de transformação em todo o banco . Isso inclui a criação de uma arquitetura de referência e a reutilização de tecnologias e conceitos em 12 países.
O banco universal está sediado em Viena, Áustria. Possui décadas de experiência (e infra-estrutura herdada relacionada) em varejo, corporativo e mercados, e banco de investimento .
Vamos explorar a jornada da transformação digital do Raiffeisen Bank. Se você quiser ouvir a história contada por eles, assista ao webinar gratuito sob demanda .
Construindo um data mesh sem saber…
O Raiffeisen Bank, operando em 12 países, tem todos os desafios e requisitos aparentes para compartilhamento de dados entre aplicativos, plataformas e governos.
O Raiffeisen Bank construiu uma arquitetura corporativa de data mesh descentralizado com compartilhamento de dados em tempo real como a chave fundamental para sua transformação digital . Eles nem sabiam disso porque a palavra da moda não existia quando começaram a fazê-lo… Mas há boas razões para usar o streaming de dados como hub de dados :
A arquitetura corporativa do data mesh do RBI com streaming de dados
A arquitetura de referência inclui streaming de dados como o coração da infraestrutura. É domínios e aplicativos independentes em tempo real, escaláveis e desacoplados. Existem APIs do Open Banking para comunicação de request-response:
Os três princípios básicos da arquitetura corporativa garantem uma infraestrutura ágil, escalável e pronta para o futuro em todos os países:
API : APIs internas padronizadas com base no design orientado a domínio
Integração do grupo : ao vivo, conectado com 11 países, 320 APIs disponíveis, aumentando constantemente
EDA : Arquitetura de referência orientada a eventos criada e lançada em andamento, camada de grupo ao vivo com os primeiros casos de uso
A combinação de streaming de dados com Apache Kafka e solicitação-resposta com REST/HTTP prevalece nas arquiteturas corporativas. Dito isso, cada vez mais casos de uso aproveitam diretamente uma troca de fluxo de dados para compartilhamento de dados entre unidades de negócios ou organizações .
Desacoplamento com streaming de dados descentralizado como a camada de integração
Toda a plataforma de TI e a pilha de tecnologia são construídas para reutilização no grupo:
A arquitetura de referência do Raiffeisen Bank possui todas as características que definem um data mesh :
Acoplamento frouxo entre aplicativos, bancos de dados e unidades de negócios com design orientado a domínio
Microsserviços independentes e produtos de dados (como diferentes plataformas de core banking ou análises individuais nos países)
Compartilhamento de dados em tempo real por meio de uma plataforma de streaming de dados descentralizada (totalmente gerenciada na nuvem sempre que possível, mas com liberdade de escolha para cada país
Contatos de API em toda a empresa (= esquemas no mundo Kafka)
Governança de dados em bancos regulamentados em toda o data mesh
O serviço financeiro é um mercado regulamentado em todo o mundo. PCI, GDPR e outros requisitos de conformidade são obrigatórios , independentemente de você criar monólitos ou um data mesh descentralizada.
Raiffeisenbank international construiu seu data mesh com governança de dados, conformidade legal e privacidade de dados em mente desde o início:
Aqui estão os princípios fundamentais da estratégia de governança de dados do Raiffeisen Bank:
Camada de integração central para compartilhamento de dados entre grupos independentes em tempo real para cargas de trabalho transacionais e analíticas
Estratégia de nuvem em primeiro lugar (quando faz sentido) com nuvem Confluent totalmente gerenciada para streaming de dados
Taxonomia de evento padronizada em todo o grupo e contratos de API com Schema Registry
Governança em todo o grupo com proprietários de produtos de eventos em todo o grupo
Plataforma como serviço de autoatendimento para clientes internos nos diferentes grupos
A combinação desses paradigmas e regras permite o processamento independente de dados e a inovação, mantendo a conformidade e permitindo o compartilhamento de dados entre diferentes grupos.
O coração de um data mesh bate em tempo real
Aplicativos, domínios e organizações independentes criaram produtos de dados separados em um data mesh. O compartilhamento de dados em tempo real entre essas unidades com eventos padronizados e fracamente acoplados é um fator crítico de sucesso . Cada consumidor downstream obtém os dados conforme necessário: em tempo real, quase em tempo real, em lote ou solicitação-resposta.
O estudo de caso do Raiffeisen Bank International mostrou como criar um data mesh poderoso e flexível, aproveitando o streaming de dados nativos da nuvem desenvolvido pelo Apache Kafka. Embora este exemplo venha de serviços financeiros, os princípios e arquiteturas se aplicam a qualquer vertical. Os objetos de negócios e as interfaces parecem diferentes. Mas os desafios significativos são muito semelhantes em todos os setores.
Como você constrói um data mesh? Você usa tecnologia de lote como ferramentas ETL e data lakes ou conta com streaming de dados em tempo real para compartilhamento e integração de dados? Conecte comigo e com o Kai no LinkedIn e vamos discutir isso! Mantenha-se informado sobre as novas postagens do blog assinando a newsletter.
Comments