Este é um artigo traduzido originalmente publicado dia 04/04/2023 no blog do Kai Waehner: "The State of Data Streaming for Financial Services in 2023". Assine a newsletter do Kai para se manter atualizado com novas publicações.
Esta postagem explora o estado do streaming de dados para serviços financeiros em 2023. A evolução dos mercados de capitais, bancos de varejo e pagamentos requer compartilhamento fácil de informações e arquitetura aberta. O streaming de dados permite integrar e correlacionar dados em tempo real em qualquer escala. Os focos são arquiteturas corporativas de tendências para streaming de dados e histórias de clientes. Um deck de slides completo e gravação de vídeo sob demanda estão incluídos.
Esta postagem explora o estado do streaming de dados para serviços financeiros em 2023. A evolução dos mercados de capitais, bancos de varejo e pagamentos requer compartilhamento fácil de informações e arquitetura aberta. O streaming de dados permite integrar e correlacionar dados em tempo real em qualquer escala. Eu observo as tendências para explorar como o fluxo de dados ajuda como facilitador de negócios . Os focos são arquiteturas corporativas de tendências no setor FinServ para descarregamento de mainframe, cliente omnichannel 360 e detecção de fraude em escala, combinadas com histórias de clientes de streaming de dados da Capital One, Bolsa de Valores de Cingapura, Citigroup e muito mais. Um deck de slides completo e gravação de vídeo sob demanda estão incluídos.
Tendências gerais na indústria de serviços financeiros
Pesquisadores, analistas, startups e, por último, mas não menos importante, laboratórios e os primeiros lançamentos no mundo real de players tradicionais mostram algumas tendências futuras no setor de serviços financeiros:
Transformação digital em serviços financeiros (consulte o Hype Cycle do Gartner para a transformação do banco digital )
Mainframe: uma parte crítica das estratégias modernas de TI (consulte o relatório Forrester da Deloitte sobre o valor e o suporte de mainframes no mundo moderno de TI)
Public Cloud e Open Banking API s (consulte o artigo da Forrester sobre a história dos bancos migrando para a nuvem )
Vamos explorar os objetivos e o impacto dessas tendências.
Inovação: Transformação do banco digital
O Gartner diz que quatro tecnologias têm potencial para altos níveis de transformação no setor bancário e provavelmente amadurecerão nos próximos anos:
O Banking as a Service (BaaS) pode ser um conjunto discreto ou amplo de funções de serviços financeiros expostos por bancos credenciados ou entidades regulamentadas para alimentar novos modelos de negócios implantados por outros participantes do mercado bancário – fintechs, neobancos, bancos tradicionais e outros terceiros.
Chatbots em bancos afetarão todas as áreas de comunicação entre máquinas e humanos.
A nuvem pública para bancos está se tornando altamente transformadora para o setor bancário, pois os bancos podem obter maior eficiência e agilidade ao mover cargas de trabalho para a nuvem.
Aplicativos de pagamento por mensagens sociais dependem de plataformas de mensagens instantâneas para originar transações de pagamento. A interface do aplicativo de mensagens é usada para registrar contas de pagamento e para iniciar e monitorar atividades transacionais relacionadas.
O Hype Cycle do Gartner para a Transformação do Banco Digital mostra o estado dessas e de outras tendências no setor de serviços financeiros:
Mainframe: uma parte crítica das estratégias modernas de TI
A Deloitte publicou uma análise interessante da Forrester . Isso confirma minha experiência em reuniões com clientes: “Poder de processamento incomparável e alta segurança tornam o mainframe um componente estratégico de ambientes híbridos”. Ou: O Mainframe veio para ficar :
O mainframe tem muitas desvantagens: Monolítico, protocolos legados e linguagens de programação, inflexíveis, caros, etc. No entanto, o mainframe é testado em batalha e funciona bem para muitos aplicativos de missão crítica em todo o mundo.
E veja as especificações de um mainframe moderno: o IBM z15 foi anunciado em 2019 com até 40 TB de RAM e 190 núcleos. Uau. Impressionante! Mas normalmente custa milhões $$$ (custos variáveis de software não incluídos).
Nuvem pública e API aberta: compartilhamento de dados em tempo real em escala elástica
Muitos bancos em todo o mundo – geralmente empresas mais conservadoras – têm uma estratégia de nuvem em primeiro lugar em 2023 . Não apenas para análises ou relatórios (essa é uma ótima maneira de começar), mas também para cargas de trabalho de missão crítica, como core banking . E estamos falando da nuvem pública aqui (por exemplo, AWS, Azure, GCP, Alibaba). Não apenas implantações de nuvem privada em seu próprio data center criado com Kubernetes ou tecnologias nativas de nuvem semelhantes baseadas em contêiner.
O artigo da Forrester “ A Short History Of Financial Services In The Cloud ” é um excelente lembrete: “ Mas em 2015, a Capital One chocou o mundo com seu pronunciamento de apostar tudo na Amazon Web Services (AWS) e até mesmo migrar aplicativos existentes — uma noção inédita para qualquer empresa em qualquer setor. A Capital One afirmou que a AWS poderia proteger melhor suas cargas de trabalho do que a equipe de segurança altamente qualificada da Capital One. Após este anúncio, um ataque de bancos nativos digitais seguiu o exemplo.”
A nuvem não é mais barata. Mas fornece uma infraestrutura flexível e elástica para focar em negócios e inovação, não em operações de TI. As APIs abertas são normais na infraestrutura nativa da nuvem. Tendências e padrões de Open Banking como PSD2 ( regulamento europeu para serviços de pagamento eletrônico) tornam os pagamentos mais seguros, facilitam a inovação e permitem uma integração mais fácil entre parceiros B2B.
Streaming de dados em serviços financeiros
Adotar tendências como aplicativos móveis de pagamento social ou APIs de open banking só é possível se as empresas do mundo dos serviços financeiros puderem fornecer e correlacionar informações no momento certo e no contexto apropriado . Tempo real, o que significa usar as informações em milissegundos, segundos ou minutos, é quase sempre melhor do que processar os dados mais tarde (seja o que for que significa mais tarde):
O streaming de dados combina o poder das mensagens em tempo real em qualquer escala com armazenamento para recursos de desacoplamento real, integração de dados e correlação de dados. Apache Kafka é o padrão de fato para streaming de dados .
“ Apache Kafka no setor de serviços financeiros ” é um bom artigo para começar com um ponto de vista específico do setor sobre streaming de dados.
isso é apenas um exemplo. O streaming de dados com o ecossistema Apache Kafka e os serviços em nuvem são usados em toda a cadeia de suprimentos do setor financeiro. Pesquise no meu blog vários artigos relacionados a este tópico: Pesquise o blog de Kai .
Streaming de dados como facilitador de negócios
A Forbes publicou um ótimo artigo sobre “ dados de alta frequência e streaming de eventos no setor bancário ”. Aqui estão alguns dos principais casos de uso da Forbes para streaming de dados em serviços financeiros:
banco de varejo
De uma visão limitada do cliente para uma visão de 360 graus do cliente.
Experiências do cliente hiperpersonalizadas.
Interações do cliente que priorizam o aplicativo.
Processamento de pagamentos
Típico lote T+1 ou T+2 do ciclo de liquidação para transferências em tempo real
Infraestrutura rigorosa orientada a eventos com produtores e consumidores desacoplados.
Mercados capitais
De modelos de precificação noturnos a sensibilidades em tempo real e risco de mercado.
Gerenciando as complexidades de tempo e volume relacionadas à execução co-localizada
Negociação T+1 Liquidações para Compensação e liquidação automatizadas (T+0).
Open API para flexibilidade e tempo de lançamento mais rápido no mercado
Dados em tempo real superam dados lentos em quase todos os casos de uso. Mas tão essencial é a consistência de dados e uma abordagem de API aberta em todos os sistemas , incluindo sistemas legados não em tempo real e APIs modernas de solicitação-resposta.
O recurso mais subestimado do Apache Kafka é o componente de armazenamento baseado no log de confirmação somente anexado. Ele permite um baixo acoplamento para design orientado por domínio com microsserviços e produtos de dados independentes em uma malha de dados.
Aqui está um exemplo de uma arquitetura de open banking para todos os sistemas de informação de pagamento e interfaces externas:
Tendências de arquitetura para streaming de dados
O setor de serviços financeiros aplica várias tendências para arquiteturas corporativas por motivos de custo, flexibilidade, segurança e latência. Os três principais tópicos que vejo atualmente nos clientes são:
Modernização do legado descarregando e migrando de monólitos para nuvem nativa
Experiência do cliente hiperpersonalizada com serviços bancários omnicanal e decisões específicas do contexto
Análise em tempo real com correlação de dados stateless e stateful para cargas de trabalho transacionais e analíticas
Fluxo de dados de missão crítica em datacenters e nuvens para alta disponibilidade e conformidade
Modernização legada e descarregamento de dados
Cobri as etapas para uma modernização herdada bem-sucedida em várias postagens de blog. O descarregamento de mainframe é um excelente exemplo . Embora as cargas de trabalho transacionais existentes ainda sejam executadas no mainframe usando IBM DB2, VSAM, CICS etc., as alterações de eventos são enviadas para a plataforma de streaming de dados e armazenadas no log Kafka. Novas aplicações podem ser construídas com qualquer paradigma de tecnologia e comunicação para acessar os dados:
Experiência do cliente hiperpersonalizada
Os clientes esperam uma ótima experiência do cliente em vários dispositivos (como um navegador da Web ou aplicativo móvel) e interações humanas (por exemplo, em uma agência bancária). O streaming de dados permite uma experiência bancária omnichannel específica ao contexto, correlacionando dados históricos e em tempo real no momento certo e no contexto certo:
“ Varejo omnicanal e cliente 360 em tempo real com Apache Kafka ” entra em mais detalhes. Este é um ótimo exemplo em que o setor financeiro pode aprender com outros setores que tiveram que inovar alguns anos antes para resolver um desafio específico ou problema de negócios.
Análise em tempo real com processamento de streaming
Dados em tempo real superam dados lentos. Isso é verdade para a maioria dos cenários analíticos. Se você detectar fraude após o fato em seu data warehouse, é bom… Mas tarde demais! Em vez disso, você precisa detectar e prevenir fraudes antes que elas aconteçam .
Isso requer uma tomada de decisão inteligente em tempo real (< 1 segundo de ponta a ponta). Os recursos de processamento de fluxo do Data Streaming com tecnologias como Kafka Streams, KSQL ou Apache Flink são criados para esses casos de uso. O processamento de fluxo é escalável para milhões de transações por segundo e é confiável para garantir perda zero de dados.
Aqui está um exemplo de monitoramento de transação sem estado de picos de pagamento (ou seja, observando um evento por vez):
Processamento de stream stateful mais poderoso agrega e correlaciona eventos de uma ou mais fontes de dados continuamente em tempo real:
O artigo “ Detecção de fraude com Apache Kafka, KSQL e Apache Flink ” explora o processamento de fluxo para análise em tempo real com mais detalhes, mostra um exemplo com aprendizado de máquina incorporado e abrange vários estudos de caso do mundo real.
Streaming de dados de missão crítica com um cluster Kafka estendido entre regiões
Os casos de uso mais críticos exigem a continuidade dos negócios, mesmo se ocorrer um desastre e um data center ou uma região completa da nuvem cair.
O streaming de dados desenvolvido pelo Apache Kafka permite várias arquiteturas e implantações para diferentes SLAs. As implantações multicluster e cross-data center do Apache Kafka tornaram-se a norma, e não uma exceção. Um único cluster Kafka estendido por regiões (como o leste, centro e oeste dos EUA) é a maneira mais resiliente de implantar o streaming de dados:
Observe que esse recurso de Multi-Region Clusters (MRC) para Kafka está disponível apenas na plataforma Confluent como um produto comercial.
Em minha outra postagem no blog, aprenda sobre os padrões de arquitetura do Apache Kafka que podem exigir soluções de vários clusters e veja exemplos do mundo real com seus requisitos e compensações específicos. Esse blog explora cenários como recuperação de desastres, agregação para análise, migração para nuvem, implantações estendidas de missão crítica e Kafka global .
Novas histórias de clientes para streaming de dados no setor de serviços financeiros
Tanta inovação está acontecendo no setor de serviços financeiros. A automação e a digitalização mudam a forma como processamos pagamentos, evitamos fraudes, nos comunicamos com parceiros e clientes e muito mais.
A maioria das empresas FinServ usa uma abordagem de nuvem primeiro (mas ainda híbrida) para melhorar o tempo de lançamento no mercado, aumentar a flexibilidade e focar na lógica de negócios em vez de operar a infraestrutura de TI.
Aqui estão algumas histórias de clientes de empresas FinServ em todo o mundo em todos os setores:
Erste Bank : banco móvel hiper-personalizado
Bolsa de Valores de Cingapura (SGX) : Plataforma de negociação modernizada com uma arquitetura híbrida
Citigroup : Aplicativos de pagamento globais com redundância e escalabilidade para suportar 99,9999% de tempo de atividade
Raiffeisen Bank International : malha de dados híbrida entre países com governança de dados de ponta a ponta
Capital One : Detecção e prevenção de fraudes específicas do contexto em tempo real
10X Banking : Plataforma de core banking nativa da nuvem usando uma arquitetura Kappa moderna
Encontre mais detalhes sobre esses estudos de caso no conjunto de slides abaixo e na gravação de vídeo.
Recursos para saber mais
Esta postagem no blog é apenas o ponto de partida. Saiba mais na gravação de webinar sob demanda a seguir, na apresentação de slides relacionada e em outros recursos, incluindo vídeos de lightboard muito legais sobre casos de uso.
Apresentação em vídeo
A gravação de vídeo explora as tendências e arquiteturas da indústria FinServ para streaming de dados. O foco principal são os estudos de caso de fluxo de dados . Confira nossa gravação sob demanda:
Slides
Se você preferir aprender com slides, confira o deck usado para a gravação acima:
Estudos de caso e vídeos lightboard para streaming de dados em serviços financeiros
O estado do streaming de dados para serviços financeiros em 2023 é fascinante. Novos casos de uso e estudos de caso surgem todos os meses . Isso inclui melhor governança de dados em toda a organização, coleta e processamento de dados de interfaces de pagamento em tempo real, compartilhamento de dados e parcerias B2B com APIs Open Banking para novos modelos de negócios e muitos outros cenários.
Gravamos vídeos lightboard mostrando o valor do streaming de dados de forma simples e eficaz . Esses vídeos de cinco minutos exploram o valor comercial do streaming de dados, arquiteturas relacionadas e histórias de clientes. Fique atento; Vou atualizar os links nas próximas semanas e publicar uma postagem de blog separada para cada história e vídeo lightboard.
E este é apenas o começo. Todos os meses, falaremos sobre o status do streaming de dados em um setor diferente. A manufatura foi a primeira. Em segundo lugar, os serviços financeiros, depois o varejo e assim por diante…
Conecte comigo e com o Kai no LinkedIn e vamos discutir isso! Mantenha-se informado sobre as novas postagens do blog assinando a newsletter.
Commenti