Este é um artigo traduzido originalmente publicado dia 04/02/2022 no blog do Kai Waehner: "Apache Kafka as Data Hub for Crypto, DeFi, NFT, Metaverse – Beyond the Buzz". Assine a newsletter do Kai para se manter atualizado com novas publicações.
Finanças descentralizadas com criptomoedas e NFTs são um grande tópico hoje em dia. Torna-se uma combinação poderosa com as próximas plataformas de metaverso em todos os setores. Este blog post explora a relação entre as tecnologias criptográficas e a arquitetura corporativa moderna. Discuto como o streaming de eventos e o Apache Kafka ajudam a criar inovação e aplicativos escalonáveis em tempo real de um futuro metaverso. Vamos pular o burburinho (e a bolha NFT) e, em vez disso, revisar as implantações existentes no mundo real no mundo criptográfico e blockchain alimentado por Kafka e seu ecossistema.
Finanças descentralizadas com criptomoedas e NFTs são um grande tópico hoje em dia. Torna-se uma combinação poderosa com as próximas plataformas metaversas de redes sociais, provedores de nuvem, fornecedores de jogos, ligas esportivas e varejistas de moda. Este blog post explora a relação entre tecnologias criptográficas como Ethereum, blockchain, NFTs e arquitetura corporativa moderna. Discuto como o streaming de eventos e o Apache Kafka ajudam a criar inovação e aplicativos escalonáveis em tempo real de um futuro metaverso. Vamos pular o burburinho (e a bolha NFT) e, em vez disso, revisar exemplos práticos e implantações existentes no mundo real no mundo criptográfico e blockchain alimentado por Kafka e seu ecossistema.
O que são criptografia, NFT, DeFi, blockchain, contratos inteligentes, metaverso?
Presumo que a maioria dos leitores deste blog tenha uma compreensão básica do mercado de criptografia e streaming de eventos com o Apache Kafka. O público-alvo deve estar interessado na relação entre tecnologias criptográficas e uma arquitetura corporativa moderna alimentada por streaming de eventos. No entanto, vamos explicar cada buzzword em poucas palavras para ter o mesmo entendimento:
Blockchain : Fundação para criptomoedas e aplicativos descentralizados (dApp) alimentados por livros digitais distribuídos com registros imutáveis
Contratos inteligentes : dApps rodando em um blockchain como Ethereum
DeFi (Finanças Descentralizadas) : Grupo de dApps para fornecer serviços financeiros sem intermediários
Criptomoeda (ou cripto) : Moeda digital que funciona como uma troca por meio de uma rede de computadores que não depende de nenhuma autoridade central, como um governo ou banco
Moeda criptográfica : Moeda nativa de uma blockchain para negociar moeda ou armazenar valor (por exemplo, Bitcoin na blockchain Bitcoin ou Ether para a plataforma Ethereum)
Token criptográfico : semelhante a uma moeda, mas usa o blockchain de outra moeda para fornecer ativos digitais – a funcionalidade depende do projeto (por exemplo, os desenvolvedores criaram muitos tokens para a plataforma de contrato inteligente Ethereum)
NFT (Non-fungible Token) : Unidade de dados não intercambiável e identificável exclusivamente armazenada em um blockchain (diferente do Bitcoin, onde você pode “substituir” um Bitcoin por outro), abrangendo casos de uso como identidade, artes, jogos, colecionáveis, esportes, mídia, etc.
Metaverso : Uma rede de mundos virtuais 3D focados em conexões sociais. Não se trata apenas do Meta (antigo Facebook). Muitas plataformas e fornecedores de jogos estão criando seus metaversos atualmente. Felizmente, os protocolos abertos permitem a interoperabilidade entre diferentes metaversos, plataformas, APIs e tecnologias AR/VR. Criptomoedas e NFTs provavelmente serão fatores críticos no metaverso.
Mercados e corretores de criptomoedas e DeFi são usados para negociação entre moeda fiduciária e criptomoeda ou entre duas criptomoedas. Outros casos de uso incluem investimentos de longo prazo e apostas . O último compensa o bloqueio de seus ativos em uma rede de consenso Proof-of-Stake que os blockchains mais modernos usam, em vez do Proof-of-Work, que consome muitos recursos, usado no Bitcoin. Algumas soluções se concentram em fornecer serviços além da criptografia (monitoramento, análise, etc.).
Não se preocupe se você não sabe o que todos esses termos significam. Um hub de dados escalonável em tempo real é necessário para integrar tecnologias criptográficas e não criptográficas para criar soluções inovadoras para cripto e metaverso.
Qual é a minha relação com criptomoeda, blockchain e Kafka?
Pode ser útil compartilhar meu histórico com blockchain e criptomoedas antes de explorar o tópico real sobre sua relação com o streaming de eventos e o Apache Kafka.
Trabalhei com tecnologias blockchain há mais de 5 anos na TIBCO. Implementei e implantei contratos inteligentes com Solidity (a linguagem de programação de contratos inteligentes para Ethereum). Integrei blockchains como Hyperledger e Ethereum com middleware ESB. E sim, comprei alguns Bitcoins por ~ 500 dólares. Infelizmente, vendi-os depois por ~ 1.000 dólares, pois estava curioso sobre a tecnologia, não a parte do investimento.
Middleware em tempo real é vital para a integração
Dei palestras em conferências internacionais e publiquei alguns artigos sobre blockchain. Por exemplo, “ Blockchain – The Next Big Thing for Middleware ” no InfoQ em 2016. O artigo ainda é bastante preciso de uma perspectiva conceitual. As tecnologias, soluções e fornecedores desenvolvidos, no entanto.
Pensei em ingressar em uma startup de blockchain. Coincidentemente, uma empresa da qual eu estava falando estava construindo uma “plataforma blockchain de última geração para transações em tempo real em escala”, desenvolvida pelo Apache Kafka. Sem brincadeira.
No entanto, entrei na Confluent em 2017. Achei que o processamento de dados em movimento em qualquer escala para cargas de trabalho transacionais e analíticas é a mudança de paradigma mais significativa . “ Por que mudei (de volta) para código aberto para mensagens, integração e processamento de fluxo Kafka como um middleware alternativo para ferramentas MQ, ETL e ESB ou implementa iPaaS nativo de nuvem com Kafka sem servidor .” descreve minha decisão em 2017. Acho que estava certo. Hoje, a maioria das empresas utiliza
Blockchain, criptografia e NFT estão aqui para ficar (para alguns casos de uso)
Blockchain e criptomoedas vieram para ficar, mas não são necessários para todos os problemas. Blockchain é um nicho. Para isso é excelente. TL;DR: Você só precisa de um blockchain em ambientes não confiáveis . O famoso exemplo de gerenciamento da cadeia de suprimentos é válido. Criptomoedas e contratos inteligentes também vieram para ficar. Em parte para investimento, em parte para criar novas aplicações inovadoras.
Hoje, trabalho com clientes em todo o mundo. Mercados criptográficos, infraestrutura de monitoramento de blockchain e plataformas bancárias custodiantes são construídas no Kafka por bons motivos (escala, confiabilidade, tempo real) . A chave do sucesso para a maioria dos clientes é a integração de plataformas de criptografia e blockchain e o restante da infraestrutura de TI, como aplicativos de negócios, bancos de dados e data lakes.
A confiança é importante e mercados confiáveis (= bancos?) são necessários (para alguns casos de uso)
Particularmente, possuo várias criptomoedas. Eu não sou um day-trader. Minha estratégia é um investimento de longo prazo (mas apenas uma fração do meu investimento total; apenas o dinheiro que posso perder 100%). Eu invisto em várias moedas e plataformas, incluindo Bitcoin, Ethereum, Solana, Polkadot, Chainlink e algumas ainda mais arriscadas. Acredito firmemente que criptomoedas e NFTs são uma virada de jogo para alguns casos de uso, como jogos e metaverso , mas também acho que pagar centenas de milhares de dólares por um macaco digital é insano (e apenas uma bolha de investimento).
Vendi meus Bitcoins em 2016 por causa da falta de mercados confiáveis. Não me importo muito com a descentralização do meu investimento de longo prazo. Não quero manter meu armazenamento frio, escrever um código longo e complexo no papel e colocá-lo em meu cofre. Quero ter um guardião seguro e confiável que assuma esse fardo.
Por esse motivo, eu uso bancos alemães compatíveis para investimentos em criptomoedas. Se uma moeda não está disponível, vou a um mercado internacional que parece confiável. Por exemplo, a exchange de crypto.com e o mercado de NFT OpenSea recentemente fizeram um ótimo trabalho, permitindo que seu seguro pagasse por um hack e perda de moedas e NFTs de clientes, respectivamente. É isso que espero como cliente e por isso fico feliz em pagar uma pequena taxa pela compra e venda de criptomoedas ou NFTs em tal plataforma.
“ The False Promise of Web3 ” é uma ótima leitura para entender por que muitas discussões sobre cripto e blockchain não são de fato sobre descentralização. Como diz o artigo, “ a anunciada descentralização do poder das mãos de poucos foi, na verdade, uma recentralização do poder nas mãos de poucos ”. Acredito firmemente no metaverso, criptografia, NFT, DeFi e blockchain. No entanto, estou bem se alguns casos de uso forem centralizados e fornecerem regulamentação, conformidade, segurança e outras garantias.
Com essa longa história de fundo, vamos explorar o mundo atual de criptografia e blockchain e como isso se relaciona com o streaming de eventos e o Apache Kafka .
Casos de uso para o metaverso e tokens não fungíveis (NFT)
Vamos começar com um pouco de história :
1995 : A Amazon era apenas uma loja online de livros. Eu comprei meus livros na minha loja local.
2005 : Netflix era apenas um serviço de DVD por e-mail. A tecnologia mudou com o tempo, mas também alugo HD DVDs, Blu-Rays e outras mídias semelhantes.
2022 : Não usarei o Metaverso de Zuckerberg . Nunca. Ele falhará como o Second Life (que foi lançado em 2003). E eu não entendo o barulho em torno do NFT . É apenas um arquivo jpeg que você pode clicar com o botão direito do mouse e salvar gratuitamente.
Bem, ainda estamos nos estágios iniciais das criptomoedas e nos estágios iniciais dos casos de uso e modelos de negócios Metaverse, DeFi e NFT . No entanto, isso não é apenas um exagero como a bolha das pontocom no início dos anos 2000. As empresas de tecnologia têm modelos de negócios interessantes. E o software está consumindo todos os setores hoje. As margens de lucro também são enormes.
Vamos explorar alguns casos de uso em que Metaverse, DeFi e NFTs fazem sentido:
Bilhões de jogadores e receitas massivas na indústria de jogos
A indústria de jogos já é maior do que todas as outras categorias de mídia combinadas, e isso ainda é apenas o começo de uma nova era. Milhões de novos jogadores se juntam à comunidade de jogos todos os meses em todo o mundo.
Conectividade e smartphones baratos são vendidos em países menos ricos. Novos modelos de negócios como “jogar para ganhar” mudam a forma como a próxima geração de jogadores joga. Tecnologias mais escaláveis e de baixa latência, como 5G, permitem novos casos de uso. Blockchain e NFT (Non-Fungible Token) estão mudando o mercado de monetização e cobrança para sempre.
NFTs para identidade, coleções, emissão de bilhetes, arrogância e coisas tangíveis
Vamos esquecer que Justin Bieber comprou recentemente um Bored Ape Yacht Club (BAYC) NFT por US $ 1,29 milhão. Isso é insano e provavelmente uma bolha. No entanto, muitos casos de uso fazem muito sentido para o NFT , não apenas no (futuro) metaverso virtual, mas também no mundo real. Vejamos alguns exemplos:
Eventos esportivos e outros profissionais : Bilheteira com preços controlados, evitando fraudes, etc.
Bens de luxo : Transparência, rastreabilidade e segurança contra adulteração; a bolsa, o relógio, o colar: para esses bens de luxo, os NFTs podem ser usados como certificados de autenticidade e propriedade.
Artes : NFTs podem ser criados de forma que royalties e taxas de licença sejam doados toda vez que forem revendidos
Montadoras : Os primeiros fabricantes vinculam carros novos com NFTs. Inicialmente para comercialização, mas também para aumentar o seu valor de revenda a médio prazo. Com a ajuda do blockchain, posso provar o número de proprietários anteriores de um carro e fornecer informações confiáveis sobre o histórico de reparos e acidentes.
Turismo : Comprovativo de presença. Escalou o monte Everest? Andou no Grand Canyon? Visitou o Havaí para casar? Com um crachá no blockchain, isso pode ser comprovado de uma vez por todas.
Sem fins lucrativos : A tecnologia é ideal para arrecadação de fundos em instituições de caridade – não só porque é transparente e descentralizada. Cada NFT pode ser doado ou leiloado por uma boa causa para que esta nova forma de criar valor gere novos fundos em benefício de projetos de caridade. A Vodafone demonstrou isso ao vender o primeiro SMS do mundo.
Arrogância : o Twitter já permite que você conecte sua conta à sua carteira criptográfica para configurar um NFT como sua foto de perfil. Steph Curry, da equipe da NBA, Golden State Warriors, apresenta seu Bored Ape Yacht Club NFT de 55 ETH (~ USD 180.000) como sua foto de perfil no Twitter ao escrever este blog.
Com isso em mente, posso pensar em muitos outros casos de uso significativos para NFTs.
Metaverse para novas experiências do cliente
Se eu pensar sobre o metaverso global (não apenas o de Zuckerberg), vejo tantos casos de uso que até poderia imaginar usando:
Quantos dólares (reais) você pagaria se sua casa (virtual) fosse ao lado de seu ator ou músico favorito em um mundo virtual se você pudesse falar com seu gêmeo digital (treinado pelo humano real) todos os dias?
Quantos dólares (reais) você pagaria se esse ator visitasse sua casa uma vez por semana para que vizinhos virtuais ou ganhadores de loteria pudessem falar com a pessoa física via realidade virtual?
Quantos dólares (reais) você pagaria se pudesse trazer sua espingarda Fortnite (de um jogo de outro fornecedor de jogos) para esta reunião e usá-la na competição de tiro ao prato com o vizinho?
Dê-me um dia e adicionarei 1000 outros itens a esta lista de desejos…
Eu acho que você entendeu. NFTs e metaversos fazem sentido para muitos casos de uso . Essa afirmação é válida na perspectiva de uma ótima experiência do cliente e na construção de modelos de negócios inovadores (com margens de lucro ridículas).
Então, finalmente, chegamos ao ponto de falar sobre a relação com streaming de eventos e Apache Kafka.
Kafka dentro de uma plataforma criptográfica
Primeiro, vamos entender como se qualificar se você precisar de um livro-razão ou blockchain verdadeiramente distribuído e descentralizado. Kafka é suficiente na maioria das vezes .
Kafka NÃO é um blockchain, mas um livro-razão distribuído para cripto
Kafka não é um blockchain, mas um log de confirmação distribuído. Muitos conceitos e fundamentos do Kafka são muito semelhantes a um blockchain . Ele fornece muitas características necessárias para projetos de “blockchain empresarial” do mundo real:
Tempo real
Alto rendimento
Banco de dados descentralizado
Registro distribuído de registros
Registro imutável
Replicação
Alta disponibilidade
Desacoplamento de aplicativos/clientes
Controle de acesso baseado em função aos dados
Eu explorei isso com mais detalhes em meu post “ Apache Kafka and Blockchain – Comparison and a Kafka-native Implementation “.
Você precisa de um blockchain? Ou apenas Kafka e integração de criptografia?
Um blockchain aumenta significativamente a complexidade em comparação com projetos de TI tradicionais . Você precisa de um blockchain ou livro-razão distribuído (DLT)? Qualifique-se cedo e escolha a ferramenta certa para o trabalho!
Use um Kafka para
Infraestrutura empresarial
Hub de dados em tempo real para cargas de trabalho transacionais e analíticas
Integração e processamento de dados abertos, escaláveis e em tempo real
Verdadeiro desacoplamento entre aplicativos e bancos de dados com manipulação de contrapressão e repetibilidade de dados
Arquiteturas flexíveis para muitos casos de uso
Cargas criptografadas
Use um blockchain / DLTs reais como Hyperledger, Ethereum, Cardano, Solana, et al. para
Implantação em várias organizações independentes (onde os próprios participantes verificam o conteúdo do livro-razão distribuído)
Casos de uso específicos
Gerenciado e controlado no lado do servidor por várias organizações
Cenários em que o valor comercial supera a complexidade adicional e o risco do projeto
Use Kafka e Blockchain juntos para combinar os benefícios de ambos para
Blockchain para comunicação segura em várias organizações independentes
Processamento de dados confiável em escala em tempo real com Kafka como uma cadeia lateral ou fora da cadeia de um blockchain
Integração entre as tecnologias blockchain/DLT e o restante da empresa, incluindo CRM, análise de big data e quaisquer outros aplicativos de negócios personalizados
A última seção mostra que Kafka e blockchain, respectivamente cripto, são complementares . Por exemplo, muitas empresas usam Kafka como hub de dados entre APIs criptográficas e software empresarial.
É bastante simples construir um metaverso sem um blockchain (se você não quiser ou precisar oferecer uma verdadeira descentralização). Veja esta demonstração de realidade aumentada desenvolvida pelo Apache Kafka para entender como o metaverso é construído com tecnologias modernas.
Kafka como um componente de blockchain vs. Kafka como middleware para integração de blockchain
Alguns DLTs ou blockchains poderosos são construídos sobre Kafka . Veja o exemplo do Corda do R3 na próxima seção.
Kafka é usado para implementar uma cadeia lateral ou plataforma off-chain em alguns outros casos de uso, pois o blockchain original não escala bem o suficiente (blockchain é conhecido como dados on-chain). Não apenas o Bitcoin tem o problema de processar apenas transações de um dígito (!) Por segundo. A maioria das soluções modernas de blockchain não pode ser dimensionada nem perto das cargas de trabalho que Kafka processa em tempo real.
Dito isso, o mais interessante é que vejo cada vez mais empresas usando Kafka em suas plataformas de negociação de criptomoedas, bolsas de mercado e mercados de negociação de tokens para integrar entre a criptografia e o mundo tradicional de TI.
Aqui estão as duas opções:
R3 Corda – Um livro-razão distribuído para o setor bancário e financeiro desenvolvido por Kafka
O Corda do R3 é uma plataforma de tecnologia de contabilidade distribuída (DLT) ponto a ponto (P2P) permitida e escalável . Ele permite a construção de aplicativos que promovem e fornecem confiança digital entre as partes em mercados regulamentados.
Corda é projetado para o setor bancário e financeiro. O foco principal está nas transações de serviços financeiros . Os projetos arquitetônicos são simples quando comparados aos verdadeiros blockchains. Avalie requisitos como tempo de lançamento no mercado, flexibilidade e (in)dependência de caso de uso para decidir se o Corda é suficiente ou não.
A história arquitetônica da Corda se parece com muitas arquiteturas corporativas: um sistema de mensagens (neste caso, RabbitMQ) foi introduzido anos atrás para fornecer uma infraestrutura em tempo real . Infelizmente, a solução de mensagens não é dimensionada conforme necessário. Ele não fornece todos os recursos essenciais, como integração de dados, processamento de dados ou armazenamento para desacoplamento verdadeiro, tratamento de contrapressão ou reprodutibilidade de eventos.
Aqui estão algumas razões para a necessidade de migrar o Corda do R3 do RabbitMQ para o Kafka :
Alta disponibilidade para serviços críticos
Uma maneira econômica de escalar (horizontalmente) para lidar com taxas de transferência em rajadas e de alto volume
Arquitetura totalmente redundante e baseada em trabalhadores
Real desacoplamento e manipulação de contrapressão para facilitar a comunicação entre os serviços do nó, incluindo o mecanismo de processo, integração de banco de dados, integração de criptografia, serviço RPC (HTTP), monitoramento e outros
Tópicos compactados (logs) como o mecanismo para armazenar e recuperar os estados mais recentes
Kafka na arquitetura corporativa criptográfica
Ao usar o Kafka em um DLT ou blockchain, os casos de uso mais prevalentes aproveitam o Kafka como o hub de dados em tempo real escalável entre criptomoedas ou blockchains e aplicativos corporativos . Vamos explorar alguns casos de uso e exemplos do mundo real para isso.
Arquitetura de criptografia de exemplo: Kafka como hub de dados no metaverso
Meu post recente sobre comércio ao vivo alimentado por streaming de eventos e Kafka transformando o metaverso do varejo mostra como o varejo e a indústria de jogos conectam coisas virtuais e físicas. O processo de negócios de varejo e a comunicação com o cliente acontecem em tempo real , não importa se você deseja vender roupas, um smartphone ou um token NFT baseado em blockchain para seu colecionável ou videogame.
A arquitetura a seguir mostra como poderia ser uma jogada de vendas NFT por meio do interesse e da orquestração do fluxo de informações entre vários aplicativos criptográficos e não criptográficos em tempo real em qualquer escala:
O papel de Kafka como centro de dados na negociação de criptomoedas, mercados e metaverso
Vamos agora explorar a combinação de Kafka e blockchains, respectivamente criptomoedas e finanças descentralizadas (DeFi) .
Mais uma vez, Kafka não é o blockchain nem a criptomoeda . O blockchain é uma criptomoeda como Bitcoin ou uma plataforma que fornece contratos inteligentes como Ethereum, onde as pessoas constroem novos aplicativos distribuídos (dApps) como NFTs para a indústria de jogos ou arte. Kafka é o hub de dados intermediário para conectar esses blockchains com outros Oracles (= os aplicativos não-blockchain = infraestrutura tradicional de TI), como o sistema CRM, data lake, data warehouse, aplicativos de negócios e assim por diante.
Vejamos um exemplo e exploremos alguns casos de uso técnico em que o Kafka ajuda:
Uma transação Bitcoin é executada a partir da carteira móvel. Um aplicativo em tempo real monitora os dados off-chain, correlaciona-os, mostra-os em um painel e envia notificações por push. Outro departamento totalmente independente reproduz eventos históricos do log Kafka em um processo em lote para uma verificação de conformidade com ferramentas de análise dedicadas.
O ecossistema Kafka fornece muitos recursos para usar os dados de blockchains e do mundo criptográfico com outros dados da TI tradicional.
Visão holística em uma malha de dados em TI e blockchains corporativos típicos
Medindo a integridade da infraestrutura blockchain, criptomoedas e dApps para evitar tempo de inatividade, proteger a infraestrutura e tornar os dados blockchain acessíveis.
O Kafka fornece uma maneira escalonável e sem agente de apresentar esses dados às partes envolvidas e garantir que as informações relevantes sejam expostas às equipes certas antes que um nó seja perdido. Isso é relevante para projetos inovadores de Web3 IoT, como Helium, ou ledgers distribuídos fechados (DLT) mais simples, como R3 Corda.
Processamento de fluxo via Kafka Streams ou ksqlDB para interpretar os dados para obter informações significativas
Processadores que se concentram em métricas de bloco úteis – com informações relacionadas ao preço médio do gás (gás refere-se ao custo necessário para realizar uma transação na rede), número de transações bem-sucedidas ou com falha e taxas de transação
Monitoramento de infraestrutura de blockchain e eventos de log de telemetria em tempo real
Monitoramento e conformidade regulatória
Segurança cibernética em tempo real (fraude, consciência situacional, inteligência de ameaças)
Integração contínua de dados em qualquer escala em tempo real
Integração + verdadeiro desacoplamento + manipulação de contrapressão + repetibilidade de eventos
Kafka como ponto de integração Oracle (por exemplo, Chainlink -> Kafka -> Resto da infraestrutura de TI)
Conectores Kafka Connect que incorporam APIs de cliente blockchain como OpenEthereum (aproveitando o mesmo conceito/arquitetura para todos os clientes e protocolos blockchain)
Manuseio de contrapressão por meio de controle de fluxo e gerenciamento de nonce no backbone Kafka para transmitir transações para a cadeia
Processamento de várias cadeias ao mesmo tempo (por exemplo, monitoramento e correlação de transações em blockchains Ethereum, Solana e Cardano em paralelo)
Processamento contínuo de dados sem estado ou com estado
O processamento de fluxo com Kafka Streams ou ksqlDB permite o processamento de dados em tempo real em DeFi / trading / NFT / marketplaces
A maioria dos casos de uso de blockchain e criptografia exige mais do que apenas a ingestão de dados em um banco de dados ou data lake – o processamento de fluxo contínuo adiciona um valor enorme a muitos problemas
Dados agregados da cadeia (como Bitcoin ou Ethereum), por exemplo, estados de contratos inteligentes ou feeds de preços, como o preço de criptos em relação ao USD
'Processadores' especializados que aproveitam os utilitários do Kafka Streams para realizar agregações, reduções, filtragem e outras operações práticas sem estado ou com estado
Construindo novos modelos de negócios e soluções sobre a infraestrutura de criptografia e blockchain
Custódia de investimentos criptográficos em uma solução ponta a ponta totalmente integrada
Implantação e gerenciamento de contratos inteligentes por meio de uma API de blockchain e interface de usuário
Cliente 360 e plataformas de fidelidade, por exemplo, integração NFT em varejo, jogos, mídia social para novas experiências do cliente, enviando um AirDrop específico do contexto para uma carteira do cliente
Estes são apenas alguns exemplos – a lista continua…
A seção a seguir mostra alguns exemplos do mundo real. Algumas são ferramentas de monitoramento relativamente simples. Outros são plataformas bancárias complexas e poderosas.
Exemplos do mundo real de Kafka no mundo criptográfico e DeFi
Já explorei como algumas soluções de blockchain e criptografia (como Corda do R3) usam streaming de eventos com Kafka sob o capô de sua plataforma. Ao contrário, o seguinte se concentra em várias soluções públicas do mundo real que alavancam o Kafka como o hub de dados entre mercados de blockchains/cripto/NFT e novos aplicativos de negócios :
TokenAnalyst : Visualização de mercados criptográficos
EthVM : explorador Blockchain e mecanismo de análise
Kaleido : REST API Gateway para blockchain e contratos inteligentes
Nash : plataforma de negociação nativa da nuvem para criptomoedas
Custodigit da Swisscom : plataforma bancária criptográfica
Chainlink : rede Oracle para conectar contratos inteligentes de blockchains ao mundo real
TokenAnalyst – Visualização de mercados criptográficos
TokenAnalyst é uma ferramenta analítica para visualizar e analisar o mercado de criptomoedas. TokenAnalyst é um excelente exemplo que aproveita a pilha Kafka (Connect, Streams, ksqlDB, Schema Registry) para integrar dados de blockchain de Bitcoin e Ethereum com suas ferramentas de análise.
O Kafka Connect ajuda na integração de bancos de dados e data lakes . A integração com Ethereum e outras criptomoedas é implementada por meio de uma combinação das APIs criptográficas oficiais e da API cliente do produtor Kafka.
O Kafka Streams fornece um aplicativo de streaming dinâmico para evitar bloqueios inválidos em cálculos agregados downstream . Por exemplo, TokenAnalyst desenvolveu um componente de confirmação de bloco que resolve cenários de reorganização mantendo temporariamente os blocos e os propaga apenas quando um limite de algumas confirmações (filhos desse bloco são minerados) é atingido.
EthVM – Um explorador de blockchain e mecanismo de análise
A beleza de blockchains públicos e descentralizados como Bitcoin e Ethereum é a transparência. O log inviolável permite que os exploradores Blockchain monitorem e analisem todas as transações .
O EthVM é um mecanismo de análise e processamento de dados blockchain da Ethereum de código aberto desenvolvido pelo Apache Kafka . A ferramenta permite auditoria de blockchain e tomada de decisão. O EthVM verifica a execução de transações e contratos inteligentes, verifica saldos e monitora os preços do gás . A infraestrutura é construída com Kafka Connect, Kafka Streams e Schema Registry. Um explorador de bloco visual do lado do cliente também está incluído.
Kaleido – Um gateway nativo de Kafka para contratos inteligentes e criptográficos
Kaleido fornece APIs blockchain de nível empresarial para implantar e gerenciar contratos inteligentes , enviar transações Ethereum e consultar dados blockchain. Ele oculta as complexidades de blockchain do envio de transações Ethereum, bibliotecas de clientes Web3 espessas, gerenciamento de nonce, codificação RLP, assinatura de transações e gerenciamento de contratos inteligentes.
Kaleido oferece APIs REST para lógica e dados on-chain. Ele é apoiado por uma infraestrutura Apache Kafka de alto rendimento totalmente gerenciada .
Um aspecto interessante na arquitetura acima: o Kaleido também fornece uma conexão Kafka direta nativa do lado do cliente, além do gateway da API (= HTTP) . Esta é uma tendência clara que já discuti antes. Verificação de saída:
Gerenciamento de API e Kafka – amigos, inimigos ou inimigos?
Uma troca de dados de streaming para a malha de dados desenvolvida por Kafka e Cluster Linking
Streaming Machine Learning com Kafka-native Model Server
Nash – plataforma de negociação nativa da nuvem para criptomoedas
Nash é um excelente exemplo de uma plataforma de negociação moderna para criptomoedas usando blockchain sob o capô . O coração da plataforma de Nash utiliza o Apache Kafka . A seguinte citação de sua página da comunidade diz:
“A Nash está usando o Confluent Cloud, plataforma de nuvem do Google para fornecer e gerenciar seus serviços. As tecnologias Kubernetes e Apache Kafka irão ajudá-lo a escalar mais rapidamente, manter registros de alto nível, fornecer serviços em tempo real que são difíceis de imaginar hoje.”
A Nash oferece a velocidade e a conveniência das trocas tradicionais e a segurança das abordagens sem custódia . Os clientes podem investir, fazer pagamentos e negociar Bitcoin, Ethereum, NEO e outros ativos digitais. A bolsa é a primeira de seu tipo, oferecendo negociação cross-chain sem custódia com todo o poder de um livro de pedidos real. O log de confirmação distribuído e imutável do Kafka permite a repetição determinística em sua ordem exata .
Swisscom's Custodigit - Uma plataforma bancária criptográfica alimentada por Kafka Streams
Custodigit é uma plataforma bancária moderna para ativos digitais e criptomoedas . Ele fornece recursos e garantias cruciais para investimentos criptográficos seriamente regulamentados:
Armazenamento seguro de carteiras
Enviando e recebendo no blockchain
Negociação através de corretoras e bolsas
Ambiente regulamentado (um aspecto fundamental e nenhuma surpresa, pois este produto vem da Suíça - um mercado muito regulamentado)
Kafka é o sistema nervoso central da arquitetura de microsserviços da Custodigit e aplicativos Stateful Kafka Streams . Os casos de uso incluem a orquestração do fluxo de trabalho com o padrão de design “ saga distribuído ” para a coreografia entre os microsserviços . Kafka Streams foi selecionado por causa de:
microsserviços enxutos e desacoplados
gerenciamento de metadados no Kafka
estrutura de dados unificada em microsserviços
API de transação (também conhecida como semântica exatamente uma vez)
escalabilidade e confiabilidade
processamento em tempo real em escala
uma linguagem específica de domínio de nível superior para processamento de fluxo
processos com estado de execução longa
Os diagramas de arquitetura estão disponíveis apenas na Alemanha, infelizmente. Mas acho que você entendeu os pontos:
Arquitetura de microsserviço Custodigit – alguns microsserviços se integram com corretoras e bolsas de valores, outros com blockchain e cripto:
Padrão Custodigit Saga para orquestração stateful – a lógica de negócios stateless é verdadeiramente desacoplada, enquanto o orquestrador saga mantém o estado para coreografia entre os outros serviços:
Chainlink – rede Oracle para conectar contratos inteligentes de blockchains ao mundo real
Chainlink é a rede oracle padrão da indústria para conectar contratos inteligentes ao mundo real . “Com o Chainlink, os desenvolvedores podem criar contratos inteligentes híbridos que combinam código on-chain com uma extensa coleção de serviços off-chain seguros alimentados por Oracle Networks descentralizados. Gerenciado por uma comunidade global e descentralizada de centenas de milhares de pessoas, o Chainlink apresenta um modelo de contrato mais justo. Atualmente, sua rede garante bilhões de dólares em valor para contratos inteligentes em finanças descentralizadas (DeFi), seguros e ecossistemas de jogos, entre outros. A visão completa da Chainlink Network pode ser encontrada no white paper Chainlink 2.0 .”
Infelizmente, não consegui encontrar nenhum post de blog público ou palestras sobre a arquitetura do Chainlink. Portanto, só posso deixar a oferta de emprego da Chainlink falar sobre seu impressionante uso de Kafka para observabilidade em tempo real em escala em um ambiente financeiro transacional crítico .
A Chainlink está fazendo a transição do monitoramento tradicional baseado em séries temporais para uma arquitetura orientada a eventos e uma abordagem de alerta .
Esta oferta de trabalho parece muito interessante, não é? E é uma tarefa colossal resolver os desafios de segurança cibernética neste setor. Se você procura uma função Kafka baseada em blockchain, isso pode ser para você.
O Serverless Kafka permite focar na lógica de negócios em sua infraestrutura de hub de dados criptográficos!
Este artigo explorou casos de uso prático para mercados de criptografia e o próximo metaverso. Muitas arquiteturas corporativas já utilizam o Apache Kafka e seu ecossistema para construir um hub de dados em tempo real escalável para tecnologias criptográficas e não criptográficas .
Essa combinação é a base para um ecossistema metaverso e novos aplicativos inovadores, experiências do cliente e modelos de negócios . Não tema o metaverso. Esta discussão não é apenas sobre o Meta (antigo Facebook), mas sobre a interoperabilidade entre muitos ecossistemas para fornecer novas experiências fantásticas ao usuário (claro, com suas desvantagens e riscos também).
Uma tendência clara em todos esses tópicos sofisticados e palavras-chave é o uso de ofertas de nuvem sem servidor . Dessa forma, as equipes de projeto podem dedicar seu tempo à lógica de negócios em vez de operar a infraestrutura. Confira meus artigos sobre “ Kafka sem servidor e sua relação com data lakes e lake houses nativos da nuvem ” e minha “ comparação de ofertas de Kafka no mercado ” para saber mais.
Como você usa o Apache Kafka com criptomoedas, blockchain ou aplicativos DeFi? Você implanta na nuvem pública e aproveita uma oferta Kafka SaaS sem servidor? Conecte comigo e com o Kai no LinkedIn e vamos discutir isso! Mantenha-se informado sobre as novas postagens do blog assinando a newsletter.
Comments