Além do lote, como o ERP funciona mais rápido com streaming de dados

Movimentos de dados. Todos os dados, em algum momento de sua vida, foram movidos de ou para um local ou outro. Seja de um banco de dados para um aplicativo, de alguma forma de repositório baseado em nuvem para e de um dispositivo IoT, ou simplesmente entre serviços internos dentro de um sistema operacional ou seus pontos de conexão associados, os dados estão praticamente sempre em movimento.

Mesmo quando os dados param e residem num armazenamento de longo prazo, normalmente terão sido processados ​​através de alguma forma de mecanismo de transporte numa fase ou noutra. Esses truísmos fundamentais significam que muitas vezes nos concentramos na cadência dos dados e examinamos sua capacidade de chegar onde precisam estar em tempo hábil.

Se pensarmos nos tempos pré-milenares, os serviços de dados e os utilizadores que dependiam deles muitas vezes tinham de se adaptar a “construções noturnas” se quisessem que a sua espinha dorsal de dados lhes fornecesse as informações mais atualizadas. Esta foi (e na verdade ainda é) a era do processamento em lote, também conhecido como automação de carga de trabalho ou agendamento de tarefas.

De acordo com a empresa de integração de dados e plataforma de nuvem empresarialTibco, o processamento em lote é uma maneira econômica de processar grandes quantidades de dados em um curto período de tempo.

“Um bom exemplo de processamento em lote é como as empresas de cartão de crédito fazem seu faturamento. Quando os clientes recebem suas faturas de cartão de crédito, não é uma fatura separada para cada transação; em vez disso, há uma fatura para o mês inteiro. Essa fatura é criada usando processamento em lote. Todas as informações são coletadas durante o mês, mas são processadas em uma determinada data, de uma só vez”, observa Tibco, em documento de briefing técnico.

Além do lote, em tempo real

Mas o mundo agora se move mais rápido do que em lote; todos nós trabalhamos em um universo sempre ativo, onde os smartphones precisam fornecer serviços oportunos em segundos e os aplicativos empresariais precisam nos servir com serviços e conectividade continuamente integrados. Esta é a era dos dados em tempo real.

A chave entre as tecnologias facilitadoras neste espaço éApache Kafka. Com raízes em 2011, a tecnologia surgiu de um projeto interno para criar uma fila de mensagens conduzida por engenheiros de software que trabalhavam naLinkedIn.Desde o início da fila de mensagens “básica”, a plataforma de streaming de dados Apache Kafka agora é capaz de lidar com mais de um milhão de mensagens por segundo, uma quantidade que equivale a alguns trilhões de mensagens por dia.

Esta tecnologia vai além do Kafka – Jay Kreps, Confluent

Embora o Apache Kafka puro permaneça de código aberto com as responsabilidades de gerenciamento operacional deixadas nas mãos do usuário,Confluente fornece um serviço de processamento e análise de fluxo nativo da nuvem totalmente gerenciado. É uma tecnologia que o cofundador e CEO da Confluent, Jay Kreps, diz “vai além do Kafka” para casos de uso de aplicativos modernos em tempo real para potencializar o que ele chama de tomada de decisão em tempo real, ou pelo menos a iteração digital de tal processo .

O que é streaming de dados?

Voltando por um momento à escola de engenharia de software, podemos definir o streaming de dados como um princípio de computação. Denota uma abordagem que supervisiona uma sequência ordenada no tempo para os dados passarem por um aplicativo, componente ou serviço. Normalmente focados nos registros de dados de nível inferior que ocorrem dentro de qualquer sistema de TI, os serviços de streaming de dados carregam arquivos de log relacionados a tudo, desde um único toque no teclado até leituras de sensores de instrumentação de máquinas industriais.

Por mais granulares e diminutos que sejam esses registros, uma vez agregados, eles ajudam a traçar um quadro ricamente ilustrativo do que exatamente está acontecendo dentro de uma implantação de TI. Esta realidade leva-nos logicamente ao ERP, ou seja, a análise de streaming de dados pode fornecer-nos uma visão precisa do que está a acontecer dentro de uma aplicação ou função de software empresarial. Então, como aplicamos esse poder?

“Estou afirmando o óbvio aqui, mas os dados são o que mantém qualquer organização no caminho certo – portanto, [o] acesso em tempo real que o streaming de dados promete deve logicamente ser visto como um grande trunfo”, diz Chris Gorton, vice-presidente sênior para EMEA norte, mercados do sul e emergentes na empresa de plataforma de gerenciamento de dados