Três desvantagens ocultas com algumas soluções de armazenamento de AI para startups

Esta é a parte 3 de uma série de cinco partes que aborda as alegações de novas plataformas de armazenamento de dados. Leia a Parte 1 e a Parte 2.

Por mais de uma década, o armazenamento definido por software (SDS, Software-Defined Storage) alegou ser uma alternativa atraente para o armazenamento de dados corporativos complexo e caro. Entre suas afirmações estão flexibilidade inigualável, independência de hardware e economia de custos com hardware de commodity.

Infelizmente, as implementações do mundo real se mostraram impraticáveis. Até mesmo as nuvens públicas que inicialmente construíam sua infraestrutura em componentes de hardware de commodity perceberam que as eficiências em grande escala só podiam ser obtidas com a engenharia de hardware e software juntos. 

Avançando até hoje, muitas soluções novas e não comprovadas de armazenamento para startups estão se tornando “somente software” e “independentes de hardware”, prometendo benefícios semelhantes aos de SDS com recursos extensos, operações simples e escala ilimitada. Dito isso, isso pode ser verdade?

A novidade: Novas soluções de SDS, a mesma complexidade antiga

As startups baseadas em SDS prometem soluções de armazenamento integradas, mas estão repletas de implementações iniciais complexas, desafios contínuos de estabilidade e arrependimento. Mais especificamente, a implantação desses sistemas frequentemente resulta em solução de problemas ininterrupta, correção e experimentação com diferentes configurações de armazenamento, causando frustração e perda de recursos valiosos. 

Essas soluções de SDS também enfrentam ineficiências. Os componentes de commodity são atraentes devido ao baixo custo de aquisição; no entanto, a falta de otimização e eficiência entre hardware e software aparece na eficiência energética desses sistemas. Com o mundo à beira de uma crise de energia, cada watt economizado é um watt que pode ser provisionado para novas cargas de trabalho. E com o aumento dos investimentos em AI, esses watts serão preciosos! Vejamos algumas das cargas duradouras de gerenciamento de armazenamento que tendem a seguir a implementação dessas soluções.

1. A implantação inicial é uma dor de cabeça

Os desafios começam na implantação. Instalar esses sistemas pode parecer um pouco como tentar resolver um problema do Prêmio do Milênio. O hardware é uma combinação complicada de caixas de computação, caixas de armazenamento, malha de comutação e muitos cabos. Apesar de serem “independentes de hardware”, essas soluções na verdade têm um conjunto limitado de componentes específicos de “fornecedores certificados ou qualificados” selecionados. Com toda essa variedade, a configuração inicial é complexa, com variação entre os componentes, muitas vezes levando semanas de trabalho das organizações com engenheiros treinados pelo fornecedor para colocar o sistema em funcionamento.

Infelizmente, o tempo para a primeira I/O é apenas o começo. 

Embora essas novas soluções de armazenamento aleguem ser ricas em recursos, muitos recursos se baseiam em vários softwares de código aberto. Muitos desses recursos não estão prontos para a empresa e a configuração correta deles é complexa. Alguns desses principais recursos são desativados por padrão, causando dores de cabeça operacionais no futuro. Por exemplo, um fornecedor desativa a criptografia de dados inativos (D@RE, Data-at-Rest Encryption) por padrão, o que é crucial para manter os dados dos clientes seguros. Embora o D@RE possa ser ativado depois que o sistema estiver funcionando, isso pode afetar o desempenho contínuo de forma imprevisível, talvez até mesmo resultando em um sistema não conseguir atender aos SLAs de desempenho. As unidades autocriptográficas (SEDs, Self-Encrypting Drives) podem minimizar o impacto no desempenho do sistema durante a criptografia, mas tendem a ser significativamente mais caras do que as unidades regulares. Ao contrário do que o benchmark de desempenho resulta desse fornecedor com criptografia desativada, os clientes que implantam essa solução devem escolher entre aceitar um impacto no desempenho ou pagar custos adicionais para adquirir SEDs.

2. As operações diárias são desafiadoras

Infelizmente, operar essas novas soluções de armazenamento não fica mais fácil após a conclusão da implantação inicial. Os clientes precisam permanecer atentos para garantir que seu sistema de armazenamento esteja funcionando de maneira ideal. Isso significa lidar com uma variedade de patches de terceiros e até mesmo correções de software personalizadas, o que pode aumentar o tempo de inatividade e o risco, além de estender os tempos de resolução. Muitos têm recursos limitados de monitoramento que fornecem algumas informações reativas sobre o array, estatísticas de usuário e alertas de erro, mas não podem detectar problemas automaticamente, oferecer soluções de autoatendimento ou prever requisitos futuros. 

Essas novas soluções de armazenamento apresentam todos os problemas de SDS emblemáticas com o desempenho, a confiabilidade, a eficiência e os objetivos de expansão. Em teoria, você pode dimensionar nós de computação e armazenamento de forma independente em diferentes quantidades, conforme necessário. Na realidade, os nós de computação e armazenamento são expandidos juntos, muitas vezes levando ao provisionamento excessivo de recursos e ao balanceamento da carga de trabalho. Mesmo quando dimensionadas conforme sugerido, essas soluções muitas vezes não oferecem desempenho uniforme em todos os cenários, especialmente com I/O pequenas. À medida que os clusters expandem e se tornam assimétricos, há ainda mais chances de imprevisibilidade e desequilíbrio no desempenho.

Não é surpresa que alguns desses novos fornecedores de armazenamento precisem se esconder sob o disfarce de um canal Slack dedicado e designar especialistas em engenharia dedicados para fornecer suporte contínuo para cada uma de suas instalações. Embora entendamos a necessidade desses esforços equivocados para mascarar sua instabilidade e complexidade, isso não beneficia os clientes no longo prazo.

3. Ramificações de longo prazo podem ser graves

Essas soluções de armazenamento baseadas em SDS adicionam riscos imprevistos aos ambientes de armazenamento de seus clientes, tanto do ponto de vista de hardware quanto de software. Do ponto de vista do software, essas startups de armazenamento alegam um conjunto avançado de recursos e suporte com tudo incluído. Muitos desses recursos estão incluídos no momento da compra sem custo adicional, mas com um aviso de que os recursos existentes ou futuros podem ser licenciados separadamente. De uma perspectiva de hardware, discutimos a complexidade de implantar vários componentes especializados. Alguns desses componentes já provaram não ser viáveis no longo prazo do mercado e afetam a capacidade de uma organização de proteger seu investimento ao expandir e aproveitar sua arquitetura no longo prazo. Upgrades forklift e migrações por atacado são difíceis, por isso a viabilidade de longo prazo de qualquer arquitetura é essencial.

Veja um exemplo: Uma solução específica de armazenamento SDS usa a memória de classe de armazenamento (SCM, Storage Class Memory) “Optane” em sua arquitetura como um facilitador essencial de desempenho. O SCM é utilizado como ponto de destino para gravações, leituras e metadados. Com a descontinuação do programa Optane pela Intel, a startup de armazenamento afirma que o SLC aprimorado pode substituir o SCM sem problemas. A verdade é que o SLC tem apenas um terço do desempenho de gravação e latência inconsistente, afetando negativamente o desempenho do cluster e adicionando custos imprevistos. Por fim, a arquitetura de rede exclusiva usada nessas soluções de SDS torna a expansão contínua para grandes capacidades complexa e demorada para operar.

Simplicidade como princípio básico

À medida que cargas de trabalho modernas, como modelos de linguagem grande (LLMs, large language models) e geração aumentada para recuperação (RAG, Recovery-Augmented Generation), são o centro das atenções, as organizações precisam de uma plataforma de dados de alto desempenho, não de uma solução de armazenamento que alegue ser uma SDS moderna. 

Na Pure Storage, lidamos com esses desafios criando simplicidade em nossos produtos desde o primeiro dia. A plataforma da Pure Storage oferece um design intuitivo e simplicidade durante a configuração, o gerenciamento e a expansão, permitindo que as empresas aproveitem ao máximo seus dados. Também oferecemos densidade e eficiência energética líderes do setor, impulsionadas pela integração entre nosso sistema operacional Purity e nossos módulos DirectFlash®.

Vá além do exagero. Descubra como a plataforma da Pure Storage pode preparar sua infraestrutura para o futuro e aproveitar todo o potencial de suas iniciativas de AI.