Alto desempenho, acelerador de consulta em memória

O HeatWave é um mecanismo de processamento de consultas híbridas em colunas, massivamente paralelas e na memória. Ele implementa algoritmos de última geração para processar as consultas distribuídas que ofereçam alto desempenho.

Arquitetado para grande escala e desempenho

O HeatWave particiona massivamente os dados em um cluster de nós, que podem ser operados em paralelo. Isso fornece excelente escalabilidade entre eles. Cada nó dentro de um cluster e cada núcleo dentro de um nó podem processar dados particionados em paralelo. O HeatWave possui um agendador de consultas inteligente que sobrepõe o processamento com tarefas de comunicação de rede para obter uma escalabilidade muito alta entre milhares de núcleos.

Otimizado para a nuvem

O processamento de consultas no HeatWave foi otimizado para servidores comuns na nuvem. Os tamanhos das partições foram otimizados para caber no cache das formas subjacentes. A sobreposição do processamento com comunicação é otimizada para a largura de banda de rede disponível. Diversas unidades menores de processamento utilizam instruções de hardware oriundas de Máquinas Virtuais (VMs) subjacentes.

Otimizado para altas taxas de transação e conexões

O Oracle MySQL Autopilot melhora o desempenho do MySQL HeatWave Thread Pool, fornecendo um mecanismo para usar de forma otimizada os recursos de hardware para um melhor desempenho. Como resultado, o MySQL HeatWave oferece maior rendimento para cargas de trabalho OLTP e evita que o rendimento caia em altos níveis de transações e simultaneidade.

MySQL HeatWave Lakehouse

O MySQL HeatWave inclui o MySQL HeatWave Lakehouse, permitindo aos usuários consultar meio petabyte de dados no armazenamento de objetos em uma variedade de formatos de arquivo, como CSV, Parquet, Avro, e exportar arquivos de outros bancos de dados. O processamento de consultas é feito inteiramente no mecanismo do HeatWave, permitindo que os clientes aproveitem o HeatWave para cargas de trabalho não MySQL, além de cargas de trabalho compatíveis com MySQL. Com HeatWave Lakehouse, o MySQL HeatWave fornece um serviço de banco de dados em nuvem para processamento de transações, análise em tempo real em data warehouses e data lakes e machine – sem ETL em serviços de nuvem.

Análise rápida de lakehouse e machine learning em todos os dados

Os clientes podem consultar dados em vários formatos no armazenamento de objetos, dados transacionais em bancos de dados MySQL ou uma combinação de ambos usando comandos SQL padrão.

Com o HeatWave AutoML, os clientes podem usar dados no armazenamento de objetos, no banco de dados ou em ambos para construir, treinar, implementar e explicar modelos de ML automaticamente, sem mover os dados para um serviço de nuvem de ML separado.

Arquitetura de expansão para gerenciamento de dados e processamento de consultas

A arquitetura massivamente particionada do HeatWave permite uma arquitetura escalável para o MySQL HeatWave Lakehouse. O processamento de consultas e as operações de gerenciamento de dados, como carregamento/recarregamento, são dimensionados de acordo com o tamanho dos dados. Os clientes podem consultar até meio petabyte de dados no armazenamento de objetos com o MySQL HeatWave Lakehouse sem copiá-los para o banco de dados MySQL. O cluster do HeatWave é dimensionado para 512 nós.

Aumente o desempenho e economize tempo com automação baseada em machine learning

Os recursos do MySQL Autopilot, como provisionamento automático, melhoria do plano de consulta automática e carregamento paralelo automático, foram aprimorados para o MySQL HeatWave Lakehouse, reduzindo ainda mais a sobrecarga da administração do banco de dados e melhorando o desempenho. Novos recursos do MySQL Autopilot também estão disponíveis para o MySQL HeatWave Lakehouse.

• A inferência automática de esquema trata de mapear os dados do arquivo para a definição de esquema correspondente para todos os tipos de arquivo suportados, incluindo CSV. Como resultado, os clientes não precisam definir e atualizar manualmente o mapeamento de esquema de arquivos, economizando tempo e esforço.

• Amostragem de dados adaptável faz amostras inteligentes dos arquivos no armazenamento de objetos para derivar informações usadas pelo MySQL Autopilot para fazer previsões para automação. Usando a amostragem de dados adaptável, o MySQL Autopilot pode escanear e fazer previsões, como mapeamento de esquema em um arquivo de 400 TB em menos de um minuto.

• O fluxo de dados adaptável permite que o MySQL HeatWave Lakehouse se adapte dinamicamente ao desempenho do armazenamento de objetos subjacente em qualquer região para melhorar o desempenho geral, o custo-benefício e a disponibilidade.

Machine learning no banco de dados com AutoML

O HeatWave AutoML inclui tudo o que os usuários precisam para criar, treinar, implementar e explicar modelos de machine learning no MySQL HeatWave, sem custo adicional.

Não há necessidade de um serviço de machine learning separado

Com machine learning no banco de dados no MySQL HeatWave, os clientes não precisam mover dados para um serviço de ML separado. Eles podem aplicar treinamento, inferência e explicação de machine learning de maneira fácil e segura aos dados armazenados no MySQL e no armazenamento de objetos com HeatWave Lakehouse. Como resultado, eles podem acelerar as iniciativas de ML, aumentar a segurança e reduzir custos.

Economize tempo e esforço com a automação do ciclo de vida do machine learning

O HeatWave AutoML automatiza o ciclo de vida do machine learning, incluindo seleção de algoritmos, amostragem inteligente de dados para treinamento de modelos, seleção de recursos e otimização de hiperparâmetros, economizando tempo e esforço significativos para analistas de dados e cientistas de dados. Aspectos do pipeline de machine learning podem ser personalizados, incluindo seleção de algoritmos, seleção de recursos e otimização de hiperparâmetros. O HeatWave AutoML suporta detecção de anomalias, previsão, classificação, regressão e tarefas de sistema de recomendação, inclusive em colunas de texto.

Sistema para recomendações personalizadas

Ao considerar o feedback implícito (compras anteriores, comportamento de navegação e assim por diante) e o feedback explícito (classificações, curtidas e assim por diante), o sistema de recomendação do HeatWave AutoML pode gerar recomendações personalizadas. Os analistas, por exemplo, podem prever itens que um usuário irá gostar, usuários que irão gostar de um item específico e classificações que os itens receberão. Eles também podem, dado um usuário, obter uma lista de usuários semelhantes, e dado um item específico, obter uma lista de itens semelhantes.

Console interativo do MySQL HeatWave AutoML

O console interativo permite que os analistas de negócios criem, treinem, executem e expliquem modelos de ML usando uma interface visual, sem usar comandos SQL ou qualquer codificação. O console também facilita a exploração de cenários hipotéticos para avaliar as suposições de negócios, por exemplo: "Como investir 30% a mais em publicidade paga em mídias sociais afetaria a receita e o lucro?"

Modelos de ML explicáveis

Todos os modelos treinados pelo HeatWave AutoML são explicáveis. O HeatWave AutoML fornece previsões com uma explicação dos resultados, ajudando as organizações a manter a conformidade regulatória, imparcialidade, repetibilidade, causalidade e confiança.

Usar habilidades atuais

Desenvolvedores e analistas de dados podem construir modelos de machine learning usando comandos SQL familiares; eles não precisam aprender novas ferramentas e linguagens. Além disso, o HeatWave AutoML é integrado a notebooks populares como Jupyter e Apache Zeppelin.

IA generativa com armazenamento de vetores do MySQL HeatWave

Atualmente em versão prévia privada, o armazenamento de vetores permitirá que os clientes aproveitem o poder dos grandes modelos de linguagem (Large Language Models, LLMs) com seus dados proprietários para obter respostas mais precisas do que usar modelos que foram treinados apenas com dados públicos. Com IA generativa e recursos de armazenamento de vetores, os clientes podem interagir com o MySQL HeatWave em linguagem natural e pesquisar documentos com eficiência em vários formatos de arquivo no HeatWave Lakehouse.

O armazenamento de vetores ingere documentos em diversos formatos, incluindo PDF, e os armazena como incorporações geradas por meio de um modelo de codificador. Para uma determinada consulta do usuário, o armazenamento de vetores identifica os documentos mais semelhantes executando uma pesquisa de similaridade com as incorporações armazenadas e a consulta incorporada. Esses documentos são usados para aumentar o prompt fornecido ao LLM para que ele forneça uma resposta mais contextual.

MySQL Autopilot: Automação com machine learning integrado

O MySQL Autopilot fornece automação baseada em machine learning e com reconhecimento de carga de trabalho. Ele melhora o desempenho e a escalabilidade sem exigir experiência em ajuste de banco de dados, aumenta a produtividade de desenvolvedores e DBAs e ajuda a eliminar erros humanos. O MySQL Autopilot automatiza muitos dos aspectos mais importantes e muitas vezes desafiadores de alcançar um alto desempenho de consultas em escala, incluindo provisionamento, carregamento de dados, execução de consultas e tratamento de falhas. Os clientes do MySQL HeatWave podem usar o MySQL Autopilot sem nenhum custo adicional.

O MySQL Autopilot fornece vários recursos para HeatWave e OLTP, incluindo:

• O provisionamento automático prevê a quantidade de nós do HeatWave necessários para executar uma carga de trabalho por amostragem adaptável dos dados da tabela sobre a qual será feita a análise. Isso significa que desenvolvedores e DBAs não precisam mais estimar o melhor tamanho para o cluster de forma manual.
• O pooling de thread automático permite que o serviço de banco de dados processe mais transações para uma determinada configuração de hardware, oferecendo maior throughput para cargas de trabalho OLTP e evitando que caia em altos níveis de transações e simultaneidade.
• A previsão automática de formas monitora continuamente a carga de trabalho OLTP, incluindo throughput e taxa de acerto do pool de buffers, para recomendar a forma de computação correta a qualquer momento, permitindo que os clientes sempre obtenham o melhor custo-benefício.
• A codificação automática determina a representação ideal das colunas que estão sendo carregadas no HeatWave, levando em consideração as consultas. Essa representação otimizada entrega o melhor desempenho para a consulta, além de reduzir o tamanho do cluster para diminuir os custos.
• A melhoria do plano de consulta automática aprende várias estatísticas da execução de consultas e aumenta o desempenho do sistema à medida que mais consultas são executadas. Isso melhora o desempenho do sistema, conforme mais consultas são realizadas.
• A otimização adaptativa de consultas usa diversas estatísticas para ajustar estruturas de dados e recursos do sistema após o início da execução da consulta, otimizando de forma independente a execução da consulta para cada nó com base na distribuição real de dados no tempo de execução. Isso ajuda a melhorar o desempenho de consultas ad hoc em até 25%.
• Colocação automática de dados prevê a coluna na qual as tabelas devem ser particionadas na memória para obter o melhor desempenho para consultas. Esse recurso também prevê o ganho esperado no desempenho da consulta com a nova recomendação de coluna. Isso reduz a movimentação dos dados entre os nós por conta das escolhas subótimas que podem ser feitas pelos operadores ao escolher a coluna manualmente.
• A compactação automática determina o algoritmo de compactação ideal para cada coluna, o que melhora o desempenho de carga e consulta com compactação e descompactação de dados mais rápidas. Ao reduzir o uso de memória, os clientes podem reduzir custos em até 25%.
• A Indexação (disponibilidade limitada) determina automaticamente os índices que os clientes devem criar ou eliminar de suas tabelas para otimizar o throughput de OLTP, usando machine learning para fazer uma previsão com base em cargas de trabalho de aplicações individuais. Isso ajuda os clientes a eliminar as tarefas demoradas de criação de índices ideais para suas cargas de trabalho OLTP e a fazer a devida manutenção à medida que as cargas de trabalho evoluem.

Elasticidade em tempo real

A elasticidade em tempo real permite que os clientes aumentem ou diminuam o tamanho do cluster HeatWave por qualquer número de nós sem incorrer em tempo de inatividade ou somente leitura.

Alto desempenho consistente, mesmo em horários de pico, e custos reduzidos sem tempo de inatividade

A operação de redimensionamento leva apenas alguns minutos, durante os quais o HeatWave permanece online, disponível para todas as operações. Depois de redimensionados, os dados são baixados do armazenamento de objetos, rebalanceados automaticamente entre todos os nós de cluster disponíveis e ficam imediatamente disponíveis para consultas. Como resultado, os clientes se beneficiam de um desempenho consistentemente alto, mesmo em horários de pico, e custos mais baixos ao reduzir o tamanho do cluster HeatWave quando apropriado, sem incorrer em tempo de inatividade ou somente leitura.

Com o recarregamento eficiente de dados do armazenamento de objetos, os clientes também podem pausar e retomar seu cluster HeatWave para reduzir custos.

Nenhuma instância superprovisionada

Os clientes podem expandir ou reduzir o cluster HeatWave para qualquer número de nós. Eles não são restritos a instâncias superprovisionadas e dispendiosas, forçadas por modelos de dimensionamento rígidos oferecidos por outros provedores de banco de dados em nuvem. Com o HeatWave, os clientes pagam apenas pelos recursos que forem usados.

Serviço de banco de dados totalmente gerenciado

Aumente a produtividade automatizando tarefas demoradas, como gerenciamento de alta disponibilidade, aplicação de patches, atualizações e backup com um serviço de banco de dados totalmente gerenciado. Acelere o desenvolvimento de aplicações, provisionando recursos instantaneamente.

Projetado, gerenciado e suportado pela equipe de engenharia do MySQL

Os desenvolvedores podem fornecer aplicações de banco de dados nativas de nuvem modernas com acesso imediato aos recursos mais recentes da equipe MySQL. Os patches de segurança do MySQL são aplicados automaticamente para limitar a exposição a vulnerabilidades de segurança. O MySQL HeatWave é 100% compatível com o MySQL on-premises para uma transição perfeita para a nuvem sem alterações nas aplicações.

Console interativo do MySQL HeatWave: Gerencie recursos, execute consultas e monitore o desempenho

Desenvolvedores e DBAs podem criar e gerenciar facilmente os nós do MySQL Database e do HeatWave. No console, eles podem acessar os recursos do MySQL Autopilot, como provisionamento automático, para determinar a configuração ideal do cluster do HeatWave. Eles podem visualizar e administrar as tabelas carregadas no MySQL HeatWave, bem como construir e executar consultas rapidamente.

O console também permite que desenvolvedores e DBAs monitorem o desempenho do nó do MySQL Database e do cluster do HeatWave. Eles podem monitorar o uso de vários recursos de hardware e diversas métricas de execução de consultas.

OCI Database Management para MySQL HeatWave

O OCI Database Management ajuda a evitar interrupções nos aplicativos, fornecendo capacidades de diagnóstico que ajudam a garantir a resolução rápida de gargalos de desempenho. O serviço pode ser usado para detectar e identificar proativamente a causa raiz dos problemas de desempenho do MySQL HeatWave.

Segurança avançada

Recursos avançados de segurança permitem que os clientes implementem medidas de segurança adicionais para proteger os dados ao longo do seu ciclo de vida e ajudar a cumprir os requisitos regulamentares.

Criptografia assimétrica com geração de chaves e assinaturas digitais

A criptografia assimétrica do lado do servidor permite que desenvolvedores e DBAs aumentem a proteção de dados confidenciais usando chaves públicas e privadas. Eles também podem implementar assinaturas digitais para confirmar a identidade das pessoas que assinam documentos. Os desenvolvedores podem criptografar dados sem modificar as aplicações atuais. Eles obtêm as ferramentas necessárias para criptografia, geração de chaves e assinaturas digitais.

Oculte seus dados

O mascaramento e desidentificação de dados oculta e substitui valores de dados reais (mascaramento seletivo, substituição de dados aleatórios, desfoque e outras funções estão disponíveis). Com o mascaramento e desidentificação de dados no MySQL HeatWave, os clientes reduzem o risco de violação ao ocultar dados confidenciais, que podem ser usados em sistemas de não produção, como ambientes de desenvolvimento e teste. Essas funções de mascaramento de dados estão disponíveis quando as consultas são executadas no nó do MySQL Database ou no cluster do HeatWave.

Bloqueie atividades não autorizadas nos bancos de dados

O firewall do banco de dados MySQL HeatWave monitora as ameaças ao banco de dados, cria automaticamente uma lista de permissões de instruções SQL aprovadas e bloqueia atividades não autorizadas no banco de dados. Ele fornece proteção em tempo real contra ataques específicos a banco de dados, como injeções de SQL.