Abandonei o Inferno RPC de Vez: O Seu Manual Completo de Parquet do Génesis à Ponta para uma Velocidade Relâmpago…

Abandonei o Inferno de RPC para Sempre: O Seu Manual Completo de Parquet Genesis-to-Tip para Análise On-Chain Ultrarrápida

(Sem Mais Limites de Taxa, Sem Mais Contas Mensais de $500)

Olá, sou Mike Kuykendall — mais de 20 anos como engenheiro de software, ex-Sargento da USAF, pai de dois filhos e agora o responsável pela Delta Zero Labs (@_MikeKuykendall no X).

Durante anos vivi a vida de RPC. Quer todas as transferências ERC20 de uma carteira whale desde 2020? Ative um script que faz loops de eth_getLogs com intervalos de 10.000 blocos, lide com limites de taxa, tente novamente em 429s, pagine, elimine duplicatas, descodifique o ABI você mesmo, armazene em algum lugar… repita o processo para trocas DEX, ticks de oráculos, liquidações.

Um projeto de fim de semana transformou-se numa conta de $400/mês da Alchemy e num nó de arquivo de 14 TB a consumir o meu SSD. Jurei que tinha de haver uma forma melhor.

Existe.

Construí (e agora vendo) conjuntos de dados Parquet de nível de produção, totalmente descodificados, genesis-to-tip para Ethereum mainnet, BSC e Sepolia. Um download. Um ficheiro (ou conjunto particionado limpo). Zero RPCs para sempre. Consulte 7,77 mil milhões de eventos BSC ou 334 milhões de eventos Sepolia em segundos no seu laptop com DuckDB ou Polars.

Isto não é mais um indexador ou subgrafo. Estes são os dados on-chain que você próprio teria extraído — mas já feitos, descodificados, classificados por signal_type, comprimidos e prontos para possuir para sempre.

Nesta publicação estou a dar-lhe o passo a passo exato que gostaria de ter tido há dois anos. No final saberá exatamente como:

• Obter a amostra gratuita de 10 mil linhas
• Carregá-la localmente
• Responder a qualquer pergunta para a qual costumava usar RPCs
• Escalar para a fera completa de vários milhares de milhões de linhas

Vamos acabar com o imposto de RPC juntos.

Por Que os RPCs Falham no Trabalho Histórico Real

Verificação rápida da realidade (já sabe isto, mas vamos quantificar a dor):

• O intervalo máximo de eth_getLogs é geralmente de 10 mil a 50 mil blocos em fornecedores pagos.
• Mainnet completa = ~22 milhões de blocos hoje.
• Uma verificação completa de todos os eventos de transferência? Espere 200-500 chamadas de API, horas de espera e contas surpresa de $87.
• Quer backtesting de MEV através de 3 anos de Uniswap V3? Boa sorte.
• Limites de taxa, custos de nó de arquivo, desvio de dados quando os fornecedores mudam esquemas… pesadelo.

Cansei-me disso. Então escrevi um motor de extração zero-RPC (Fused Semantic Execution pendente de patente — FSE). Lê dados on-chain brutos uma vez, descodifica cada evento em colunas limpas, marca-o com signal_type e despeja diretamente no Parquet.

Resultado? Conjuntos de dados como:

• Ethereum Mainnet (oráculos Chainlink + fluxos WETH + núcleo DEX completo): ~358 milhões de sinais, genesis → tip, ~16 GB comprimidos. Licença vitalícia $999 (25% de desconto nos primeiros 1.000 compradores).
• BSC (7,77 mil milhões de eventos descodificados — PancakeSwap, Aave, Chainlink, Wormhole, tudo): genesis → bloco 82M+. Compra única no intervalo de $999–$9.999 dependendo do subconjunto.
• Arquivo completo de Sepolia (334M+ eventos, todas as categorias): ~12,3 GB Parquet único.

Tudo entregue como Parquet. Colunar, incrivelmente comprimido (5-10× menor que CSV), pronto para predicate pushdown, funciona com todas as ferramentas de dados modernas.

O Que Está Realmente Dentro do Parquet (O Esquema de 19 Colunas em Que Pode Confiar)

Cada linha é um evento descodificado. Aqui estão as colunas principais que usará todos os dias (especificação completa de 19 colunas está nos documentos de download):

• block_number (int64)
• block_hash (string)
• timestamp (int64 — segundos Unix)
• tx_hash (string)
• tx_index (int32)
• from_address (string)
• to_address (string)
• contract_address (string — o contrato do token ou protocolo)
• signal_type (string — por exemplo, ERC20_Transfer, UniswapV3_Swap, Chainlink_PriceUpdate, AaveV3_Liquidation, WETH_Deposit, DAO_Vote, etc.)
• value / amount / amount0 / amount1 (decimal ou int256 normalizado)
• price (para oráculos)
• log_index, topic0–topic3, campos de dados brutos para utilizadores avançados
• Mais parâmetros descodificados específicos de cada signal_type (endereço de pool, tick, sqrtPriceX96, etc. para trocas DEX)

Uma linha = um registo cristalino, pronto para análise. Nunca mais terá de descodificar ABI no seu código.

Passo a Passo: Do Zero à Consulta de 300M+ Linhas em Menos de 5 Minutos

Passo 1: Obter a Amostra Gratuita (Sem E-mail, Sem Inscrição)

Aceda à amostra oficial:

https://huggingface.co/datasets/MikeKuykendall/ethereum-signals-sample

Ou espelho Kaggle: https://www.kaggle.com/datasets/mikekuykendall/ethereum-onchain-signals

Descarregue o ficheiro Parquet (~5–10 MB, 10.000 linhas estratificadas cobrindo todos os signal_type).

Passo 2: Instalar as Ferramentas (Demora 60 Segundos)

Recomendo DuckDB — é mágico para isto.

pip install duckdb pandas pyarrow
# ou apenas brew install duckdb no Mac

Passo 3: Carregar e Explorar (Copie e Cole Estes)

Abra um notebook Jupyter ou apenas o DuckDB CLI.

Python + Pandas (para pequena exploração)

import pandas as pd

df = pd.read_parquet("ethereum_signals_sample.parquet")
print(df.shape) # (10000, 19)
print(df['signal_type'].value_counts())
print(df.head())

DuckDB SQL (aqui é onde a magia acontece — zero memória para ficheiros enormes)

-- Iniciar DuckDB
duckdb

-- Anexar a amostra
SELECT * FROM read_parquet('ethereum_signals_sample.parquet') LIMIT 10;

Passo 4: Perguntas Reais Que Pode Responder Instantaneamente

"Quantas transferências ERC20 este endereço fez?"

SQL

SELECT COUNT(*) as transfers,
SUM(amount) as total_volume
FROM read_parquet('your_full_dataset.parquet')
WHERE from_address = '0x1234...'
OR to_address = '0x1234...'
AND signal_type = 'ERC20_Transfer';

"Top 10 tokens por contagem de transferências em 2024"

SQL

SELECT contract_address,
COUNT(*) as tx_count
FROM read_parquet('your_full_dataset.parquet')
WHERE signal_type = 'ERC20_Transfer'
AND timestamp >= 1704067200 -- 1 de jan. de 2024
AND timestamp < 1735689600 -- 1 de jan. de 2025
GROUP BY contract_address
ORDER BY tx_count DESC
LIMIT 10;

"Todas as trocas Uniswap V3 para um pool específico, com impacto de preço"

SQL

SELECT timestamp,
amount0,
amount1,
sqrtPriceX96,
(amount1::double / NULLIF(amount0,0)) as price_impact
FROM read_parquet('full_dataset.parquet')
WHERE signal_type = 'UniswapV3_Swap'
AND contract_address = '0x88e6a0c2ddd26feeb64f039a2c41296fcb3f5640' -- USDC/ETH 0.05%
ORDER BY block_number DESC
LIMIT 1000;

"Ticks de preço Chainlink para ETH/USD ao longo do tempo" (perfeito para backtesting)

SQL

SELECT
date_trunc('day', to_timestamp(timestamp)) as day,
AVG(price) as avg_eth_price
FROM read_parquet('full_dataset.parquet')
WHERE signal_type = 'Chainlink_PriceUpdate'
AND contract_address = '0x5f4eC3Df9cbd43714FE2740f5E3616155c5b8419' -- ETH/USD
GROUP BY day
ORDER BY day;

Dica profissional: DuckDB também pode ler pastas particionadas:

SQL

SELECT COUNT(*) FROM read_parquet('mainnet_parquets/*.parquet');

Usa automaticamente predicate pushdown — filtrar por block_number ou signal_type ignora 99% dos dados no disco. Consultará milhares de milhões de linhas mais rapidamente do que a maioria das pessoas consegue fazer scroll no Twitter.

Passo 5: Ir para o Conjunto de Dados Completo

1. Compre a sua licença em https://deltazerolabs.dev (pacotes mainnet, BSC ou Sepolia).
2. Link de download instantâneo + chave de re-download vitalícia.
3. Descompacte (se necessário) → aponte as suas consultas para o(s) Parquet(s).
4. Pronto. Sem conta mensal nunca mais.

Nota de armazenamento: O conjunto completo de BSC é grande mas comprimível e funciona bem numa máquina com 64 GB de RAM. Para fluxos de trabalho maiores, basta criar uma caixa Hetzner barata com 128 GB de RAM e o DuckDB ainda supera os armazéns na nuvem em custo.

Vitórias do Mundo Real Que os Meus Compradores Estão a Obter

• Pesquisadores de MEV a fazer backtesting de lógica de roteamento através de 4 anos de dados DEX em <2 minutos.
• Equipas de compliance a rastrear todas as transferências de NFT de uma coleção sem Etherscan com limite de taxa.
• Fundos quantitativos a construir pontuações de saúde de carteira a partir do fluxo completo de WETH + histórico de liquidação.
• Investigadores a escrever artigos com consultas reprodutíveis (basta partilhar o SQL + versão do conjunto de dados).

Um comprador disse-me: "Cancelei o meu plano de RPC de $1.200/mês no mesmo dia em que o conjunto de dados chegou."

Tabela de Comparação (Porque Adora Estas)

AbordagemCustoVelocidade para Histórico de 3 anosManutenção PropriedadeLoops RPC brutos$200–2000/mêsHoras–diasConstanteVocê reconstrói Subgrafos/The GraphGrátis–pagoRápido mas incompletoRisco do fornecedorNãoCryo auto-extraçãoSeu tempo + nóDias para extrairContínuaSimDelta Zero ParquetÚnico $999+SegundosZeroPara sempre

Pronto para Acabar com a Sua Conta de RPC?

1. Descarregue a amostra gratuita agora: https://huggingface.co/datasets/MikeKuykendall/ethereum-signals-sample
2. Execute as consultas acima. Sinta a velocidade.
3. Quando estiver pronto para a fera completa genesis-to-tip (mainnet, BSC ou Sepolia), vá a https://deltazerolabs.dev/bsc e obtenha a sua licença vitalícia.

Os primeiros 1.000 compradores na mainnet/BSC obtêm 25% de desconto com o código EARLY25 no checkout.

Perguntas? Envie-me DM no X @_MikeKuykendall ou junte-se ao canal Telegram ligado no site. Respondo a todas — esta é uma operação solo detida por veterano e realmente importo-me que vença com os dados.

Deixe de pagar renda por dados que deveriam ser seus.

Descarregue a amostra. Execute as consultas. Depois nunca mais chame outro eth_getLogs.

Vemo-nos on-chain (offline).

— Mike Kuykendall Delta Zero Labs P.S. O próximo lançamento de chain está para breve. Quer acesso antecipado + tipos de sinal personalizados? Envie-me DM.

I Ditched RPC Hell for Good: Your Complete Genesis-to-Tip Parquet Handbook for Lightning-Fast… foi originalmente publicado em Coinmonks no Medium, onde as pessoas continuam a conversa destacando e respondendo a esta história.