Kernel Ventures：深度解析DA与历史数据层设计的关键技术与应用

区块链技术发展至今，早期公链要求全网节点保持数据一致性的设计理念正面临新的挑战。随着生态规模不断扩大，存储压力持续攀升，节点运营呈现中心化趋势，这使得Layer1亟待解决TPS增长带来的存储成本问题。开发者们需要在安全性、存储成本、数据读取速度和DA层通用性之间找到平衡点，探索创新的历史数据存储方案。

当前行业涌现出众多技术解决方案，包括分片技术(Sharding)、数据可用性采样(DAS)、Verkle树以及DA中间组件等创新思路。这些技术从减少数据冗余和提高校验效率等不同角度，为优化DA层存储提供了多元化路径。从存储位置来看，现有方案主要分为主链DA和第三方DA两大类：主链DA通过定期清理数据或分片存储来减轻节点压力；第三方DA则专注于为存储服务提供规模化解决方案，在单链与多链兼容性之间寻求平衡，发展出主链专用DA、模块化DA和存储公链DA三种主要模式。

不同类型的公链需要匹配不同的存储方案。支付型公链对历史数据安全性要求极高，适合采用主链DA层方案；而运行时间较长、矿工网络规模庞大的公链，则更适合采用不涉及共识层又能兼顾安全性的第三方DA。综合性公链往往需要容量更大、成本更低且安全的主链专用DA存储，但若考虑跨链需求，模块化DA也不失为明智之选。总体而言，区块链技术正朝着减少数据冗余和多链专业化分工的方向持续演进。

1. 背景

作为分布式账本，区块链需要在所有节点上存储完整历史数据以确保安全性和去中心化特性。由于每笔交易的正确性都依赖于前序状态，理论上区块链应当保存从创世区块至今的所有交易记录。以以太坊为例，即使按每个区块平均20KB计算，当前区块总大小已达370GB，若加上状态和交易收据，全节点存储总量超过1TB，这导致节点运营日益集中于少数专业参与者。

2. DA性能指标

2.1 安全性

区块链的不可篡改性源于通过历史数据校验新数据的能力，因此确保历史数据安全是DA层设计的首要考量。评估区块链数据安全性主要从数据冗余数量和可用性校验方式两个维度展开。

数据冗余方面，节点存储的副本越多，验证时可参考的样本就越丰富，数据可信度和抗丢失能力也越强。但冗余并非越多越好，需要在安全性和存储效率间取得平衡。传统数据库因单点存储易受攻击，而Web2游戏服务器一旦关闭就会彻底停服，都凸显了分布式存储的价值。

数据校验方面，现代区块链普遍采用密码学承诺算法。全网记录精简的密码学承诺，验证时通过还原承诺来确认数据真实性。Merkle Root和Verkle Root是两种常用算法，优秀的验证算法能用极少校验数据快速完成验证。

2.2 存储成本

确保基本安全性后，降低存储成本成为DA层的核心目标。当前主要采用分片技术和激励存储机制来减少冗余备份，但这些改进往往与安全性形成博弈关系。优秀的设计需要在两者间找到平衡点。此外，作为独立公链的DA层还需优化数据交换路径，减少中间环节产生的索引数据。存储成本直接影响数据持久性，通常成本越高，持久化存储越困难。

2.3 数据读取速度

数据调用效率取决于存储位置、索引路径和节点分布。内存存储比SSD快数十倍，但容量有限且易丢失。主流区块链采用Leveldb数据库，其中Memtable和Immutable Memtable存储在内存，适合快速读取；持久化数据则以SST文件存入SSD，调用时需先加载到内存。分片系统还需从多个节点收集数据块进行重组，进一步影响读取速度。

2.4 DA层通用性

随着DeFi发展和CEX问题频发，去中心化跨链交易需求激增。无论是哈希锁定、公证人还是中继链机制，都需要同时确认两条链的历史数据。新兴解决方案将多条链数据存储在统一的可信公链上，通过标准化通信协议实现跨链验证，这对DA层的多链兼容性提出了更高要求。

3. DA相关技术探索

3.1 分片技术(Sharding)

传统分布式系统将文件分块存储在多个节点，通常保留2份备份。区块链分片方案在此基础上改进：因节点不可信，需要更多备份（理想情况下为总节点数T/分片数N）；存储分配上，每个节点必然存储一个随机数据块，通过哈希取余确定具体位置。这种设计使单个节点存储量降至原始数据的1/N，通过调整N值可平衡TPS增长与存储压力。

3.2 数据可用性采样(DAS)

DAS在分片基础上进一步优化，通过Erasure code和KZG多项式承诺解决数据丢失和验证问题。Erasure code先将原始数据映射到n阶多项式，取2n个采样点供节点随机存储，只需n+1个点即可还原，大幅提升容错能力。KZG承诺则支持直接验证多项式形式的数据块，省去二进制还原步骤，仅需KZG Root即可快速验证。

3.3 DA层数据校验

主流校验方案采用树状结构，Merkle Tree通过完全二叉树记录数据，验证时间复杂度为O(logN)。Verkle Tree引入向量承诺，使验证次数固定为常数，极大提升速度但增加写入成本。由于历史数据只需读取不需修改，Verkle Tree特别适合此类场景。两种树结构都有K叉变体，通过调整子节点数量优化性能。

3.4 通用DA中间件

随着公链数量激增和跨链需求增长，支持多链数据存储的DA层备受关注。基于Arweave的kvye等中间件通过标准化协议，将各链数据统一存储。专用Layer2 DA通过共享节点实现链间交互，虽提升安全性但适用性有限。通用中间件需要建立安全的数据流标准和验证协议，以支持日益复杂的跨链生态。

4. DA层存储方案

4.1 主链DA

4.1.1 类DankSharding方案

以太坊DankSharding是此类方案的代表，结合分片和DAS技术：先将数据分片，节点随机存储部分数据块；使用Erasure Code编码确保50%数据即可还原；采用Verkle树和多项式承诺实现快速验证。通过增大分片数N，可将单节点存储压力降至1/N，实现整体存储空间的N倍扩容。

4.1.2 短期存储

最简单的方案是仅短期保存历史数据。如Solana主节点仅保留近两日数据，将完整历史同步到Arweave。区块链本质是公示账本，只需保存足够验证后续交易的账户状态即可。特殊需求方可以自行在其他链或第三方存储历史数据，实现按需付费的存储模式。

4.2 第三方DA

4.2.1 主链专用DA：EthStorage

主链专用DA通过与主链高度兼容来确保安全性。EthStorage作为以太坊专用DA，不仅兼容EVM，还与Remix、Hardhat等开发工具对接。其存储模式只在主网保留元数据索引，实质是为以太坊建立去中心化数据库。通过智能合约实现数据存取：put()存储(key,data)对并返回kvldx索引；get()通过key查询数据。存储验证借鉴Arweave模式：将TB级分片细分为chunk，主网保存Merkle root；矿工需提供随机chunk证明存储真实性，通过POW机制竞争奖励。

4.2.2 模块化DA：Celestia

模块化区块链将共识、执行、结算和DA功能分离，Celestia专注于DA层实现。其采用改进的Danksharding：二维RS纠删码仅需25%数据即可还原；数据实际存储在IPFS网络，节点只保留CID索引。为配合以太坊，Celestia推荐Sovereign Rollup模式，包含完整执行和结算功能，通过量子引力桥合约在主网保存Merkle Root作为验证依据。

4.2.3 存储公链DA

Solana选择直接将历史数据存入Arweave，主节点仅保留2日数据。Arweave采用创新存储证明机制：新区块需引用随机历史区块(Recall Block)参与POW计算，激励矿工存储冷门数据；WildFire评分机制优先服务数据提供快的节点，形成良性循环。这种设计实现了去中心化的永久存储，特别适合海量历史数据归档。

5. 综合对比

从安全性看，主链DA因避免跨链风险最具优势；短期存储因全网冗余更安全；主链专用DA通过共享节点提升安全性。存储成本方面，全网同步的短期存储最昂贵；分片次之；存储公链DA通过动态调节冗余量实现最优成本。读取速度上，内存存储的主链DA最快；SSD存储的存储公链DA较慢；分片系统需重组数据影响速度。通用性方面，主链DA几乎为零；主链专用DA兼容性最佳；存储公链DA凭借成熟生态更适合多链场景。

6. 总结

区块链正从单纯的Crypto向多元化Web3演进，这要求Layer1在提升TPS的同时解决存储压力。针对不同场景：支付型公链应优先考虑安全性，新链可采用类DankSharding，成熟链适合主链专用DA；综合性公链需平衡性能与成本，模块化DA和存储公链DA是理想选择。值得注意的是，比特币近期交易费激增20倍，凸显了扩容需求，社区需在安全性与性能间做出抉择。

未来区块链将呈现两大趋势：历史数据不再需要全网备份，只需达到安全阈值；公链分工日益细化，各层专注核心功能。投资者可关注：以太坊生态的主链专用DA项目；新兴公链更可能采用通用第三方DA构建跨链生态。如何确定最优冗余量、确保跨链安全交互，仍是开发者需要持续探索的方向。

Kernel Ventures是一个由研究和开发社区驱动的加密风险投资基金，拥有超过70个早期投资，专注于基础设施、中间件、dApps，尤其是ZK、Rollup、DEX、模块化区块链，以及将搭载未来数十亿加密用户的垂直领域，如账户抽象、数据可用性、可扩展性等。在过去的七年里，我们一直致力于支持世界各地的核心开发社区和大学区块链协会的发展。