2024年10月17日,去中心化存储协议Walrus通过官方推特宣布推出公共测试网。这款专为区块链应用和自主代理设计的协议目前已发布开发者预览版,旨在收集用户反馈。值得注意的是,Walrus协议在经济高效的Blob存储方面具有显著优势,同时保证了高可用性和稳健性。
目前已有实际应用案例,知名区块链媒体「Decrypt」正使用Walrus存储新闻文章、视频和图片等数字内容,以此建立加密媒体公司防篡改的内容库,增强出版物与读者之间的信任关系。本文将深入解析Walrus的技术架构、运作机制以及WAL代币经济模型。
参考资料:
https://x.com/WalrusProtocol
https://decrypt.co/249996/decrypt-media-articles-and-videos-to-be-stored-on-sui-protocol-walrus
Walrus项目背景
作为Sui公链生态的去中心化存储解决方案,Walrus由Mysten Labs开发团队主导开发。该团队核心成员均来自已解散的Facebook区块链项目Liber(后更名为Diem并出售给Silvergate),在技术实现上采用了专为Liber项目开发的新编程语言「Move」。
区别于主流基于IPFS的存储项目,Walrus专门针对大型数据文件存储需求而设计,能够高效存储并提供视频、图像和PDF等多媒体内容。其独特的存储架构具有弹性扩展、可编程等特点,即使在出现拜占庭故障的情况下也能确保服务的高可用性和可靠性。
开发团队Mysten Lab
Mysten Labs汇聚了分布式系统、编程语言和密码学领域的顶尖专家,其创始人团队包括Meta旗下Novi Research的前高管以及Diem区块链和Move编程语言的首席架构师。该团队致力于为web3生态系统构建基础设施。
投融资情况
成立于2021年的Mysten Labs在短短两年内就完成了多轮融资:A轮融资3600万美元,B轮融资规模更是达到3亿美元,成功吸引了硅谷知名风投a16z(Andreessen Horowitz)的投资。其他投资方还包括Binance Labs、Coinbase Ventures、FTX Ventures等超过20家机构,为项目发展提供了充足的资金保障。
图片源 icodrop
去中心化存储协议概览
当前去中心化存储协议主要分为完全复制系统和Reed-Solomon(RS)编码系统两大类型。
完全复制系统以Filecoin和Arweave为代表,虽然便于数据访问和迁移,但存在存储开销大和潜在Sybil攻击等安全风险。为实现高安全性,这类系统往往需要25倍的存储开销,其可靠性高度依赖于所选存储节点的稳定性。
RS编码系统则通过将文件分割成数据分片(Shard)的方式显著降低复制需求,在1/3恶意节点存在的情况下仅需约3倍存储开销即可保证安全性。但这种方案也存在计算成本高、扩展性受限等问题,特别是在存储节点离线需要替换时,需要现有节点传输大量数据给替代节点,造成网络资源的大量消耗。
无论采用何种协议,去中心化存储系统都面临着数据保留和节点协调的挑战,这些因素制约着系统的扩展性。为此,许多系统除了实现存储协议外,还开发了专门的区块链来处理交易和加密货币操作,以提高整体效率和功能性。
图源 Messari
Walrus运作机制
如前所述,Walrus创新性地针对大型多媒体文件存储需求,融合两种去中心化存储类型的优势,通过新编程语言Move、新编程协议Red Stuff与Sui区块链的结合,开创了第三类blob去中心化存储解决方案。
Walrus系统能够扩展到数百个存储节点,以极低的存储开销实现高弹性。不同于传统方案需要构建完整的区块链协议,Walrus巧妙地利用现有Sui区块链作为控制平面,管理存储节点生命周期、blob生命周期以及经济激励机制等关键功能。这种设计既简化了系统架构,又充分利用了Sui区块链的现有功能。
图源 Walrus白皮书
底层架构
Walrus架构采用基于快速线性喷泉码的先进错误校正技术,增强了对拜占庭故障的抵抗力,能够适应动态变化的存储节点集。系统将核心功能简化,通过Sui智能合约来管理存储节点和blob认证。
在数据流处理方面,客户端负责协调数据流,发布者对数据进行编码后安全存储。元数据和可用性证明存储在Sui区块链上,利用Move语言实现与Sui的可组合性和安全性。存储容量可被代币化,实现与Sui应用程序的无缝整合。Walrus还支持Solana和以太坊等其他区块链,数据访问通过聚合器从存储节点收集,并通过CDN或缓存传送。
核心技术组件
Blob(二进制大对象)作为不可变对象,代表了相当于文件的原始数据。这种存储方案专为云端存储设计,主要用于存放图像、文件、视频等非结构化数据。
新编程协议Red Stuff是Walrus的核心技术,这是一种基于喷泉码(fountain codes)的新型二维编码算法。与RS编码不同,喷泉码主要依赖XOR运算,简化了复杂的数学运算过程。XOR(异或)逻辑运算符类似于”负负得正”的概念,当两个运算元数值相同时输出false,不同时输出true。
在编码理论中,喷泉码是一类擦除码,基于图点线性纠删编码技术,能显著提升现有纠错方案的误包率性能,目前典型的喷泉码包括LT码和Raptor码。
纠删编码的工作原理可以简单理解为:假设有K个原始数据,经过编码产生n个数据(n>K)。在传输过程中无论数据如何丢失,只要接收到的数据K’≥K,就能完整重建原始数据K。
图片引用自:Figure 1 – uploaded by Luigi Rizzo
存储与检索机制
Walrus支持blob的写入和读取操作,并允许任何人证明blob已被存储且可供后续检索。
写入过程结合了区块链技术和分布式存储:写入者使用Red Stuff算法编码blob,在区块链上注册并获取存储空间,将分片分发给存储节点,最后将写入证书发布在区块链上确认blob可用性。这一过程确保了数据的分布式存储和可靠性。
读取过程中,用户可向任意存储节点请求blob的承诺和主要分片。收集足够有效证明后重建并验证blob。Red Stuff特性确保了一致性读取,在无故障情况下只需下载略大于原始blob大小的数据。对于高频访问场景,系统提供激励机制确保读取效率。此外,通过聚合器和缓存可减少频繁访问blob的重建次数,提升整体性能。
成本优化与非同步存储
Walrus认为传统完全复制和RS编码方案虽然能实现低开销高保证,但不适合长期大规模部署。主要原因在于长期运行中,存储节点经常会出现故障、丢失片段或离线交替,导致需要传输大量数据恢复分片,付出昂贵成本。
为此,Walrus提出数据恢复成本应与实际需要恢复的数据量成正比,并随网络节点数量增加而减少。Red Stuff采用二维编码技术(XOR逻辑)将数据分片分布在存储节点中,实现更高效的丢失数据片段恢复,无需下载整个blob。
(截图&翻译自 Walrus白皮书)
通过先进纠错编码,Walrus将存储成本控制在Blob大小的约五倍,编码数据分散存储在不同节点上,实现非同步资料的完整存储。相比传统完整复制方法更具成本效益,与仅将blob存储在节点子集上的协议相比,对故障的稳健性更强。
(截图&翻译自 Walrus白皮书)
灵活的访问方式
用户可通过命令行界面(CLI)、软件开发工具包(SDK)和web2 HTTP技术与Walrus交互。系统设计兼容传统缓存和内容分发网络(CDN),同时确保所有操作也可使用本地工具运行,最大化实现去中心化。
代币经济与激励机制
Walrus的经济模型与典型区块链不同,它利用Sui区块链作为控制平面,继承了其共识安全性。系统采用委托权益证明(DPoS)机制,权益持有者将权益委托给候选存储节点。DPoS系统使用WAL代币进行治理和质押,激励网络有效运作,存储节点必须质押WAL才能参与网络。
为防止”公地悲剧”,Walrus设计了基于质押的经济模型,通过奖励和惩罚来调整激励机制并强制长期承诺。系统包括存储资源和写入操作的定价机制,辅以代币治理模型进行参数调整。
WAL代币质押与治理
Walrus的代币经济学围绕WAL代币展开,存储节点或其代表质押WAL代币构成系统安全基础。良好行为获得奖励,不良行为面临惩罚。质押机制包含四个核心组件:质押和数据分片分配、解除质押过程、奖惩累积、为自托管对象所需的调整。
系统设有内置委托质押层,让所有用户都能参与网络安全。节点通过竞争吸引用户质押,这决定了分片分配。用户可根据节点声誉、质押资本和佣金率等因素选择质押节点。每个周期变更时,质押状态被锁定,数据分片按节点质押比例分配给下一周期节点。
在佣金率方面,Walrus要求存储提供者必须在每个周期截止点前设定固定佣金率,为质押者提供透明度和可预测性。若节点决定下个周期提高佣金率,质押者有足够时间在新费率生效前解除质押。
质押采用类似Sui的自托管对象实施,用户质押资金被包装成自己的持有对象而非直接转移给系统。虽然降低系统漏洞风险,但也带来操作挑战。Walrus可追踪未偿还惩罚,用户收回WAL代币时必须提供对象给智能合约解锁,未偿还惩罚会被评估到质押上。
分片迁移机制
当系统需要平衡节点存储负载或节点状态发生变化时,会触发分片迁移,在不同节点间重新分配数据分片。该机制包含三个过程:
1. 分配算法:周期结束前运行算法决定下个周期分片分配,基于节点质押量等因素。
2. 合作路径:节点间协调合作转移分片。
3. 恢复路径:若合作转移失败,系统启动恢复机制,可能惩罚未完成转移的节点。
这一机制确保网络动态平衡和安全性,使系统能适应节点变化并防范潜在攻击。
存储写入定价
Walrus的定价机制让节点在竞争中提供低价服务同时获得适当报酬。固定价格和预付款模式为系统提供稳定性,减少价格波动风险。
每个纪元(epoch)开始前,存储节点对存储和写入价格进行投票,系统选择第66.67百分位(按质押权重)的价格作为最终价格。用户注册blob时支付写入价格,购买时支付存储费用,这些费用在纪元结束时分配给相关节点,确保价格公平性和系统稳定运作。
WAL代币治理
Walrus治理主要通过WAL代币调整系统参数,包括与分片恢复和数据挑战相关的成本。每个纪元的质押截止点前,任何节点都可提出参数调整提案。节点按总质押量(含委托质押)进行投票,获得超过50%投票且达到法定人数的提案将在下个纪元实施。
激励机制设计
存储挑战机制通过定期随机挑战验证存储节点是否确实保存了声称的数据。节点需提供所选blob的证明。表现良好(获得50%及以上正面报告)的节点视为履行职责,表现不佳者将面临质押代币被削减等惩罚。
读取奖励方面,Walrus提供三种激励方案:
1. 节点服务模型:用户与存储节点签订付费读取合约;
2. 链上悬赏:读取失败时用户发布悬赏,存储节点通过提供数据赚取;
3. 轻节点采样:引入轻节点作为额外参与者,提供Layer 2去中心化安全保障。
这些方案在确保系统可用性和效率的同时,保持了去中心化特性。
总结与展望
Walrus作为创新的去中心化数据存储系统,通过二维编码技术和委托权益证明机制的结合,为用户提供了高效、安全且经济的数据存储解决方案。系统设计实现了高效数据恢复和低成本存储,灵活的访问方式和强大的激励机制保障了网络稳定性。
从投资角度看,Walrus在快速发展的去中心化存储市场中占据独特位置,不仅解决了传统中心化存储问题,在效率和成本方面也具备显著优势。但作为新兴项目,其长期成功仍取决于实际应用中的采用率。
总体而言,Walrus代表了区块链技术在数据存储领域的重要突破,展现了去中心化存储的未来发展方向。然而投资者仍需全面评估风险,密切关注项目发展轨迹和市场反应,做出审慎决策。
作者: Deniz
译者: Sonia
审校: Edward、Piccolo、Elisa
* 投资有风险,入市须谨慎。本文不作为 Gate 提供的投资理财建议或其他任何类型的建议。
* 在未提及 Gate 的情况下,复制、传播或抄袭本文将违反《版权法》,Gate 有权追究其法律责任。
声明:文章不代表CHAINTT观点及立场,不构成本平台任何投资建议。投资决策需建立在独立思考之上,本文内容仅供参考,风险 自担!转载请注明出处:https://www.chaintt.cn/16496.html