在科技发展日新月异的今天,大模型以其惊人的普及速度成为全球瞩目的焦点,而曾经炙手可热的Web3技术却面临着法律层面的诸多挑战。值得注意的是,这两种技术本质迥异,绝非简单的替代关系。万物岛”AI+Crypto Studio”主理人田鸿飞老师将带领我们深入探讨大模型发展中的瓶颈问题,以及Web3企业如何为这些问题提供创新解决方案。
大模型行业困境与Web3的破局之道
自2015年以来,互联网行业逐渐形成寡头垄断格局,各国政府纷纷对平台型企业展开反垄断调查。大模型技术的兴起进一步强化了这种垄断态势。大模型的核心要素包括算法、算力和数据三大方面:算法领域虽存在垄断现象,但得益于开源社区的蓬勃发展和学术界的持续研究,仍保持着相对开放的状态;算力方面则因高昂的训练成本而成为大企业的专属领地;数据方面虽然目前主要依赖公开数据,但随着模型参数的不断增长,公开数据资源即将枯竭,私有数据将成为关键资源,而这些数据分散在各个中小企业手中,难以有效整合利用。
这种局面导致大模型时代的中心化程度远超以往,未来世界很可能被少数几台超级计算机所掌控。即便在标榜去中心化的Web3世界,以太坊创始人Vitalik提出的”终局方案”也设想由一台巨型出块机来运行整个网络。
OpenAI公司仅用20余人的核心团队就开发出了改变世界的ChatGPT。这个未开源的模型从非盈利性质转向有限盈利模式后,其每一次算法调整都可能对人类社会产生深远影响。相较于Google”不作恶”的信条,ChatGPT的影响力更为深入和广泛。因此,模型的计算可信性将成为至关重要的议题。
当前大模型行业还面临着算力短缺、训练数据即将耗尽以及模型共享等挑战。据统计,2021年前AI行业的主要瓶颈是数据匮乏,而大模型时代则转为算力不足。在大模型开发的各个阶段,从数据收集、预处理到模型训练、微调和部署推理,区块链技术都能发挥重要作用,有效缓解中心化带来的风险。

算力短缺的破局之道
作为大模型的核心生产要素,算力已成为最昂贵的资源。初创企业不得不将大部分融资用于购买NVIDIA的GPU,大型公司则需投入至少5000万美元自建数据中心。大模型对算力的需求呈指数级增长,2012至2018年间增长了惊人的30万倍,计算成本每年增加31倍。对中国企业而言,还面临美国高端GPU禁运的额外挑战。
区块链技术为解决算力问题提供了新思路。大模型生产主要分为训练、微调和推理三个阶段,其中80%的算力消耗在推理计算上。虽然训练过程需要GPU间的高速通信,但推理计算可在单个GPU上完成。借鉴加州伯克利大学SETI项目和网格计算的经验,区块链可以通过代币激励实现闲置计算资源的共享利用。
去中心化云计算项目Akash已建立通用计算网络,支持机器学习模型的推理计算。Bittensor、Modulus Lab等项目也专注于区块链与AI的结合。Gensyn和Together等平台则致力于构建去中心化的大模型训练网络。当然,这种模式仍需解决网络延迟、计算同步、激励机制设计等诸多技术挑战。

数据瓶颈与质量提升
大模型的核心算法RLHF需要人工参与微调训练,OpenAI曾以每小时2美元的薪酬雇佣肯尼亚劳工进行数据标注。DePINs行业通过代币激励收集各类实时数据,如React收集能源数据、DIMO收集车辆数据等,这些都为提升模型精度提供了支持。
随着公开数据即将耗尽,私有数据将成为关键资源。这些数据分散在各处且涉及隐私,形成了大模型需要数据但数据所有者不愿共享的困境。区块链技术可以通过将模型下载到数据端执行,或对数据进行脱敏处理后上传等方式解决这一难题,但需要建立有效的防作弊机制。
模型协作的创新实践
Civitai社区作为全球最大的AI绘画模型分享平台,展示了模型共享的潜力。Bittensor项目设计了代币激励的协作机制,支持模型间的知识蒸馏。Autonolas网络则实现了Agent间的共识协作框架。不过,分布式训练的可靠性和效率仍是亟待解决的难题。

大模型与Web3的融合创新
两者的结合催生了许多创新应用:艺术家利用ChatGPT编写智能合约发行代币;加密支付赋能智能助理完成更复杂的任务;zkML技术为模型可信计算和隐私保护提供解决方案。基于BEC架构的方案则设想每个人拥有自己的边缘节点,存储个人数据并运行个性化AI代理,实现真正的去中心化。


行业发展的深层思考
互联网平台日益强大的趋势下,大模型并未改变垄断格局。算法、数据和算力仍被大企业掌控,创业公司只能专注于垂直应用。如果大模型渗透到生活的方方面面,少数人通过调整参数就能影响无数人的生活,这种权力集中带来的风险不容忽视。
大模型与区块链在价值观上存在根本冲突。区块链从业者需要积极参与大模型创新,用去中心化技术解决行业问题。既然大模型训练依赖全人类共享的知识资源,那么其成果理应属于全人类。正如OpenAI开始为文献数据库付费一样,未来它也应该为每个贡献个人数据的个体支付合理报酬。
声明:文章不代表CHAINTT观点及立场,不构成本平台任何投资建议。投资决策需建立在独立思考之上,本文内容仅供参考,风险 自担!转载请注明出处:https://www.chaintt.cn/11471.html