Foresight Ventures: AI Blockchain=?
原文作者:yihan,
通过这篇文章你可以了解:
对基础设施建设的疯狂执着和各种?rollup?解决方案的更新迭代确实让原本落后的web3计算能力实现了突破,这也为?AI?上链提供了可能性,但你可能想说与其大费周章地实现链上?AI,直接在链下运行模型似乎也能满足大部分需求,而事实上现在几乎所有的?AI?模型都是以黑盒、中心化的模式在运行,并且同样在各个领域创造了无法替代的价值。
主流的理解是通过区块链让?AI?模型transparent verifiable
再具体一点,AI?上链意味着人工智能模型的?complete verification,也就是说一个模型需要向全网(用户或验证者)公开以下三点:
当满足以上条件时,整个模型执行的过程是具备确定性的且不再是黑盒操作,任何人都可以在链上对模型的输入和结果进行验证,从而防止模型拥有者或者相关权限人对模型进行操纵。
AI?与?blockchain?结合的意义不在于替代中心化的Web2人工智能的运作模式,而是:
想象一下web3的应用场景:
……
但是,这些应用都是通过?AI?对已有的功能在效率或者用户体验上的进一步改善。
- 有价值吗?有。
- 价值大吗?取决于产品和场景。
AI?能创在的价值从来都不仅是?99?到?100?的优化,真正让我兴奋的,是从?0?到?1?的全新应用,一些只有通过transparent verifiable的链上模型才能实现的?use case。不过这些“令人兴奋的”use case?目前主要靠想象力,没有成熟的应用,先来开几个脑洞:
1. 通过基于neural network?的决策模型做?crypto trading:?一种产品形态可能更像是?copy trading?的升级版本,甚至是一种全新的交易玩法。用户不再需要信任或调研其他?experienced trader,而是对彻底公开透明的模型以及其?performance?下注。本质上?AI?根据对?crypto?未来价格的预测更快更果断地进行交易。然而没有链上?AI?自带的“trustless autonomy”,这样的下注对象或者标准根本是不存在的。用户/者可以透明地看到模型决策的原因、过程甚至未来上涨/下跌的精确概率;
2. AI?模型作为裁判:?一种产品可能是全新形态的,通过?AI?模型对数据来源的准确性进行预测。用户不再需要信任?validator,也不必担心节点作恶,预言机提供方甚至不需要设计复杂的节点网络和奖惩机制来实现去中心化。相应地,链上?transparent verifiable?的?AI?已经足够满足验证链下?data source?置信度的任务。这种全新的产品形态在安全性、效率和成本上有机会形成碾压,去中心化的对象也由人跳跃到“trustless autonomy”的?AI?工具,无疑是更安全的。
3. 基于大模型的组织管理/运作体系:?的治理本质上应该是高效、去中心化、公平的,而现在的现状却背道而驰,松散且臃肿,缺乏透明和公平性,链上?AI?的加入能提供非常契合的解决方案,将管理模式、效率提升到最高,将管理中系统性和人性的风险无限拉低。我们甚至可以去想象一种全新的web3项目的发展和运作模式,整个框架及未来发展方向和提案几乎不依赖开发团队或者?DAO?投票的方式来进行决策,相应的,基于大模型更庞大的数据获取量和远超人的计算能力去做决策。但这一切的前提也是模型上链,没有?AI?的“trustless autonomy”就不存在去中心化世界从人到工具的跃迁。
……
小结一下
基于链上?AI?的新的产品形态基本可以总结为将去中心化和?trustless?的主体从人变为?AI?工具,这也符合传统世界生产力的进化过程,最开始是在人这个主体上下功夫,不断升级提升人效,到后面通过智能工具替代人,在安全性和效率上颠覆原有的产品设计。
其中最关键的、也是以上一切的前提,是通过区块链实现?AI?的transparent verifiable。
区块链作为一个现象级的技术创新,不可能仅仅停留在原始阶段。流量和经济模型很重要,但用户不会一直停留在追捧流量或花费大量资源做?X to earn,web3也不会因此?onboard?下一波新用户。但有一件事的确定性是很强的:web3世界生产力和价值的革命一定来自?AI?的加入。
我觉得大致分成下面三个阶段
起始:零知识证明算法和硬件的更新迭代为链上?AI?的涌现第一次提供了可能性;(我们在这)
发展:不管是?AI?对已有应用的提升还是基于?AI blockchain?的全新产品,都在将整个行业向前推进;
终局:AI blockchain?的最终走向是什么?
上面的讨论都是通过?AI?与区块链的结合?bottom up?地发掘应用场景,换个思路?top down?地看待?AI blockchain,AI?会不会重溯区块链本身?
AI blockchain=自适应的区块链
一些会率先融合链上?AI,从公链的层面转变为一种自适应的,自身发展方向不再依赖项目基金会决策而是基于庞大数据进行决策、自动化水平远超传统区块链的形态,从而从当前多链繁荣的格局中脱颖而出。
在?verifiable transparent?的?AI?加持下,blockchain?的自调节体现在哪里,可以参考?modulus lab?提到的几个例子:
1. 链上的交易市场可以去中心化地自动调节,比如基于链上公开数据实时、不需要?trust assumption?地调整的?interest rate;
2. 多模态学习可以让链上协议的交互通过生物特征识别完成,提供安全的?KYC,并实现身份管理的完全去信任;
3. 允许链上应用最大化地捕获链上数据带来的价值,支持定制化内容推荐等服务。
从另一个角度看,zkrollup?不断迭代优化,但是始终缺乏一个真正只能在?zk?生态上跑的应用,ZKML?恰好符合这一点,并且想象空间也足够大。ZK-rollup?未来很可能作为?AI?进入web3的入口从而创造更大价值,两者互相成就。
基础设施和?ZK?无疑是web3最疯狂内卷的赛道,各种?ZK?项目在电路优化和算法升级上下足了功夫,不管是对多层网络的探索,或者是对模块化区块链以及?data availability layer?的开发,还是进一步将?rollup?做成定制化的服务,甚至硬件加速……这些尝试都在将区块链的可扩展性、成本、算力推向下一个阶段。
AI blockchain?听上去不错,但具体怎么个加法?
一种做法是通过?ZK proof system。比如针对?machine learning?做一个定制化的电路,链下电路生成?witness?的过程就是模型执行的过程,对模型预测的过程生成?proof(其中包括模型参数和?input),任何人都可以在链上验证?proof。
AI?模型还是在高效的集群上执行,甚至搞点硬件加速进一步提升计算速度,在最大化利用算力的同时确保没有中心化的人或者机构可以从中篡改或干涉模型,也就是确保:
模型预测结果的确定性=可验证的(input 模型架构 参数)
根据以上做法,可以进一步推断哪些?infra?对?AI?上链至关重要:
补充:
大模型的基础是?GPU,没有高并行的支持,大模型的效率将会非常低,也就无法运行。因此,对于一个链上的?zk?生态:
GPU?友好=AI?友好
拿?Starknet?举例,Cario?只能在?CPU?上跑,因此只能部署一些小的决策树模型,长期来看并不利好大模型的部署。
ZK Proof?的生成速度和内存使用情况至关重要,一个关系到用户体验和可行性,一个关系到成本和天花板。
现在的?zkp system?够用吗?
够用,但不够好…
Modulus lab?在文章“The Cost of Intelligence: Proving Machine Learning Inference with Zero-Knowledge”非常详细的分析了模型和算力的具体情况。有空可以读一读这篇?ZKML?届的”零号文献-paper?0?“:
[https://drive.google.com/file/d/1?tylpowpaqcOhKQtYolPlqvx?6?R?2?Gv?4?IzE/view]
以下是?paper?0?中提到的不同证明系统
基于以上?zk?算法,modulus lab?分别从时间消耗和内存占用两个维度出发进行测试,并且在这两个维度中分别控制了参数和层数两个核心变量。以下是?benchmark suites,这样的设计也可以大致覆盖从?LeNet?5?的?60?k?参数量,?0.5?MFLOPs,到?ResNet-34?的?22?M?参数量, 3.77 GFLOPs。
时间消耗的测试结果:
内存占用的测试结果:
基于以上数据,整体看目前的?zk?算法以及具备支持对大模型生成?proof?的可能性,但相应的成本依旧很高,需要甚至?10?倍以上的优化。以?Gloth?16?为例,虽然受益于高并发带来的?computation time?的优化,但是作为?tradeoff?内存占用显著增加。Plonky?2?和?zkCNN?在时间和空间上的表现同样验证了这一点。
那么现在问题其实就从?zkp system?是否可以支持链上?AI?转变为了支持?AI Blockchain?付出代价值不值?并且随着模型参数的指数级上升,对?proof system?的压力也会迅速增加。确实,现在有?trustless?的神经网络吗,没有!就是因为成本算不过来。
因此,打造一个为AI?定制化的?proof system至关重要。同时,实现对?AI?这种单次调用计算十分复杂的逻辑,gas?的消耗模型也需重新设计,一个高性能的?zkvm?至关重要,但现在我们已经能看到很多高性能的尝试,比如?OlaVM, polygon Miden?等,这些基础设施的不断优化极大提升了?onchain-AI?的可行性。?
尽管链上?AI?还在很早期阶段,用上面的分层来看可能只处于起始到发展之间,但?AI?这个方向从不缺乏优秀的团队和创新的想法。
就像上面说的,从?AI Blockchain?发展阶段看现在市场处于起始到发展的中间阶段,产品尝试方向还是以基于现有功能对用户体验优化为主。但最能体现价值的还是通过?AI?在链上将?trustless?的主体由人变为工具,在安全性和效率上颠覆原有的产品形态。
下面从一些现有的应用尝试出发,分析一下?AI Blockchain?长期的产品发展方向
Rockefeller?是?modulus lab?团队推出的第一个链上?AI?的产品,有很强的“纪念价值”。这个模型本质上是一个?trading bot,具体来说,rockefeller?的训练数据是大量链上公开的?WEth-?的?price/exchange rate,其本身是一个三层前馈经网络模型,预测目标是未来?WEth?价格涨跌。
以下是当?trading bot?决策要进行交易时的流程:
可以看出?trading bot?的预测、资金操作完全是去中心化且?trustless?的,就像上面提到的,从更高维度看?rockefeller?更像是一种全新的?Defi?玩法。相比于信任其他?trader,这种模式下其实用户赌的是?transparent verifiable autonomous?的模型。用户可以不需要信任中心化的机构确保模型决策过程的合法性。同时,AI?也能最大程度上的消除人性的影响,更果断地进行交易。
你可能已经想给?Rockefeller?注点资金玩一玩了,但这真的能赚钱吗?
并不能,按照?modulus?团队的说法,与其说?rockefeller?是一个应用,他更像是?on-chain AI?的?POC,由于成本、效率、证明系统等多方面的限制,rockefeller?的主要目的是作为一个?demo?让web3世界看到?on-chain AI?的可行性。(Rockefeller?已经完成任务下线?T T)
最近发布的?Leela v.s. the world?同样是出自?modulus lab。游戏机制很简单,人类玩家组成阵营对战?AI。游戏中玩家可以质押下注,最终谁会赢得对局,每次?match?结束后?loser’s pool?会根据质押代币的数量相应地分配给?winner。
说到?on-chain AI,这次?modulus lab?部署了一个更大的?deep neural network(Parameter?数量 > 3,?700,?000)。虽然在模型规模和产品内容上?Leela?都超越了?rockefeller,但归根结底这还是一次大型的?on-chain AI experiment。Leela?的背后的机制和运行模式才是需要关注的,这能帮我们更好地理解链上?AI?的运行模式和改善空间,以下是官方给出的逻辑图:
Leela?的每一次?move,也就是每次预测,都会生成?ZKP,并且只有在经过合约验证之后才会在游戏内生效。也就是说,受益于?trustless autonomous AI,用户下注的资金和公平性完全受到密码学的保护还不需要信任游戏开发者。
Leela?采用的是?Halo?2?算法,主要原因是它的工具和设计的灵活性可以帮助设计更高效的证明体系,具体?performance?情况可以参考上面的测试数据。但同时在?Leela?的运行中?modulus?团队也发现了?Halo?2?的弊端,比如生成证明的速度较慢,对?one-shot proving?不友好等。因此,也更加印证了之前基于测试数据得出的结论:如果需要将更大的模型带入web3,我们需要开发更强大的?proof system。
不过?Leela?的价值在于给我们带来了?AI Web3 game?更大的想象空间,王者荣耀玩家此刻应该无比希望王者匹配算法?fully on-chain:)?Gamefi?需要更优质的内容支撑和更公平的游戏体系,而?on-chain AI?恰好提供了这一点。打个比方,在游戏中加入?AI-driven?的游戏场景或者?NPC,不管是玩家的游戏体验还是经济体系的玩法都提供了巨大的想象空间。
Worldcoin?是一个链上身份体系(Privacy-Preserving Proof-of-Personhood Protocol),通过生物识别建立身份体系并实现支付等衍生功能,解决的问题是对抗女巫攻击,现在的注册用户超过了?1.4?m。
用户通过一个叫?Orb?的硬件扫描虹膜,将个人信息添加到数据库中,Worldcoin?通过?Orb?硬件中的计算环境运行?CNN?模型压缩并证实用户虹膜数据的有效性。听上去很强,但如果需要做到身份验证的真正去中心化,worldcoin?团队正在探索通过?ZKP?验证模型的输出。
挑战
值得一提的是,worldcoin?的?CNN?模型的?size:参数=?1.8 million,层数=?50?。基于上面展示的测试数据,现有的?proof system?在时间上完全可以胜任,但内存消耗对于消费级的硬件来说是不可能完成的。
1. Pragma:Pargma?是从?starkware?生态上发展起来的?ZK oracle。同时团队也在探索如何通过链上?AI?解决去中心化链下数据验证的问题。用户不再需要信任?validator,而是通过足够精准且可验证的链上?AI?完成验证链下?data source?的工作,比如对于实际资产或者身份的验证可以直接让?AI?去读取相印的物理信息作为输入并做出决策。
2. Lyra finance:Lyra finance?是一个?option AMM,提供衍生品交易市场。为了提高资本利用率,Lyra?团队和?modulus lab?正在合作开发基于可验证?AI?模型的?AMM。基于可验证的、公平的?AI?模型,Lyra finance?有机会成为?AI Blockchain?的一次大规模落地实验,为web3用户首次带来公平的?matchmaking,通过?AI?对链上市场进行优化,提供更高的回报。
3. Giza:ZKML?平台,将模型直接部署在链上而不是进行链下验证,Nice try,but…?由于算力以及?Cairo?不支持?CUDA-based?的证明生成的问题,Giza?只能支持一些小模型的部署。这也是最致命的问题,从长期来看,能对web3产生颠覆性影响的一定是大模型,而这种规模的模型必须有强大的硬件支持,比如?GPU。
4. Zama-ai:模型的同态加密。同态加密是一种加密形式,简单表示为:f[E(x)]=E[f(x)],其中?f?是运算操作,E?代表同态加密算法,x?是变量,比如:E(a)? E(b)=E(a b)。允许对密文进行特定形式的代数运算得到仍然是加密的结果,将其解密所得到的结果与对明文进行同样的运算结果一样。模型的隐私性一直是?AI Blockchain?方向的热点和瓶颈,虽然?zk?对隐私友好,但?zk?不等于?privacy。zama?致力于确保模型执行的?privacy-preserving。
5. ML-as-a-service:这目前还只是一个思考方向,没有具体的落地应用,但目的是通过?ZKP?解决中心化?ML?服务提供者作恶以及用户信任的问题。Daniel Kang?在文章“Trustless Verification of Machine Learning”中有详细的描述(参考文中的一张图)
Foresight Ventures 押注加密未来几十年的创新历程,旗下管理多支基金:VC?基金、二级主动管理基金、多策略?FOF、特殊目的?S?基金「Foresight Secondary Fund l」, 总资产管理规模超过?4?亿美元。Foresight Ventures 坚持“Unique, Independent, Aggressive, Long-term”的理念,通过强大的生态力量为项目提供广泛的支持。其团队来自包括红杉中国,中金公司,谷歌,等顶级和技术公司的资深人士。
Website:?https://www.foresightventures.com/
Twitter:?https://twitter.com/ForesightVen
免责声明:Foresight Ventures?所有文章均不作为投资建议。投资有风险,请评估个人风险承受能力,审慎做出投资决策。