我国日均 Token 消耗量已突破 30 万亿,这是一个什么量级的概念?
- 186 个点赞 👍
我前段时间用AI做了一个炒股的系统,让AI把市场上每只股票的k线、基本信息、板块、新闻、分红、行业新闻、政策等等全部收集起来,文本用AI给出正负面影响,k线计算好macd等技术指标,全部扔给AI判断未来走势。几千只股票并行跑,在15分钟内筛选出短期(5天内)最有可能涨的股票。这么来一次消耗大约5亿token,大约相当于同时找了几千个金融方向的硕士给我打工。这在以前完全是无法想象甚至很难做到的事情,现在只要一点点钱就可以做到。
而且在A股AI给出的结果非常靠谱(胜率到了80%+,收益率到了400+%,极其离谱)。
后来由于证券法的限制,导致我们无法to C商业化,但是不得不说这个实验非常成功,我们真的依靠极少数人+大模型+大量服务器,以极少的资金实现了以前了需要上万员工才能完成的工作。
我推断,未来的公司,有个非常重要的指标来决定公司的先进程度:AI员工比例。
AI员工比例越高的公司,效率越高,在市场越有优势,未来的新型大公司搞不好就只有那么几个真人,业务全靠大模型+云服务支撑。
30万亿相当于每个中国人每天消耗了2w token,而人一天大约能思考60万字,大约等效40万token。以现阶段来说,还达不到AI养人类的地步。当每日人均token到400w的时候,应该就可以做到真正的共产主义了(通过压榨AI实现,压榨十个等效人类的思考量的AI,养一个人),现在还差200倍,乐观预计5年吧(我们炼大模型的这批人,稍微乐观点,预计8年后失业)。各位一定要好好活到这个时候,共勉。
查看全文>>
炼丹术士 - 89 个点赞 👍
查看全文>>
12345 - 71 个点赞 👍
首先要区分下 Token 、字符、和字的概念:

以这个知乎问题的标题为例,包含 36 个字符,转化为 Token 是 22 个(使用 GPT-4o 的分词器)。
如果按字数算的话,是 27 个字(以飞书文档为例,不同软件统计规则有所不同)。

比如“我国”是两个字符,也是两个字。但在这个句子中,可以理解为一个整体,或者一个词,所以占一个 Token。
再比如 "Token" 这个英文单词,包含 5 个字符,如果作为字数统计,在英文里是一个 word,所以算作一个字。这个 word 具有完整语义,因此也被认为是一个 Token。
Token 其实就是分词器认为的“最小语义单元”。不同分词器,分词的结果也不相同。
想了解 Token 和字符区别的,可以去这个网址测试:https://platform.openai.com/tokenizer
到这里,你是不是认为,一个 Token 代表一个或多 Word(字)。在中文语境下通常是的,因为单个汉字不可分割,或者说分割后没有语义,但英语语境下不一定。
有时候一个长英文单词可能也会被划分为多个 Token,比如:
这里 unhappiness 是一个 word(字),但包含了 3 个 Token。
好了,现在我们知道,中文场景下,30 万亿 Token 数,应该是大于 30 万亿字数的。
假设咱们就把 30万亿 Token 数当做 30万亿字数,来看看这是个什么规模的数据:
第 12 版《新华字典》总字数约 72 万字,日均 Token 消耗 30万亿,至少相当于 4166 万本《新华字典》。
第 7 版彩图本《辞海》总字数约 2350 万字,日均 Token 消耗 30万亿,至少相当于 127 万本 《辞海》。
目前已知字数最多的中文单一著作《永乐大典》总字数约 3.7 亿字,日均 Token 消耗 30万亿,至少相当于 8.1 万本《永乐大典》。
当然这个估算并不准确。因为我们消耗的 Token 肯定不止中文,比如代码任务,消耗的 Token 以英文为主。按照前面说的,一个英文 word,可能包含了一个或多个 token。
假设这 30万亿 Token 全部是英文,但对应的英文 word 应该不足 30万亿。不过咱们这个数据诞生在国内,我估摸着中文应该占大多数吧。这样估算也是想贴近题目,让大家感受下 30万亿 Token 大概是个什么量级。
还没有人送礼物,鼓励一下作者吧查看全文>>
零一猴子 - 5 个点赞 👍
token数据很水,所以外行总在这种奇奇怪怪的地方大惊小怪的。
我每天跑掉的token大概都有上百万,但token的价格非常便宜。百万token在内部的成本价不到1块钱,对外报价也就几块钱,一线的模型才能上10块。
像他这种数据,可能一年跑掉的成本都不到100亿。阿里云一年成本都超千亿了,这点钱和大企业比不算很大。
还没有人送礼物,鼓励一下作者吧查看全文>>
岁寒时
