昆仑万维天工3.5首次公开亮相-实况纪要
时间：2023年4月17日下午
CEO方汉
1、什么是天工？天工是如何诞生的？
昆仑万维和奇点智源合作自研，实现真正智能涌现的国产大模型，对话式助手。
Q：为什么现在要搞天工？
昆仑万维当初是以网游题材上市的，上市之后在海外进行了多元化的发展，业务包括浏览器、社交、娱乐、新闻等板块，和内容的关联性都非常强，所以对内容生成方面的技术进展一直非常敏感。从 2020 年起开始在音乐的 AIGC 领域进行投入，而奇点智源在 2020 年就意识到AI技术在未来的应用潜力。当时 GPT 3 诞生以后，奇点智源判断这是内容生成领域的里程碑，因此果断投入了大规模的算法和算力资源，聚集了一支国内最高水平的科研团队，开始构建自己的技术和研发矩阵。到了 2022 年，我们昆仑准备从音乐 AI 往多模态 AI 扩展，同时奇点智源也越发强烈地意识到千亿级的文本大模型是AIGC的一个突破口，并且只有自研迁移及大文本大模型才能建立核心壁垒、掌握主动权。所以我们双方一拍即合，开始搞天工文本预训练大模型是一个水到渠成的选择。
Q：天工为什么很快出来了？过程中遇到最困难技术挑战是什么？
（1）2020年就开始投入积累，起步早；（2）奇点智源技术实力很强
挑战：训练收敛问题，跑飞问题都难解决；海量数据集都是公开的，但质量参差不齐，如何预处理解决质量问题很重要。
Q：花了多少钱？
项目累计投入数亿人民币，组织数百人研发团队，计算能力是基于国内最大GPU集群之一，未来会继续加大投入
Q：从技术路线讲，现在对话式或者LLM的都是用的transformer 解码器的路线，天工本质上也是走这条路线吗？
也是transformer架构的decoder路线，未来技术和产品更成熟，可以更好匹配合规、监管和落地场景之后会开源
Q：对比CHATGPT
文本写作很接近，中文语境甚至更好。数理逻辑推理上有微弱差距，在努力迭代。希望给国产大模型时间成长。
Q：天工特点？
（1）天工拥有超强的记忆能力，目前最多可以支持1万字以上的文本对话，实现 20 轮以上的问答交互。其他的国产大模型在实现连续对话的时候体验没有那么好。
（2）语义理解和文本写作能力是亮点，用天工来回答知识序散的问题，也能获得跟传统的QL级别的回应。
（3）在推理的时候，天工采用了蒙特拉卡洛搜索树的算法进行优化，让解码过程中的准确性和安全性得到了提高，让天工在复杂任务和场景中间能够快速和准确的响应指令，输出高质量的回答。
（4）采用了双千亿参数的超大规模结构，包括一个千亿级别的基座模型和一个千亿级别的排序模型，具有了更高级的自主学习和智能涌现的能力，从而能解决跨领域的问题和比较复杂的逻辑问题。
（5）在大规模预训练的基础上还做了场景化的微调，让他在各种场景下都能给展开流畅且能智能的对话，提供高效以及个性化的帮助。
Q：有没有达到立项预期？最满意和最不满意的能力？
比较符合研发预期。满意的是文本生成和文案撰写很惊喜，实用性会很好。
测试1：软件经理写周报
Q：为什么会思考一会？
大模型参数非常多，推理的时候需要在这么多参数上运算，所以要让结果更准确，或者更有帮助，需要经过深入思考解决这个问题。取决于推算速度，这里有很大优化空间。
测试2：写一个电商运营岗位的招聘JD
没有1-2年工作经验HR很难写出这样的内容。
测试3：帮我想一条二次元MMORPG游戏的广告文案
测试4：答一个算法题，给一个升序数组，数字X，问你数组组里比X大的数里最小的是几
可以很轻松通过算法工程师第一轮面试。提一个算法问题，讲一下算法思路，然后手写代码。
用python写的，也可以用其它语言写。
测试5：如果我是一个自媒体创作者，现在有一个大公司请我评测他们的产品，但是产品客观上有亮点也有不足，应该怎么样既不把自己的路走窄了又坚守自己的节操。
测试6：如何避免中年失业
训练数据：数据选取有一定标准，需要正面/符合主流道德规范的文字，不符合的文字要筛除掉。
测试7：蒸一个包子十分钟，蒸十个包子呢
蒸100个包子呢
测评：上班怎么摸鱼
Q：昆仑万维大模型开发成功之后，会进行人员优化吗？
每个人都需要考虑组织结构和人才培养才能适应AI新时代，但更多带来的是效率提升和创造力扩展，创造出更大价值。使用AI大模型价值不在于降本，而在于增效。
Q&A
Q：为什么现在推出天工？
综合考虑技术水平和用户需求，4月上旬取得大突破，国内关注度也达到空前高度，用户习惯已经得到初步培养，现在推出可以用户适时需求
Q：会在自己业务上用天工吗？开放接口吗？
A：游戏美术设计/策划/内容与英/广告策划/PR已经成为最早参与天工内测的用户。重量级企业合作伙伴也在等待B端产品。后面会开放B端API接入。应该很快了
Q：大模型对你们多重要？AI会对社会
未来十年发展重点，这一轮AIGC全新竞争过程中会诞生新的领军企业，为阿里AIGC短期提供降本增效很好的解决方案，也会彻底改变内容生产方式，会迎来内容大爆炸时代。通用人工智能会彻底改变人类社会，人类社会发展关键式里程碑
Q：AGI是不是还很远？
AGI已经实现从0到1的突破，这是最难的，从1到100、10000反而会更加迅速。人类可能自然界上亿年进化出类人猿，进化到现在人类一万年都不到，通用人工智能类似，现在已经变成类人猿。
Q：感觉到这种变化会是什么时候
降本增效现在就可以体会到。AGI 五年之内会有更大突破
Q：下一步朝什么方向前进
短期多模态多场景预训练大模型研发，长期是更通用人工智能。
Q：预测天工能带来怎样的经济回报？
要考虑产品质量/能力是不是足够好，解决用户刚需，这样获得经济回报水到渠成。现阶段认真打磨产品技术，让大模型进化到更高水平，尽快达到GPT4水平和能力。应用和普及速度很快，赛道内的企业获取经济回报的速度也不会慢