关注、星标下方公众号,和你一起成长
【资料图】
作者 | 梁唐
出品 | 公众号:Coder梁(ID:Coder_LT)
大家好,我是老梁。
最近在朋友圈看到一篇文章,说是阿里达摩院发表了论文:GPT-4能用不到1%的薪水替代数据分析师……
划线部分的意思是说,GPT-4的使用价格只有初级工程师的0.71%以及高级数据分析师的0.45%……
讲真,虽然我不是数据分析师,虽然早在ChatGPT展现出惊人效果的时候,我就饱受大小营销号散步焦虑的疯狂洗礼,但我在看到标题的时候还是免不了有些焦虑。我也忍不住地去设想ChatGPT会不会也能代替我的日常工作……继续发散下去,又会忍不住想失业距离我还有多远,如果失业了,我该怎么办……
贩卖焦虑之所以是一门好生意,是因为人类设计有一个天然的bug,情绪总在理智之前被触发。一旦陷入情绪的漩涡,理智则很难挣脱出来。比如骗子骗人钱财,无非两种,一种是利益诱惑,比如早些年福建卖茶的漂亮女孩、杀猪盘里的高富帅男友。还有一种就是威胁恐吓,什么你因为一个事情被公安通缉了、被法院起诉了等等。被骗的人并不全是因为蠢,很多就是因为当时陷入了情绪当中,理智被淹没了。
所以我们看到这种新闻要做的第一件事就是冷静下来,多想想,多推敲推敲,很多事情一推敲就很有意思了。
我问自己的第一个问题就是,真的有这样一篇论文吗?
我去查了,还真有,作者也的确隶属于达摩院和南洋理工大学。
我又看了一下论文的内容,和文章里介绍的也大差不差。
简单介绍一下,作者设计了一整套数据链路,包含三个步骤:代码生成,GPT需要根据问题以及数据库的schema生成代码抽取数据以及绘制图表。代码运行,会运行GPT生成的代码,获取结果。分析生成,数据抽取完成之后,设计了prompt来生成数据分析以及洞见。
论文中还提供了一个具体的例子,我们可以参考一下作者使用的prompt:
最后会有专门的评委对不同工作经验的人类以及GPT的工作结果进行评估,最终的结论是和2年经验的工程师相比,GPT基本完胜,而和5年以及6年的工程师相比,则各有千秋。
论文的最后,分享了一张招聘网站上数据分析师的薪水情况。最后比较了平均到每个任务中GPT4和人类工程师的花销,GPT4低得可怜,只有人类的1%不到。
附录的部分还附上了一些case分享,比如根据问题生成Python代码获取数据,并且绘制出图表,以及对图表进行分析,获得一些结论。
大家感兴趣可以放大一下下图。
验证了真实性没有问题,但这仍然回答不了我一个疑问:这篇论文的意义是什么,或者价值是什么?难道就只是证明了GPT4能力超群,有代替2年经验数据工程师的能力?这更多的像是商业价值,而不像学术价值。
而且整篇paper中虽然数据和图表比较健全,但整体的感觉更接近摆上了数据更具煽动性的营销文。虽然没有明说,但字里行间,似乎都在论述:GPT4拥有代替人类工程师的能力以及超强的性价比这一观点。老实讲在学术论文里看到这样的暗线真的让我挺不舒服,也挺让我鄙视的。
如果是GPT4能代替人类的观点,那值得吐的槽就多了,这也正是我写这篇文章的目的。评论区里就有不少清醒的读者,给与了犀利的抨击。
下面这个观点更是说出了我的心声:
我最近几天一直在进行高强度的面向ChatGPT编程,因为我在做我很不熟悉的前端项目。所以编程的过程基本上就是我各种问ChatGPT问题,以及让它写各种代码。
在这个过程当中,我发现了GPT4的一个关键问题——可靠性。
它自己是不知道它自己给出的答案是否靠谱的,它给出的代码大多数情况下都是有问题的,不过一般都是小问题,很容易解决。但这些问题在我们给与反馈之前,GPT自身是没办法知道的。
举个经典的例子,比如我让GPT帮我设计网站中的一个组件,我告诉它我想要的效果,它给我代码。由于没有视觉能力,它是不知道它这段代码运行之后的视觉效果如何的。必须要我进行描述,它才能知道哪里有问题。我和它的日常对话是这样的:
我一直在反馈给它当下遇到的问题,让它不停地修改。
但有时候这样不停反馈问题和调整还是解决不了,因为可能一开始方案选择上就错了。这个时候就需要发挥人类的智慧了,比如我人工来分析问题可能出在哪里,或者大概怎样可以解决问题。或者是我帮它整理思路,比如我们先简化问题,先完成最核心的部分再添加额外的功能等等。
在这样反复多次修正的情况下,GPT是可以达到很好效果的。但问题就在这里,即使不考虑当前GPT4的使用限制,如果它真的代替了人工,谁来和它反复多轮对话来修正呢?
喜欢本文的话不要忘记三连~