ChatGPT的言传与意会
◇王国成
ChatGPT自2022年11月问世以来,大大超出人类写作的平均水平预期,迅速火爆升温,注册用户上亿,引发谷歌、百度等数千亿产业投资,无疑是AIGC(人工智能生成内容)和NLP(自然语言处理)领域的一大进步。但是从某种意义上说,其价值取向、服务目的、技术进步、推广应用和发展规划等尚极其受限,需要深度思考。
技术突破
ChatGPT的基本原理与核心技术,是基于统计方法的监督式深度(强化)机器学习,属于AIGC和NLP领域,无论是技术上还是应用上都极具潜力,被Science杂志评选为2022年度十大科学突破之一。ChatGPT的出现,使AIGC强化了内容与生产力的连接,大大推进了NLP的研究进展。
推进NLP的技术转向和研究范式的变革。ChatGPT迅速走红,其实是自回归类语言模型的一次翻身仗。近年来,NLP领域对Transformer思想产生的大型预训练模型,从双向语言模型对自然语言的理解,到以自回归语言模型(按语序),更多地应用于自然语言生成任务,ChatGPT的强大能力让自回归语言模型一样能达到甚至赶超双向语言模型,甚至在未来有可能实现统一理解、生成两类任务。