ChatGPT 在文本标注任务中的表现超过了众包工人
苏黎世大学的研究人员在预印本平台 arXiv 上发表论文,报告 OpenAI 的 AI 聊天机器人 ChatGPT 在文本标注任务中的表现超过了众包工人。大量的自然语言处理(NLP)应用需要高质量的标注数据,此类任务可根据复杂程度和规模交给亚马逊众包平台 MTurk 上的众包工人或专业的标注者去完成。研究人员使用了包含 2,382 则推文的样本,对比了 ChatGPT 和众包工人以及专业标注者的表现。结果显示, ChatGPT 在五项任务中有四项超过了众包工人,在评估一致性(intercoder agreement)上超过了众包工人以及专业标注者。更重要的是 ChatGPT 的标注成本每条不到 0.003 美元,是众包工人二十分之一。研究显示大语言模型可显著提高文本分类的效率。(论文)
🤖 投稿:@ZaiHuabot
📣 频道:@TestFlightCN
via 🆕 Testflight 科技新闻投稿📮 - Telegram Channel (author: ㅤ)
苏黎世大学的研究人员在预印本平台 arXiv 上发表论文,报告 OpenAI 的 AI 聊天机器人 ChatGPT 在文本标注任务中的表现超过了众包工人。大量的自然语言处理(NLP)应用需要高质量的标注数据,此类任务可根据复杂程度和规模交给亚马逊众包平台 MTurk 上的众包工人或专业的标注者去完成。研究人员使用了包含 2,382 则推文的样本,对比了 ChatGPT 和众包工人以及专业标注者的表现。结果显示, ChatGPT 在五项任务中有四项超过了众包工人,在评估一致性(intercoder agreement)上超过了众包工人以及专业标注者。更重要的是 ChatGPT 的标注成本每条不到 0.003 美元,是众包工人二十分之一。研究显示大语言模型可显著提高文本分类的效率。(论文)
🤖 投稿:@ZaiHuabot
📣 频道:@TestFlightCN
via 🆕 Testflight 科技新闻投稿📮 - Telegram Channel (author: ㅤ)