【上海人工智能实践室葛佳烨:大模子评测亟需牢靠的数据污染检测手艺】正在“知乎AI先行者沙龙”上,上海人工智能实践室司南大模子评测产物刻意人葛佳烨外现,狂言语模子评测中面对总共性、评测本钱、数据污染、鲁棒性等挑拨。她外现,评测数十万道题必要大批算力资源,基于人工打分的主观评测本钱昂扬。同时,海量语料弗成避免带来评测集污染,亟需牢靠的数据污染检测手艺。别的,大模子对提示词特别敏锐,众次采样情状下模子机能不不乱南宫28。
正在“知乎AI先行者沙龙”上,上海人工智能实践室司南大模子评测产物刻意人葛佳烨外现,狂言语模子评测中面对总共性、评测本钱、数据污染、鲁棒性等挑拨。她外现,评测数十万道题必要大批算力资源,基于人工打分的主观评测本钱昂扬。同时,海量语料弗成避免带来评测集污染,亟需牢靠的数据污染检测手艺。别的,大模子对提示词特别敏锐,众次采样情状下模子机能不不乱。