大模型评测：主观题怎么打分才公平？

客观题好评测，主观题（写作、创意）打分太主观。用 LLM 当评委靠谱吗？大家怎么做？

【管理员回复】主观题评测确实是难点。用 LLM 当评委可行，但要处理几类已知偏差：位置偏差（倾向于先出现的答案）、长度偏差（倾向于更长的回答）、自我偏好（倾向于同系列模型的输出）。常见对策：成对比较时交换顺序各评一次，不一致记为平局；评分标准写成细则（维度、每档分数的具体描述），并给出参考样例；评委模型尽量与被测模型不同源；再抽取一部分样本做人工标注，计算评委与人工的一致率，一致率达标后再放量使用。创意写作这类开放任务，排序比打绝对分更稳定。你们目前评的主要是哪类主观任务？