📖标题：ECKGBench: Benchmarking Large Language Models in E-commerce Leveraging Knowledge Graph
🌐来源：arXiv, 2503.15990

🌟摘要

🔸大型语言模型（LLM）已经在各种NLP任务中展示了它们的能力。他们在电子商务领域的潜力也是巨大的，这可以从平台搜索、个性化推荐和客户服务等实际应用中得到证明。与LLM相关的一个主要问题是它们的真实性（例如幻觉），这在电子商务中是紧迫的，因为它对用户体验和收入有重大影响。尽管提出了一些评估LLM真实性的方法，但缺乏可靠性、高消耗和缺乏领域专业知识等问题在电子商务的有效评估之间留下了差距。
🔸为了弥合评估差距，我们提出了ECKGBench，这是一个专门用于评估LLM在电子商务知识方面能力的数据集。具体来说，我们采用标准化的工作流程，基于大规模知识图自动生成问题，保证了足够的可靠性。我们采用简单的问答范式，通过最少的输入和输出标记大大提高了评估效率。此外，我们在每个评估阶段都注入了丰富的电子商务专业知识，包括人工注释、提示设计、负面抽样和验证。此外，我们还从一个新的角度探讨了LLM在电子商务中的知识边界。
🔸通过对ECKGBench上几个高级LLM的全面评估，我们对如何利用LLM进行电子商务提供了细致的分析和见解。基准数据集可在线访问https://github.com/ming429778/ECKGBench.

🛎️文章简介

🔸研究问题：在电商领域中，如何评估大语言模型（LLM）能力的可靠性和效率？
🔸主要贡献：论文提出了一个新的基准数据集ECKGBench，利用知识图谱探索LLM在电商中的能力，并提供了一种评估模型知识边界的方法。

📝重点思路

🔸设计了ECKGBench数据集，基于电商知识图谱生成交互式问答，以评估LLM。
🔸设计了一种自动化的层次化负采样流程，提高问题生成的质量。
🔸将知识分为WK（已知）、SK（部分知道）和UK（未知），并设计标准来量化模型的知识掌握程度。
🔸通过人类专家和自动化分析相结合的方式进行数据集的验证，确保结果的准确性和稳健性。

🔎分析总结

🔸实验结果表明，LLM在电商领域的整体表现仍然不尽如人意，准确率普遍低于60%。
🔸LLM在处理常识性知识时表现优于抽象知识，显示出不同知识维度的掌握差异。
🔸发现LLM的规模效应在电商领域依然存在，较大模型的表现优于小型模型。
🔸通过对知识边界的探索，确认了模型的潜在能力和优化方向。
🔸提供了ECKGBench的高效评估方法，响应时间显著低于10秒，提升了实用性。

💡个人观点

论文的核心是结合了知识图谱和自动化问题生成技术，构建了电商领域的基准。

🧩附录