活动介绍
LLM 技术挑战是一项面向开发者和创新者的线上竞赛计划，旨在促进基于大语言模型（LLM）的创新应用和技术发展。参赛者将有机会开发基于指定大语言模型的应用，探索智能语音助手、聊天机器人、智能客服等领域的应用潜力。参赛团队根据选标准要求，使用开源模型及推荐的软件部署解决方案，完成基于大语言模型应用的开发及部署。竞赛将评选最佳应用奖以及参赛早鸟奖，鼓励参赛者在创新实践中展现创意和技术实力，共同推动大语言模型领域的发展和应用。
挑战时间：2024年5月15日 - 6月15日
挑战内容
使用下列大语言模型中的一种或多种，开发通用或特定领域专用的应用原型，并在基于英特尔的软硬件平台上部署并成功高效运行。应用的种类包括但不限于：如智能语音助手、智能助理、聊天机器人、文字及图片生成、智能客服等。
推荐的开源大语言模型：
作品可以是基于下列模型中的任意一个或多个，且可以同时使用其他适合的辅助模型。模型可以是原始发布的模型或经过微调后的模型。
推荐使用的部署及优化工具:
-Intel® Extension for Transformers
-OpenVINO™ Toolkit
-Intel Extension for Pytorch
-IPEX-LLM （Intel® LLM library for Pytorch）
-xFasterTransformer
硬件平台：
开发者在部署时，可使用下列硬件平台。魔搭社区提供的基于英特尔 CPU 的免费计算资源*（参赛者可到魔搭社区，免费注册并申请使用基于英特尔可扩展处理器的云环境，利用notebook环境进行开发测试，请保存代码到本地）；使用自备的基于英特尔 CPU 及 ARC GPU 的硬件硬件环境（如 AI PC 或台式机或服务器等）；第三方云计算服务商提供的基于英特尔 CPU 的硬件环境。
作品提交
提交内容:
a.项目说明文档（包括方案介绍，技术特点，使用到的英特尔软硬件技术，成果说明和对照），文档格式不限、还可提供更多支持材料，如演示视频等。
b. 作品代码打包附件
c. 如作品为部署的产品或方案，可将方案描述发布到 github, CSDN, 51CTO, 魔搭等公开网站上，发布的内容需包含使用的英特尔硬件，英特尔软件工具以及相关的实现代码（可为部分）。请提交方案链接。也可将方案展示在魔搭 Space中，提交该 Space的链接。
评选标准
创意和应用价值：
• 创意性： 作品的创新性和独特性，包括对大语言模型的应用创意和解决方案的独特性。
• 应用价值： 作品对特定领域的应用潜力，如健康服务、适老服务、教育等，以及对用户体验和问题解决的贡献。
技术实现和优化利用：
• 技术特点和工具使用： 作品中使用的技术特点和工具，包括是否有效地利用了英特尔的开源软件优化工具(参见推荐使用的部署及优化工具)。
• 性能和效率： 作品部署和运行在相应英特尔软硬件环境上的性能和效率，包括项目对模型推理速度、资源利用率和计算成本等方面的优化。
实现质量和完成度：
• 完成度：作品的实现程度和完成情况，包括功能实现、用户界面设计等方面。
• 代码质量：作品的代码稳定性、结构清晰度等，确保方案的可维护性和可扩展性。
时间安排
-
报名及提交作品截止时间
2024年6月15日 23:59 -
评审时间2024年6月16日
到2024年6月30日 -
公布结果2024年7月1日
-
奖金/奖品发放2024年7月2日
到2024年7月10日
使用魔搭社区云环境步骤
通过登录并使用魔搭平台及注册时关联阿里云账号获得的免费 CPU 云计算资源，启动 Jupyter Notebook 或相应环境镜像进入相应的项目部署环境。根据相应模型的部署文档，确认或完成运行环境的准备，并在导入 Notebook 及相应模型后，完成模型的直接部署，或根据部署文档中的模型优化方式在完成模型低精度量化或格式转换后进行部署。利用 Notebook 环境进行开发测试，请注意保存代码到本地。