【※ - 比较在意的point】

怀着问题学习大模型

1. 什么是大模型（基础理论）？

怎么训练模型？如何掌握训练大模型的规律？
1
2
3
4
5
# 例如
# 1. 数据如何准备和组合？ 
# 2. 如何寻找最优训练配置？
# 3. 如何阈值下游任务的性能？
# ...

现状

2. 是否需要寻找新的网络框架，以更好地支持大模型的性能提升？

1
2
3
# 例如
# 1. 从其他学科中寻找灵感，如何更高效地学习和推理
# ...

现状

  • QGPT

3. 大模型的高效计算问题

1
2
3
# 例如
# 1. 如何根据硬件资源条件自动选择最合适的优化策略组合以进一步提高模型训练和推理的效率
# ...

现状

4. 大模型的高效适配问题

关键词：prompt、finetune
1
2
3
4
# 例如
# 1. 如何通过提示学习提高大模型适配下游任务的效率？
# 2. 如何利用参数高效微调节约大模型适配的存储和计算成本？
# ...

现状

  • COT
  • LORA

5. 大模型的可控生成问题

关键词：生成可控
1
2
3
# 例如
# 1. 如何提高大模型的可解释性以便人们能够更好地理解和信任它们生成的文本？
# ...

现状

6. 大模型的安全伦理问题

关键词：隐私、安全
1
2
3
4
# 例如
# 1. 如何防止大模型被用于制造恶意软件或进行网络攻击从而保障网络安全？
# 2. 如何制定合适的规范和标准来保证大模型的开发和使用符合伦理原则便面产生不良的影响？
# ...

现状

※ 7. 大模型的认知学习问题

关键词：特定领域、模型落地
1
2
3
# 例如
# 1. 如何让大模型学会特定领域内的专业知识从而在该领域内更好地应用？
# ...

现状

  • 医疗
  • 法律

疑惑

  • 如何训练？

8. 大模型的创新应用问题

关键词：结合工具
1
2
3
# 例如
# 1. 将大模型与其他技术或工具相结合以实现更高效、更智能的应用
# ...

现状

  • chatglm3：结合了搜索工具

疑惑

  • 如何结合？

9. 大模型的数据和评估问题

关键词：数据、评估
1
2
3
# 例如
# 1. 如何在大规模数据上训练和验证大模型以确保其性能和泛化能力？
# ...

现状

疑惑

※ 10. 大模型的易用性问题

关键词：简化部署和训练过程
1
2
3
4
# 例如
# 1. 如何快速落地？
# 2. 如何为大模型提供合适的预训练任务和微调方案以加速用户对大模型的应用和开发过程？
# ...

现状

  • chatglm3：结合了搜索工具

疑惑

  • 如何结合？

AIGC

  1. 拥有扎实的传统NLP知识基础，能持续维护和持续优化模型，并积极跟进最新的大型语言模型技术，如LLaMa2、LORA等；
  2. 熟悉Prompt Engineering技巧（基于ChatGPT/GPT4/LLaMA），能够有效地设计和迭代prompt来提升效果；
  3. 擅长进行文本数据处理、特征工程、模型训练和优化；熟悉常用的NLP工具和库；
  4. 具有强烈的责任心，能够独立地负责并推进项目，确保其从起始到结束的顺利进行；
  1. 作为项目主要负责人，进行国际化产品核心功能的早期建设，重新定义招聘领域的co-pilot 体验；
  2. 微调大型语言模型 (LLaMA)，持续增强公司的基础NLP能力；
  3. 与推荐与搜索团 和工作描述开发针对性的NLP特性，确保推荐和搜索质量持续提高；
  4. 能够以技术策略驱动业务增长，进行效果跟踪、数据分析，并及时优化，挖掘业务和系统空间；
  5. 探索AIGC应用方向研究前沿，实现关键技术突破与落地；

用ChatGPT在推荐领域上，

rating prediction 评分预测

sequential recommendation 顺序推荐

direct recommendation 直接推荐

explanation generation 解释生成

review summarization 回复总结