智能体算法实习生团队介绍：上海人工智能实验室安全可信团队致力于大模型、智能体及多智能体系统的安全与可信研究，关注模型推理能力与对齐机制的深入理解与优化。我们推动前沿技术在可信推理、对齐方法、攻击与防御、评测体系等方向的创新落地，成果多次发表于顶级学术会议，包括ACL杰出论文、ICLR Oral等。如果你对智能体安全、可信对齐及未来AI能力的潜在风险怀有热情，欢迎加入我们，共同推动从“让AI 变得安全”向“打造安全的AI 转变”，支持人工智能朝着有益、安全、公平方向健康有序发展。
岗位职责（满足以下任一方向）
1.参与智能体的风险评估与能力定义，构建数据集进行可信智能体的训练与检测。通过智能体自我反思训练和思维链技术，确保智能体生成安全可信的输出。
2.参与智能体攻击与风险识别相关工作： 测试智能体的安全性能，分析新一代 AI 的潜在安全风险边界，设计评测体系，进行 Red Teaming，识别安全风险。
3.参与智能体防护相关工作： 根据识别出的风险或需避免的风险，通过引导或插入特殊可扩展模块，对智能体输出进行安全防护。
4.参与智能体安全推理相关工作： 提出可统计验证的安全可信指标，通过强化学习进行价值引导，确保智能体输出的安全可信。
任职要求
1.博士在读优先，计算机科学、电子信息、信息安全或相关专业背景优先。
2.具备扎实的机器学习和深度学习基础知识和算法实践能力，了解大模型的设计和训练流程。
3.熟悉常用的深度学习框架和工具，具备良好的编程能力，熟练使用Python、C/C++等编程语言。
4.
工作地点上海/北京，每周实习五天，至少四个月，一年以上者优先。
联系方式 lilijun@pjlab.org.cn
