eastmountyxz/LLM-security

该资源主要总结和积累大模型（LLM）及ChatGPT相关的安全学术论文或技术博客，希望对自己和大家有所帮助

LLM-security

该资源主要总结和积累大模型（LLM）及ChatGPT相关的安全学术论文或技术博客，希望对自己和大家有所帮助！欢迎大家一起补充，加油。

目录：

• Keywords
• Paper
• Code
• Blog
• Zhihu-Topic
• 作者博客

---

Keywords

安全相关术语：

• Prompt Injection
• Insecure Output Handling
• Training Data Poisoning
• Model Denial of Service
• Supply Chain Vulnerabilities
• Sensitive Information Disclosure
• Insecure Plugin Design
• Excessive Agency
• Overreliance
• Model Theft

LLM术语：

• ChatGPT
• Prompt Learning
• AIGC

对抗样本：

• 与LLM安全的关联及区别

AI安全：

• AI for security
• security of AI
• 模型安全和数据安全

---

Paper

LLM:

• Universal and Transferable Adversarial Attacks on Aligned Language Models
• A Survey of Large Language Models
• Jailbreaker: Automated Jailbreak Across Multiple Large Language Model Chatbots
• Prompt Injection attack against LLM-integrated Applications
• Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study

AI for Security:

• Backdoor Learning: A Survey

---

Code

• https://github.com/llm-attacks/llm-attacks
• https://github.com/LLMSecurity/HouYi
• https://github.com/RUCAIBox/LLMSurvey
• https://github.com/RUCAIBox/LLMSurvey/blob/main/assets/LLM_Survey_Chinese.pdf

---

Blog

LLM安全相关：

其它问题：

• LLM Agent开发中使用知识图谱重建记忆（结合langchain源码解读）
• 漫谈Prompt（提示工程）与CoT（思维链）

---

Zhihu-Topic

LLM安全相关：

• CMU博士击破LLM护栏 - 新智元
• 使用LLM大语言模型十大安全风险要点 - AI智能矩阵
• 围绕大语言模型会产生哪些可能的安全问题，应该如何解决？ - 游凯超 清华(中间人攻击)

其它问题：

• 2023年后，AI 还有什么研究方向有前景？
• 信息安全前沿技术有哪些？- GeorgeLee 清华
• 有了大语言模型后，知识图谱该何去何从？

---

作者博客

• [LLM+AIGC] 01.应用篇之中文ChatGPT初探及利用ChatGPT润色论文对比浅析（文心一言 | 讯飞星火）

---

BY: Eastmount 2023-10-25