入门AI🐳

date
Jul 3, 2024
slug
learn-ai
status
Published
tags
AI
summary
学习的路线
type
Post

1. 基础学习

  • Stanford CS231N（B站可以直接搜）
  • 还有一些是我们之前的内部培训资料：

2. 进阶学习

2.1. 生成式AI（GenAI）

2.1.1. 3B1B

直观的了解transformer细节，可以建立直觉
【官方双语】GPT是什么？直观解释Transformer | 深度学习第5章_哔哩哔哩_bilibili
【官方双语】直观解释注意力机制，Transformer的核心 | 【深度学习第6章】_哔哩哔哩_bilibili

2.1.2. 全套资料

别看mindscope做的很烂，但是课讲得还是可以的
第一课：Transformer_哔哩哔哩_bilibili
第二课：BERT_哔哩哔哩_bilibili
第三课：GPT_哔哩哔哩_bilibili
第四课：GPT2_哔哩哔哩_bilibili
...
第二十二课：Prompt Engineering_哔哩哔哩_bilibili

2.1.3. Architecture可视化

LLM Visualization

2.1.4. 推荐阅读

 
论文阅读 (1)
论文
链接
备注
Instruct-GPT
Aligning language models to follow instructions
奠基文章⭐
Falcon
The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only
数据清洗的步骤和效果⭐
RLAIF
RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback
使用模型做RLHF
Panda LLM
Panda LLM: Training Data and Evaluation for Open-Sourced Chinese Instruction-Following Large Language Models
使用模型评价不同response的质量
Self-Instruct
Self-Instruct: Aligning Language Models with Self-Generated Instructions
生成SFT的数据
Evol-Instruct
WizardLM: Empowering Large Language Models to Follow Complex Instructions
与上一条类似，但是做的更好
Self-RAG
Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection
利用rag生成更好的数据
GENIE
Genie: Achieving Human Parity in Content-Grounded Datasets Generation
利用few-shot的特性从头生成数据集（有点prompt trick的感觉）
Reformatted Alignment
Reformatted Alignment
训练数据风格调整
CoT
VerMCTS: Synthesizing Multi-Step Programs using a Verifier, a Large Language Model, and Tree Search
通过题目-答案对生成CoT数据
DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
https://arxiv.org/abs/2405.04434
DeepSeek V2的技术论文
 
即刻LLM论文分享导航 (1)

© 溪河 2021 - 2024