科研

全局视角：三篇"地基"论文 论文 定位 PromptFL（2023） 方向一的起点 Baseline，“联邦 Prompt 学习的 FedAvg” FedSR（NeurIPS 2022） 通用 FedDG Baseline，三个方向都必须比较的对象 SHOT（ICML 2020） 方向三的历史根源，Source-Free DA 的奠基之作 这三篇是"祖师爷"级别——必须理解，但后续工作要站在它们肩膀上，不是复现它们。 方向一：CLIP / LLM + 联邦提示微调 入门论文 CoOp — Prompt Learning for Vision-Language Models 会议：IJCV 2022（原版 ICCV 2021） 关键词：Soft Prompt, CLIP, Context Optimization 读这篇是因为 PromptFL 本质上就是"把 CoOp 塞进联邦框架"，不懂 CoOp 就没法理解 PromptFL。 CLIP 用"a photo of a [CLASS]“这样的手工文本做零样本分类，但手工模板很依赖玄学——换一句话描述，准确率可能差 10%。CoOp 的解决方案很直接：别手写模板，让模型自己学出来。 Soft Prompt 的核心机制 手工 Prompt（Hard Prompt）： 输入 → "a photo of a [cat]" → CLIP 文本编码 → 分类 Soft Prompt（CoOp 的做法）： 输入 → [v1][v2][v3][v4][cat] → CLIP 文本编码 → 分类 ↑ 这 4 个 [v] 不是文字，是可学习的浮点向量 训练时只更新这 4 个向量，CLIP 的其余参数全部冻结 Soft Prompt 就是在类别词前面拼几个可学习的浮点向量，训练时只更新这几个向量，CLIP 其余参数全部冻结。 ...

前言 经过基础知识的学习，我需要将视角放到更宏大的范围来寻找科研方向，了解整体风向，因此本篇笔记记录一些我摘录的当前学科架构的情况和我对于后续科研方向的一些探索。 人工智能领域结构 在了解到联邦域泛化（FedDG）后，我回顾了之前的学习历程，发现我对于人工智能领域的全景缺乏理解，所以我让Claude帮我进行快速回顾： 1 2 3 4 5 6 7 8 9 10 11 12 13 人工智能 (Artificial Intelligence) ├── 机器学习 (Machine Learning) │ ├── 监督学习 (Supervised Learning) │ ├── 无监督学习 (Unsupervised Learning) │ ├── 强化学习 (Reinforcement Learning) │ └── 深度学习 (Deep Learning) ← 当前主流 │ ├── CV（计算机视觉） │ ├── NLP（自然语言处理）← LLM 在这 │ ├── 多模态 (Multimodal) ← CLIP 在这 │ └── 图神经网络 (GNN) ├── 知识表示 & 推理 (符号主义，老派) ├── 搜索与规划 └── 专家系统（已衰落） 而在所有的方向中，强化学习和深度学习无疑是最热门的方向，这里列出它们的内部结构： ...