Thinking

沉迷vibe coding后自己的基础能力下降越来越多，而且本来自身的基础就很差，所以在这里列一些自己高度需要的一些课程作为后续参考 编程入门 C++ Stanford CS106B/X: Programming Abstractions in C++ 该课程最吸引我的一点是教授cpp的同时还包含数据结构与算法，一课多吃👍 CS106L: Standard C++ Programming 这门课更聚焦于cpp本身，算是进阶内容吧，如果有时间可以看看 Linux shell UCB: Sysadmin DeCal 本课包括 Linux 基础、shell 编程（还有tmux 、vim）、包管理、服务(Services)、基础计算机网络、网络服务、安全(密钥管理)、Git、Docker、 Kubernetes、Puppet 和 CUDA。 十分适合新手了解和入门 Linux 环境相关内容。 我自己虽然一直在用ubuntu，但对其背后的linux可以说是一窍不通，shell也一直当作ai的一个工具，没有深入了解，故将这节课作为必学。 汇编 CMU CS15213: CSAPP csapp不必多言，必必必必看 人工智能 CS188: Introduction to Artificial Intelligence 覆盖面广，看课程notes即可，作为基础知识补足，必看。 CMU 10-414/714: Deep Learning Systems 机器学习系统大课，包含从现代深度学习系统框架的顶层设计，到自微分算法的原理和实现，再到底层硬件加速和实际生产部署。对于入门infra是不错的课程，必看。 Deep Reinforcement Learning 强化学习课程，必看。 CS285: Deep Reinforcement Learning 深度强化学习入门课程，包含大量公式讲解，课程作业有大框架，相对简单。后面要深入了解rl的时候再看看是否需要其他课程。 计算机408内容暂时没有时间看了，能把上面的课刷完，就已经很👍了。 数学基础 UCB CS70 : discrete Math and probability theory ...

打算在评论发点平时的碎碎念:)

大概的总结 三月份做了的事 申请学校科研项目并开始初步尝试 入门robocup仿真3D足球 coffee talk进展顺利，本月进行了3次 没做好的事 折腾claude 课内进度严重落后 没有找到合适高效的学习方法（就是被手机控制了） 英语学习磕磕绊绊 刷课由于时间紧没有做 方法论的反思 存在的问题 在方法论上的执行度呈现一个递减的趋势，在最开始的一两周大概可以执行70%，但是越到后期执行效率越低。 open策略：这个月末拉了一个乐队的朋友一起在工位学习，也和他交流了未来的规划，算是有了一个交心的朋友。然后和班里的一位同学有部分的交流，但是我没有和他交流科研上的事情，以后慢慢来吧。我感觉我自己没有能完全地执行open策略，在遇到一些人和事的时候还是会不自然地掩盖自己在做的事情，也会存在我的进度或视野比你超前的想法，导致open策略受到我自己的限制。这也不是一朝一夕可以改变的，我打算慢慢来。 流式规划：这个方法我在月初的时候还有执行，到后面就完全没有实行下去。有几个原因：经常被手机控制，没有学习到1个半小时就拿手机开始刷；提示词的用处还是有的，但是有的时候会忘记写；最初进行了每日以1.5h一个epoch进行时间规划，但这种细分的规划完全起不到约束的作用。 工程思维：现在存在的一个严重问题是对ai的过分依赖（claude太好用了你懂吗😭）。最开始还会尝试审阅代码，后来就直接使用codex和claude code写代码，这就导致我对于代码没有完整的了解，代码能力也没有任何的提升。 输出：在科研开始的时候进行了一些知识输出，但是后半月就几乎没有了。周记也只写了一篇。 调整策略 open策略：我打算慢慢寻找更多的朋友，在校科协或许可以找到不错的伙伴。那里的同学我也和我目前的学习路径高度相似，我相信可以找到不错的朋友。 流式规划：1.5个小时为一段学习时间的规划，我认为依然是好的。在执行的过程中，我发现用Focus Noodles强制隔离手机的效果不错，这个月需要加强执行。而每日细分epoch的规划就放弃，使用动态的规划形式。 工程思维：这个月需要强制降低ai的使用频率，review自己科研项目的代码和robocup的代码，不能做到无脑使用ai，对ai的改动需要清楚为什么。 输出：这个可以和工程思维的改动一起做，贴一些代码阅读上的反思，和阅读论文的笔记。这个月定一个目标，必须要写出自己当前研究方向的一篇综述。 四月重点 经过上文的一些反思和总结，这个月要做的事大致如下： 学习大纲 课内知识：这是重中之重，这个月必须要至少学到老师讲到的地方，并且要有足够的刷题。可以考虑一天看课一天刷题。每天必须先学足够的课内课程才可以进行其他学习。 research：快速review完当前实验的状况和改进的点，距离截稿日期还长，可以保持低频的输入和输出，保证每天有进步即可。 robocup ：停止完全的ai代码，把一些重点代码读通，补充这方面的通信知识也是不错的。 Stanford CS106B/X、ECC、汇编：这些课程可以在以上三个方向完成后作为补充知识（大概是不会做的），其中ECC可以作为学习之余解闷的放松，深入强化一下claude code的使用。 总而言之，新的一个月继续加油，少崩溃，多反思，GO！

简单回顾 本周主线：深入阅读敲定下来的科研方向的文献。 最大推进：阅读了5篇该领域的主要文献。针对transformer不熟悉的问题，学习了transformer的基本架构与实现，了解了CILP的底层架构。 最大问题：每日效率有待提高，有的时候会陷入不断制定计划的虚假的自我满足；对课内学习有所忽视。 主要学习内容 本周主要针对LLM+FedDG方向做了深入的文献阅读，CoOp → PromptFL → DiPrompT → FedTPG → FedDSPG，详细了解了soft prompt在联邦域泛化领域的进展。 下面对每篇论文的内容做简要概述： 文献一：CoOp（IJCV 2022） 创新：该文献首次提出了图文模型（CLIP、ViT）在联邦域泛化领域的应用，通过生成soft prompt的形式显著改善了人工提示词工程量大，泛化效果不高的问题。 问题：但它是单机方法，无法适用于数据分布在多设备上的联邦场景；且学到的 prompt 是静态向量，对训练时没见过的域/类泛化能力有限。 文献二：PromptFL（IEEE TMC 2023） 创新：首次将 CoOp 的 Soft Prompt 训练搬进联邦框架，只聚合 prompt 向量而非整个模型参数，通信量压缩约 110 倍，且在 Extreme Non-IID 下仍保持稳定（88% vs 传统 FL 的 29%）。 问题：所有客户端共享同一个 Global Prompt，不区分域差异；没有评估对未见目标域的泛化能力（即不涉及 Domain Generalization）。 文献三：DiPrompT（CVPR 2024） 创新：将 prompt 解耦为 G-Prompt（通用知识）和 D-Prompts（域特有知识），并设计 Q-Prompt 自动查询样本所属域，消除了对域标签的依赖和客户端与域一一对应的限制。 问题：D-Prompt 池大小固定，需要预设域数量；推理时的协同集成依赖目标样本与源域相似的假设，面对全新域时可能失效。 文献四：FedTPG（ICLR 2024） 创新：用轻量级 PromptTranslator 网络根据类名文本 embedding 动态生成 prompt，使模型能泛化到训练时未见过的新类别，解决了固定 prompt 向量无法跨类迁移的问题。 ...