按照方向记录看到过的课程,视频,书等材料。大部分不一定看了。
如何自学纯数-一个完整的指导,来自youtube,被B站用户搬运过多次。从中可以大概知道存在哪些方向,以及入门可以看哪些书。
-
Youtube上的视频 youtube.com/watch?v=byNaO_zn2fI
-
中科大数学系学生们整理的 USTC基础数学修课指南
- 云端脚下——从一元二次方程到规范场论,曹则贤
曹则贤老师在中科院组织的跨年演讲先后讲了电动力学,相对论,量子力学和热力学。科普写的很好。这本书从基本的一元二次方程讲到规范场论,野心极大,范围极广,因此深度也不会太够,但对于引起初学者的兴趣是足够的。书里也给每一部分提供了丰富的文献列表,供感兴趣的人自己拓展。他的跨年演讲和这本书也是我开始复习和学习的重要因素。 - 数学在19世纪的发展, F. Klein
这本书原本是齐民友先生翻译的,23年刚出版了知乎网友根据多种语言版本做的校注版本。阿诺德称这本书教了他一半的数学知识。
线性代数太基础了所以也很重要,也适合拿来作为复习或学习的起点。除了后续的数学课程需要基本的线性代数,AI模型架构上的创新研究也都是在矩阵上做文章。
- Linear Algebra, Gilbert Strang
- MIT OCW 的公开课程 Matrix Methods In Data Analysis, Signal Processing, And Machine Learning
- Linear Algebra Done Right, By Sheldon Axler
实分析很有意思的一个例子是 Karl Weierstrass 展示的一个处处连续但处处都不可导的“病态”函数,跟直觉是相反的。
这本书里还有一部分我看的内容是傅立叶变换的历史和基础的概念。
- Understanding Analysis, by Stephen Abbott
- Video: Real Analysis by Francis Su
拓扑的一个有意思的应用:公众号MathSpark: Furstenberg's 关于素数无限的拓扑证明
这篇文章让人希望理解拓扑说的开集、闭集是什么。
- 课程 Toronto Univ. Mat327 Topology
一般都推荐这门课,且有一个很多题目的题库,但一开始不懂所以只看了一点。
-
Complex Analysis, by Serge Lang
这本书大致看了前面的部分。 -
Visual Complex Analysis, Tristan Needham
这本书有齐民友的中译版。作者是诺贝尔物理学奖得主 Roger Penrose 的学生。看过时间简史的人应该对他有印象,霍金提到过不少次。作者是个很有意思的人,可能比较像 Arnold, 认为牺牲一些严谨性但是让更多人感兴趣是值得的,不过内容还是硬核的。感觉很多人都看过。前面几十页复数的历史和基本概念,sin 和 cos 函数以及 sinh 和 cosh 函数在复平面上的联系的图有点意思,第一个震惊我的地方则是对复平面上函数的幂级数展开(固定角度)和傅立叶级数展开(固定模长)之间的联系的解释。 -
Visual Complex Functions, An introduction with phase portraits, by Elias Wegert
一个学习小组里的博后推荐了一个复函数可视化的网页 https://samuelj.li/complex-function-plotter/
另一个相关的启发了上面这个网页作者的网页是 http://davidbau.com/conformal/
- Abel's Theorem in Problems and Solutions, V.I. Arnold & V.B. Alekseev
阿诺德给莫斯科中学的学生开过这门课程,用拓扑的方式证明关于代数方程可解性的阿贝尔定理。Alekseev 作为听过这门课的学生,后来根据阿诺德的讲义整理出的一本书。因为是给中学生的课程的材料,所以比较好理解。书里包含 Group, Complex Number 和提示解答三章以及 Khovanskii 提供的一个讲可以用显式公式求解的等式的可解性的附录还有阿诺德本人的一个附录。前两部分内容都是通过基本定义和问题的方式引导学生逐步得出结论,在书的后半部分给出提示、题解和其他附录。第一部分是讲基础的群论,然后引出正十二面体对称群的不可解等价于五次方程无根式解;第二部分介绍复的黎曼面的构造,以及代数方程的解的置换,系数在黎曼面上的置换,给出了阿贝尔定理的拓扑证明。
知乎上有位用户为阿诺德的这部分内容写了两篇不错的科普:
复平面上多项式根的网页 demo: https://duetosymmetry.com/tool/polynomial-roots-toy/
- 给未来几何和拓扑学家的阅读建议
这是一位网友写的 Needham 的书 Visual Differential Geometry and Forms 的附录的翻译,他将其视为给未来几何和拓扑学家绝佳的阅读建议。这位网友的博客也写了看丘成桐先生自传《我的几何人生》的感受 和 感受其二:
看别人学数学、做数学,犹如看别人谈恋爱、做爱,远远比不上自己去做来得快乐。真正的快乐发生在创造的过程中。
-
课程:《拓扑与几何》 Tadashi Tokieda
B站的一个数学物理相关的推荐博主白鸟青山鸣迷途何复归,在B站上传了这门课的翻译视频【热播连续剧】拓扑与几何-数学家Tadashi亲授 |Topology & Geometry。
原视频在 Youtube 上的南非数学科学研究院 Topology and Geometry, by Dr Tadashi Tokieda in 2014
一位日本老师给南非的一个班上的一门 的课程,对基础没有太多要求,讲的感觉很有意思。 这门课用黑板来讲,可以跟着记笔记,能跟着学会怎么画一些图。课程开始就说他希望大家注重图像思维 picture thinking,无论何时做数学时永远画图,以及除了物理现实的物体外还有更多的图像,要学会看到看不见的东西以及在这些图像上推理。
第一章从基本且重要的流形的分类讲起,然后第二章讲同伦 Isotopy 的概念,第三章引入相交数 intersection number,随后第四章讲不动点理论(Lefschetz Thm 和 Brouwer Fixed Point Thm)及相关应用(包括Nash均衡和Markov链),第五章是向量场的 equilibria,引入了 Tangent Bundle、欧拉示性数 Euler characteristic 和相关的Poincare-Hopf指标定理,第六章作为几何理论的应用证明代数基本定理,d>=1次复多项式,复平面上一定有一点使得该多项式为0。最后作者讲了些故事,比如 Lefschetz 是一个因为事故失去了手的数学家,但他靠把粉笔卡在手上可以做数学以及讲课,还有这些南非的学生跟 Lefschetz 产生了一些联系。
在 Mathematics Genealogy Project 网站可以从 Tadashi Tokieda 一路点 advisor 向上看导师是谁,这样可以一路看到
Tadashi Tokieda <- William Browder <- John Coleman Moore <- George William Whitehead, Jr. <- Norman Earl Steenrod <- Solomon Lefschetz
Tadashi 本人的经历也很有意思。小时候很有艺术天赋,后来到法国学语言,写毕业论文时要选一个人的传记,碰巧在图书馆看到朗道的传记,里面的一个故事是朗道在医院问来看望他的儿子,dx over sin x 的不定积分是什么,他的儿子不知道因此他很失望。Tadashi 当时感觉到自己也被批评了,于是开始学数学(同时学了点俄语)。几个月后他就决定转到数学方向,到允许他转入的 Oxford 学了两年数学,然后到 Princeton 去拿到数学的 PhD。
- 微分几何讲义,陈省身,陈维桓
实际上这是按照讲义的内容整理的,内容本身不是按照书来准备的,所以没学过的人比如我看起来有点吃力。看看其他书和课程有一定理解后再看其中的部分感觉理解了一些里面在讲什么。这本书自然很经典,比如给未来几何和拓扑学家的阅读建议也说我们应该看这本书:
收录这本高级的作品,只有一个原因,也只有一个原因。Chern(陈省身)(这本书是根据他的讲座编写的)是20世纪最伟大的几何学家之一,因此他说的任何东西,我们都应该认真听。
-
An Introduction to Manifolds, Loring W. Tu
作者是美国台裔数学家杜武亮,这本书写的很好懂。目前看到第一部分,R^n中的切向量等概念。看了 R^n 上的外代数和微分形式之后,感觉再看其他地方学过的流形的定义,光滑流形和微分结构就感觉熟悉多了。 -
微分几何入门与广义相对论,梁灿彬
课程:B站视频
很多人推荐梁老师的广义相对论课程,不过视频内容有点长,而且不得不说微分几何入门的部分第一遍很难就完全理解,所以暂时没坚持看下去。 -
Introduction to Smooth Manifolds,John Lee
伯克利的 Math 214 Differentiable Manifolds Spring 2022 采用这本书作为教材,作为一门本科生课程可以跟着听几节。
有人传了疫情期间线上的21年春季的课程视频到Youtube。 -
课程:华东师范大学2021春-微分几何
这个课程材料是google搜索时发现的。lecture 是按照讲课的逻辑写的,看文字跟看视频差不多,不像一般的教材那么抽象难以看下去。老师给出各种定义有一些常用的“套路”,看起来很合理。 -
课程:东京工业大学理学院 幾何学特論B (MTH.B402) (2018年度)
四个英文的講義ノート 可以看。好处是内容不多,只有四个讲义,介绍曲面的基本理论,比如第一、第二基本形式。看的不是很仔细。
搜索发现一般是在讲极小曲面的时候介绍这个,但似乎已经是比较细的知识。
ETH 的极小曲面课程 包含了一些参考材料。
幾何学特論F (MTH.B502) (2016年度) 的 lecture03 讲了等温坐标。
D 同学推荐看陈省身先生的证明等温坐标的存在性的论文 An Elementary Proof of the Existence of Isothermal Parameters on a Surface.
微信公众号集智俱乐部的一篇介绍性文章 双曲空间漫游指南:一场琳琅满目的跨学科之旅
网上的一些课程材料
- https://personalpages.manchester.ac.uk/staff/charles.walkden/hyperbolic-geometry/hyperbolic_geometry_1920.pdf
- https://homepages.warwick.ac.uk/~masbb/Papers/MA448.pdf
双曲几何为什么重要?有一篇公众号的文章说 几乎所有的东西都是双曲的 这么说可能不严谨,但是可能有一定道理。里面说曲率为0的曲面有torus和克莱因瓶,曲率为1的有球面和射影平面,所有其他表面——有无穷多个——的曲率都是-1。 实际上,在现在的 NLP 里面有着基本重要性的embedding模型,大多是直接用的欧式空间的距离和余弦距离,但不难想到推广到其他空间和对应的距离,已经有人研究双曲空间里的 embedding,比如
- 2017年的 Poincaré Embeddings for Learning Hierarchical Representations Maximilian Nickel, Douwe Kiela
- 2018年的 Hyperbolic Embeddings with a Hopefully Right Amount of Hyperbole
by Chris De Sa, Albert Gu, Chris Ré, and Fred Sala
不过这么做似乎还没有广泛应用,理论上也没有证明,也没有找到足够的证据说服这样是对的或者更好的。
顾险峰老师开的线上课程,涵盖很多方面的内容,代数拓扑,复分析,微分几何,黎曼几何,Ricci Flow 等等。
这是今年感兴趣的一个子话题。23年跟着大模型的潮流学了注意力机制 attention,但是不明白 Q K V 是怎么来的,为什么要有这三个矩阵。从道理上说,是让模型学到不同输入的 Q K V 三个向量表示,然后用内积/余弦相似度来表示某种距离,进而可以捕捉到向量空间中的特征。在 Transformer 架构中很重要的位置编码,作者们选择的形式跟傅里叶变换的基底很像,所以我想可以用傅里叶变换替代位置编码的加法。后来发现其他人都想到过,并且应用为 Google 的 FNet 和 苏剑林的 RoPE,前者是用傅里叶变换层完全替代多头注意力层,后者是位置编码方法。
- 一位Google的工程师做的很好的 Fourier 变换和 JPEG 格式的可视化介绍 https://www.jezzamon.com/fourier/
- 一个傅里叶变换的交互式简介 https://betterexplained.com/articles/an-interactive-guide-to-the-fourier-transform/
- Gilbert Strang 还写过一篇离散余弦变换,讲离散余弦变换、傅立叶变换和循环矩阵特征向量的关系。
- 课程 清华电子系张颢老师在国科大的现代数字信号处理I一班
手写板书。这门课还没看完,书只看了前两本的部分。自适应滤波器跟今天自回归的语言模型其实有点像。老师给上课的同学讲的两点建议或者说要求很有用:- 让思维习惯在符号上流转。考试前要写了三遍。
- Effective reading,在文献里,课本里,看到的所有符号,都要写下来。人会在看不懂的时候主动选择跳过,只看自己能看懂的,所以对符号太容易跳过。
参考书:
- Steven Kay, Fundamental of Statistical signal processing(第一卷:估计;第二卷:检测),重点在第一卷
- Haykin:Adaptive Filter Theory
- Stoica、Moses:Spectral Analysis of Signal
信号处理跟统计的关系感觉挺紧密的。张颢老师的课程里估计理论离不开统计,讲无偏估计理论就提到统计学领域的重要人物 C. R. Rao。Rao 在23年以 103 岁高龄去世了。
关于 Rao 我看到的他说的一段大佬发言是:
All knowledge is, in final analysis, history.
All sciences are, in the abstract, mathematics.
All judgements are, in their rationale, statistics.
-- C. R. Rao (1920-2023)
我看到的他的一个神奇的交叉的理论是 Fisher-Rao Riemann Geometry,定义 Metric tensor=Fisher Information Metric
对应的 infinitesimal squared length element
Fisher 信息矩阵对应于黎曼几何中的度量矩阵,利用度量矩阵可以给出每个信息微元?的模长的平方。
今年看到最小二乘法的时候总是会看到大家提起高斯是如何发明最小二乘法并计算并预测出一颗小行星的轨道和位置的。搜索了一下历史发现并没有书上讲的最小二乘法那么简单。一番搜索之后,发现网上有很多人先后写过高斯的计算过程,比较之后最后发现捷克 Charles 大学的 Daniel, Bed’at
高斯是如何计算谷神星轨道参数的?(上)
高斯是如何计算谷神星轨道参数的?(下)
这篇论文里其实主要内容是几何关系的推导,以及对高阶小量的近似忽略带来的计算简化,也就是如何得出一组初步的轨道参数。作者和其他介绍高斯的这项工作的人也都简单提到,高斯后续的优化,包括利用求出的轨道参数带入其他观测数据的时间,看得到的位置与观测值之间的误差,并迭代求出新的轨道参数,直到跟所有观测数据的误差值收敛到可以接受的范围。后来在看《数学在19世纪的发展》第一卷,F. Klein 的时候,他也提到高斯是如何应用最小二乘法的。因此实际上需要补充一下,高斯后续的迭代减少误差的做法,才比较接近我们今天理解的最小二乘法的**。