Category Archives: Academic

      进来越来越感受到自己治学的不严谨。细细想来，真的都有些痛恨自己了。现在回想起当年本科在清华的岁月，对于别人的一丝不苟和扎实的基本功经常抱着一种不屑一顾的态度，真是万分地惭愧。活了这么多年，才对这个问题有了比较清醒的认识，不知道是不是有些可悲。不过亡羊补牢，既然发现了，就应该正视并加以克服。       具体的表象主要有三个方面：       1. 对各种知识缺乏深刻挖掘的精神。对于一些比较复杂的内容，往往仅满足于字面意思的理解，对于背后隐藏的更深刻的思路和方法常偷懒不愿思考，以至于对各种知识还不能融会贯通，经常看了这里忘了哪里，想应用就更难了。       2. 对科学的探索缺乏持之一恒的精神。往往一本几百页的书，认真看150，胡乱看150，马虎过150。干事情虎头蛇尾，对于各种知识中的精华，缺乏细细的咀嚼。       3. 基本功极不扎实。想当年同班同学中那些“演算10页纸内不出错”的本事，真是自愧不如。许多问题，手和脑严重脱节，以致于不能真正做到融汇贯通。这样的情况是难以让人容忍的。             希望自己能在以下几个方面加以改进：       1. 干事情坚持到底，从始至终都要保持着兢兢业业的态度。对于各种知识，都要充分调动所有的因素进行积极地思考。要真正做到融会贯通。       2. 努力提高自身的基本功，目标争取能达到“在保持较快速度的情况下，三页纸内不出错”的水平。目前也只能做到一页纸的水平，真是太差了。       3. 努力宽展自己的思路，发散性思维是创新的基本来源。       4. 时刻都认识到自己于他人的较大差距，努力提高自身水平。       其实现在想起来，当年本科的时候为什么学习成绩上不去，就是因为治学态度这个致命的缺点。这一点上要向杨帆和老吴两位同志学习，争取能缩小和他们之间的差距。

      最近花了一点儿时间拜读了华罗庚先生在上个世纪五、六十年代撰写的一些关于学习的文章，虽然从中还能嗅到当年的些许政治气氛，但是先生严谨的自学态度，勤勉的钻研精神，深刻的学习方法都让我回味很多。反复思考过后，决定结合哲学世界的某些规律，写点儿什么，以期更大的提高。       每一个科学研究工作者开始科学研究的第一步就是需要学习前人的知识和经验，为自己的工作打下一个良好的基础。在这一点上，中国人和美国人有着一个本质上的差别，形象一点来说，中国人注重学了多少公式，而美国人则看重会用多少公式。前者虽然积累了一定的知识量，但是由于不会应用，学到的东西是僵化的。后者虽然会用一些，但是学的东西太少。如果能将两者结合起来，则真的是具有了一个坚实的基础。“量变引起质变”，但是自身能广泛的学习，并学会应用，才是真正的量的积累。在客观世界中，“矛盾是无处不在的”，在学习中也是如此，一个通常的矛盾就是学习广度和深度的问题，有的人过分强调打基础，这在某种程度上并不是一件好事，要知道，在各门学科高度发展的今天，想样样精通是不太可能的。因此，在学习时，应该有选择性地汲取，在具有一定知识的基础上，加以深入和应用。然后再进一步扩大学习范围，开阔视野，这样可以说是一种最为科学合理的滚动发展。       事务都是具有普遍联系的。深刻理解这一点在学习中也很重要。常见的错误是过分注重就事论事，用通俗一点的话来说就是对于当前学习的东西只能在当前的范围内理解，不能与其他的领域联系起来，更谈不上融汇贯通了。这样学到的东西还是“死”的，一方面不能在实际工作中发挥作用，另一方面由于只是掌握皮毛，遗忘的速度也很快。如果能经常性的进行各种程度上的联系和深入思考，那么学习得到的成效就会有显著的增加。       一些朋友们认为，学习刻苦是一个十分重要的方面，对此我深表赞同。但是仅凭借耗时间本身的意义并不很大。因为达到的效果还与你单位时间内取得的成绩有关。这里我仅列举一些常见的错误：       a. 钻牛角尖：在一个问题前长时间逗留，不注意更换思维角度和思维方法，这样浪费时间是很不值得的。       b. 过分依赖前人的结果，不注意自己主观能动性的发挥。这样容易使自己陷入解决问题速度过于缓慢，对某些疑难问题束手无策的窘境。       c. 学习方法过于单一：缺乏深刻理解“实事求是”的客观原则，不重视改进自身的学习方法。“一把钥匙开一把锁”，要知道，对于不同的问题，总是采用相同的方法，是不可能每次都奏效的。       d. 缺乏信念：没有意志和信念，在任何困难面前都会停滞不前。相信自己，不怕困难，才有可能不断前进。       e. 缺乏科学合理的时间安排：一个好的安排能大幅度地提高工作效率，如果总是随性所致，那么很多时间都会陷入到低效率或者零效率的陷阱之中。       f. 对自身的能力估计不足：需要承认的是，每个人的能力差别不同，如果没有冷静客观的估计，过分地随大流，就不能真正发挥自身的潜力。过低的这样对自身的资源是一种浪费，而过高的估计则必然会导致失败。准确的估计，并制定合理的应对政策是十分重要的。       因此，如何能让自己的工作真正有效率起来，是每一个人都应该认真思考的问题。       在学习的过程中，应该习惯于进行经常性的思考，总结当前的问题，积极改正，自己的各方面情况就会逐渐的好转起来。许多前辈大师们在这些方面为我们做出了杰出的榜样，只要我们能虚心的学习，就必定会有所收获的。

      昨天真是奇怪，上午的偏微分方程和泛函分析竟然同时被cancel掉了，本来星期五是比较辛苦的一天，但是由于两门麻烦一点的课都cancel掉了，所以显得稍微轻松一些，但是昨天要meeting，所以又花了不少时间干活，准备一些notes和ppt。这个星期的working比较有成效，昨天我给老板比较详细的论述了如何证明估计的无偏性。这里详细记录一下我的想法，以便能为自己做个梳理。       我要证明的命题是，对于一个G/G/1 queue，如果利用仿真得到了一个sample path，那么如果变动系统参数（可以具体到service time distribution），那么在仿真长度很大的时候，可以利用service time的derivative 与G/G/1 queue对偶模型构造一个对于mean waiting time的estimator, 并且要证明，这个estimator 是无偏的。昨天我列出了整个证明的框架，大致如下：       1. 首先利用perturbation analysis计算一个sample path在参数扰动情况下的总体波动值       2. 根据IPA理论，假设波动值很小的时候sample path不变，计算出当参数波动趋向于0时的极限值。利用perturbation analysis 的关键好处在于，在求和过程中，无穷小量会同时出现在分子和分母之上，从而互相约去，也就不需要进一步讨论，函数序列项的收敛性质。原来我的设想是在Banach space里讨论问题，利用fix point theorem来证明收敛性质，或者直接利用分析里函数序列项收敛的条件进行证明，现在看来不用这么复杂。但是对于目标函数的一般表征，我猜想应该有可能利用Hilbert space, 或者Banach space里的一些性质进行分析，可能会得到一些要求更宽的结果。这个是深入以后的问题了。       3. 计算出无穷小量的波动值后，经过简单的intuitive analysis，就可以得出，证明无偏实际上就需要证明E(dW)=dE(W)。这个结果，在实分析中是一个比较经典的例子，利用monotone convergence theorem可以证明fatou theorem，然后利用fatou theorem可以证明dominant … Continue reading →

      最近好像感到一些朋友们因为各种原因，想提高自己的数学水平。可是原来又没有受过系统专业的训练，虽然我也没有受过类似的专业培训，但是由于大学里的要求还算严格，自己也有些兴趣，所以也有点儿体会，希望能对朋友们有用，少走一些弯路。       大学里大部分系都会上的数学课通常有：微积分（1，2），线性代数（1，也有可能会有2），复变函数，概率统计等。在大学里各个系的要求是不同的，比如来讲，就是微积分，有的学校开的课叫高等数学，用的课本往往比较薄，内容也很通俗，这基本上就是C类或B类的要求，对于学习一些高级课程是不够的，即便是A类的要求，如果不是数学系开的数学分析，那么也距离要求有一定差距。这里的区别主要在于，数学分析中，要学会的是各种最基本数学概念是如何从最原始的公理，通过一系列严格而美丽的数学推理建立起来的，这些东西是学习后面高级课程的重要基础和保证。而基本拓扑，连续，可导，函数序列中的许多概念在后面的大部分课程中都要用到。因此，如果没有学过的朋友想提高自己数学水平的话，专门学一下这门课是绝对必要的。换句话说，只有学过真正的分析，才算入门。推荐书目：Rudin 《Principles of Mathematical Analysis》，学习时间：一个学期。       第二门基础课是代数。通常我认为代数的精髓还是在代数（二）中，或者是数学系里开的高等代数。从严格的数学角度，进行各种矩阵分析，以及其中的群、环、域等概念，对后面的课程学习也都是十分重要的。通常开的线性代数过分强调应用，理论的价值要稍微低一些。建议想提高自己水平的同学可以去学习artin 的algebra，可能一个学期不能学完全部，但是应该可以学完必要的部分。       学过了分析和代数以后以后，下面选择的余地就要稍微大一些了，最最基础的课有《常微分方程》（under级别即可），复变函数，拓朴学，概率统计，离散数学等，这些课一般的学校都有，虽然难度各有不同，但是只要具备一定的基础，对于后面的学习并不会构成严重的障碍（而分析则不然，不学的话后面的确寸步难行！！！）       下面就我对research阶段的数学课程做一简单的分析，学习大部分的高级数学课，都需要实分析的基础，因此这是第一个必须花大精力啃下来的东西，没有实分析，后面的复分析，凸分析，随机过程（数学类，不是应用随机过程），泛函分析，偏微分方程，概率论（数学系要求，不是工科系开的那种）等课程都回遇到一定的困难。我还是比较倾向于royden的那本《Real Analysis》，不过内容太多，如果要精练一些的话，dudley的那本《Real Analysis & Probability》的前一半是不错的教材（一个学期就能学完），据说kolomogrov的那本《Introductory Real Analysis》写的十分美丽（我只是粗粗浏览过一下，没有仔细看，所以不太清楚）。当然可以专门学measure theory 和 integration，这类书比较多，工科学生不用看一些advanced 的书，找一些classic 的text就行，网上有一些free的讲义，大概measure theory和 Lebesgue integration都只有70多页，应该是够用了，不过理解起来也挺难的，需要大概一个学期。前面分析学的比较好的人，可以试着学习一些advanced的text，比较好的好像有Frank Jones的Lebesgue integration on Euclidean Space和L.C.Evans的Measure Theory and Fine Properties of Functions。不过好像比较难，学起来比较费劲。学过实分析以后，选课就要轻松许多，对于大部分课程，只需要根据不同课程的prerequisite补一些内容就可以了，因为学过实分析，所以即便差一些要求的知识，补起来也不是很困难，应该都能顺利学完。 … Continue reading →

      函数的导数反映的是一种函数变化的趋势，导数的定义是建立在前面连续的基础之上的。换句话说，函数的可导性必然能得到函数的连续性，反之则比不一定成立，而且通过后面的构造可以看出，存在一个任意点都连续，但是任意点都不可导的函数。最开始的四则运算法则和chain rule都是最基本的导数定理，但是需要注意的是，使用公式时要满足一定的条件，另外隐含的一点就是要注意open, close集的条件。      中值定理是导数一部分中最重要的一个部分，之所以这么说是因为这个定理将导数和原函数联系了起来，并且与局部的最大最小值具有对应关系。对于中值定理的概念，需要在更加宽泛的范围内进行理解。也就是说，要理解general mean value theorem的内容。我的理解是，对于两个一维函数，如果将空间反转至他们之间的相对空间，那么那么也存在一个相对的导数，满足一般中值定理的条件。而微积分里面讲的中值定理说的就是其中一个函数g(x)=x是的特殊情况。对于导数，如果定义在一个闭集上，那么他的变化也应该是连续的。这里的连续性主要源自两个方面，一是定义域的compact性质，另一个方面是单点左右导数的相等，这些条件使函数满足了导数连续变化的性质。       洛比达法则是一种常用的求两个变化趋势相同比值极限的方法。这个可以和后面的高阶导数联系起来。从数学的本质上来看，洛比达法则反映的是两个变化大趋势相同的函数的相互变化快慢是通过各阶导数以字典顺序反映出来的。这个规律可以从后面的泰勒定理看出来。泰勒定理并不是通常映像里的泰勒展开，而是通过泰勒展开形式的必然存在性而推出了展开的一般表达式。而最后关于向量的导数性质，可以由1维欧几里德空间的情况直接进行拓展。       这里只是说了一些比较简单的通常的可导性质。在实际的研究中，许多领域都需要研究函数的可导性质。推广到优化领域，对于规划问题目标函数可导性质的研究是很有必要的。这里需要一些实分析，凸分析和泛函分析的知识。就我的肤浅理解，利用实分析中的lebesgue measure 来确定空间连续，收敛或者具有某种性质，从而达到可导的性质，凸分析里面应该可以用到一些subdifferential和directional derivatives和目标函数之间的关系，对于后者，我知道的非常少。而泛函里面的函数算子应该能反应出导数的某些极限性质。在空间曲面里，情况可能比较复杂，估计gauss定理或者support等条件会对函数的可导性质有所影响。具体很多细节，我也不是很清楚，所以这些分析可能有很多错误的地方，希望与有兴趣的朋友探讨。

      休息了几天，精神明显好转，继续开始这个分析系列总结。今天想要说的是函数的连续性质。       函数的连续性质是十分有趣的一部分。在二维欧几里德空间里，函数的连续性质比较容易直观的想到，在这里，我们可以利用二维容易得到直观想象的特点进行总体上的概诉。函数的连续性质是利用前面建立的极限概念进行一种函数性质的描述，用通俗一点的话来说，就是在metric space里无穷接近一种数学描述。由于函数从本质上说是一个space向另一个space里的映射，所以前面谈到的n维欧几里德空间里极限和序列的概念就可以被利用到这个里面来。但是这里存在一个问题，就是在这个过程中加入了映射一个环节，因此所有结果的应用就必须有其他相应的条件，这也就是连续要解释的问题。       首先，函数连续的概念还是利用open set的概念，一个映射空间里的开集半径总能在原空间的开集里找到一个相应的半径，使得原空间开集里所有的点，其映射点都被前面设定的映射空间的开集所包括。这里比较重要的是这个定义的因果关系。从这个概念，可以利用序列中子序列与收敛之间的关系，构造一个对应的连续判定条件。在metric space里，连续性质对于四则运算具有闭包的性质。在此基础上，更近一步，给出复合函数g.f也连续的结论。定理4.8给出了十分重要的一个连续判定条件：映射空间里的任一开集在原空间里对应的域也为开集（引理告诉我们闭集也成立，这由开集和闭集互为complement的结论可以直接得到）。这一部分最后是将连续的概念扩展到n维空间里，由于对于确定n维空间，n总是有限的，所以连续的条件比较明显。       基于前一部分的基本定义，下面要叙述比较有趣重要的一部分，就是continuous和compact，connect之间的关系。首先连续将在函数映射过程中继承compact的性质。由Heine-Borel定理直接可以得到compact continuous mapping后的为有界闭集。这里对一个容易想当然的情况进行了数学条件上的讨论，就是说，对于一个函数反函数连续性的判定。仅仅有连续这一条件是不够的，需要有compact一条，证明中利用了4.8，我理解compact主要还是对映射域内函数性质的一种描述和限制。在continuous里面，开始有了uniformly 这一概念，后面的内容中，uniformly的概念将会得到十分广泛的应用，主要原因在于，uniformly是一种比原概念更加严格的条件，从而能产生许多我们需要的结果。uniformly的条件从直观上来说，就是将原有的概念用统一的一个约束半径来限定。在定义了uniformly continuous的基础上，我们立刻得到了一个十分漂亮的结果compact的continous映射就是uniformly continuous 的。这里的证明虽然较长，但是还是利用了compact能将任意的open cover有限化这一基本性质。对一维noncompact的三种集合的构造恐怕是为了说明compact对bounded，maximum(minimum) value contained, uniformly continuous几种条件的影响（这个是我自己猜测的）。对于connect的性质，continuous同样具有继承的性质，这里叙述了一个容易混淆的概念，就是定理4.23，我们容易有一种印象，就是逆命题成立，但实际上是不成立的。然后是对于两种不连续的定义(1) f(x+)!=f(x-)(existed), (2) otherwise.这里一个比较好的idea是利用三角函数往往能构造出不同性质的特例。       最后就是单调函数的概念，首先要区别单调和严格单调的区别。然后单调函数具有的比较好的性质有任意点左右极限的存在性（不一定连续！）所以单调函数没有第二类不连续的情况。对于单调函数中不连续点的uncountable性质，利用有理数的uncountable就可以直接得到。最后，连续的基本概念可以被扩展到extended real system 中，并且四则运算的性质可以被照搬。        连续的性质是后面可导，积分及函数序列中的重要基础，从这一部分的建立过程来看，还是前面无限小量和basic topology概念的延伸，对于函数连续的情况不能仅停留在二、三维几何的直观想象中，还是应该习惯于利用无限小量的数学描述进行连续概念的思考。

      数列和级数是当初我学得比较扎实的一章，许多内容现在还记得很清楚。从总体上来说，序列的讨论还是通过单维的实数空间向多维欧几里德空间扩展，通过对单个元素的研究向部分和扩展。对于单维的性质，基本上都是围绕着收敛这一基本原则来讨论的。在序列的研究中，最重要的思想应该是序列和级数在集合层面上的性质可以和连续空间内的性质相联系起来。换句话说，我们可以通过序列在集合的某种完备性质来研究连续空间里面的相对性质。       首先，序列的收敛定义和limit point的定义在思想上比较类似，都是对于无穷情况的一种在metric space中的聚集描述。序列的聚集描述，可以得到序列运算的收敛性质（这个很明显），乃至到n维欧几里德空间的收敛性质。基于这些比较简单明显的定义，收敛的性质被重新描述（由极限的变化变化至metric space中距离的约束），从而定义了cauchy 序列。cauchy定义的可以说是讲序列的收敛恰到好处地变换到meric space中，然后仍然得到收敛地结果。从而引入了收敛半径的概念。cauchy序列引入的直接好处就是导致了多维空间的收敛也可以利用距离来描述。在子序列的基础上，有一个比较重要的概念，就是空间的完备性质（任何一个cauchy序列都收敛，即complete）。这里有一个有趣的现象，就是关于单调序列的定义，这里我们可以联想到在随机过程中证明的收敛定理就是利用了这样的性质。而单调有界的条件也成为了一种相对完美的充分条件。       在序列收敛和子序列的定义基础之上，收敛的上下界，收敛的聚集点的概念也就可以顺利的定义出来。在一些特殊的序列中，所有的序列都体现出了一个基本的思想，就是当两种无法有限量化的量在一个序列中形成相对矛盾的时候，变化速度快的一方占据主导地位。后面的一些序列的极限点的求解就是基于这几个基本序列的收敛性质的。从这里，各种定理的证明就体现出了一种相对有规律的模式——将各种与无穷小量无关的因素都化为有限量。这一思想在后面级数性质的证明中得到了充分的体现。       关于级数，是一种比收敛更加严格的收敛描述（这个结果虽然十分明显，不过还是在这里废话一句）。一个重要的例子就是1/n这个序列的收敛性质，需要肯定的是，对于这种模式的序列，1次幂就是一个分界点。对于级数的收敛性质，也有着不同的区别，通俗一点来说，就是有的序列收敛是因为趋向极限时的互相抵消，而另一种情况就是非常严格的绝对值收敛。对于前面那种1/n的级数，可以将条件放宽到logn的讨论中，一样具有普遍意义。在级数的基础上，就是对自然对数底数e的定义了。对e收敛的证明十分有趣，归纳说来，是利用两个序列的趋向极限时相互追逐得到的（我认为此方法十分美丽，呵呵）。同时对于e是无理数的证明比较通俗，没有啥精彩的idea. 收敛的root test和和ratio test还是利用了前面几种特殊序列的收敛结果，虽然对于收敛的判定时比较方便的工具，但是这个仅为充分条件，还不能归纳收敛的所有情况。然后是关于幂级数的定义。比较明显的一个结果是，幂级数可以堪称两个序列乘积的级数，基于此，一些前面的结果就可以得到应用。       最后的内容比较精彩，首先是关于幂级数和级数的product之间的联系，也就是说，通过研究product的收敛性质我们可以来了解幂级数的收敛情况。至于那个product收敛的定理，可以理解为两个序列都收敛，一个要求更严格一些。第二个概念是重排（rearrangements），重排定义的意义在于重排能反映出序列本身收敛的松紧程度。因此这里要用到absolute convergence的概念。有趣的地方在于，对于不绝对收敛的一个序列，可以通过巧妙的构造得到一个收敛于任意一点的partial sum序列，构造方式利用这种序列的局部发散性质，采用上下摇摆的方式，逐渐逼近的方式，十分有意思，呵呵。对于absolute converge 的级数，重排并不能改变什么，这也正反映出了收敛中不同情况的差异。       classic 的序列和级数是十八世纪的研究成果，虽然今天看起来已经比较浅显易懂了，但是其中散发出的数学魅力还是令人难忘的。

      最近在读rudin的那本著名的Principles of Mathematical Analysis. 虽然以前学过一些分析，并且也读过北大的那套《数学分析新讲》，但是今天再读rudin的这本数学名著，还是有很多不同的感觉和体会。       首先，实数域的定义方式有两种，一种是利用set theory里面的相关性质，对实数域的各种基本性质进行完备性描述，这种可以说是直接叙述型，在royden的那本实分析中，实数就是这样被定义的。但是那本书是在此基础上进行其他内容的深入探讨，所以在构建实数域的方面，并不过分强调。在rudin的这本书里，实数的构造被描述的相当完备，用简单的话来说，实数是在有理数的基础上，利用割集的概念扩充无理数后形成的ordered集合。由于这种构造的形式，实数的稠密性便可以得到最直观的体现。另一方面，实数域的achimedean性质可以被用来证明许多实数的性质（有的时候这个性质的表述略有不同，但是都可以体现整数，有理数，无理数之间的相对联系）。最后就是最重要的least upper bound定理，这个定理将是后面很多证明的基础条件。在实数的基础上，数域可以被拓展到叙述乃至多维的euclidean space中，从本质上说，都是有限维的实数序列。在扩充的过程中，一些性质（例如加法闭包的基本性质）都可以被继承下来，可是也有的性质不能被继承，或者不能被直接继承，例如实数的ordered 性质就不能体现在complex numbers 中（附加条件的情况例外，例如lexicographic order）。通过对实数基本性质的学习，可以对实数在数学空间内形成和构造，以及从本质的集合论的角度的描述有了一个基本的了解。       第二个部分是rudin全书最精彩的一个部分 basic topology。这一部分的写作环环相扣，逻辑十分严密，读的过程中能深刻地体会到数学中地美感。其中比较重要的概念比较多。首先是countable的概念，从直观上理解，countable是介于finite 和uncountable infinity中的一种情况（也有书把finite的情况也算作countable，我还是采用countable是基于无穷情况的定义）。这一概念的本质含义在于集合和整数域之间的one-to-one mapping关系。更为精彩的是，有限个countable集合的cartesian product得到的set还是countable，其中比较直观的结果之一就是有理数域是countable。基于此，那个从neighborhood 到perfect set的定义十分完美。在metric space的定义基础之上（几何含义比较明显），neighborhood, , limit point, closed set, open set的定义是十分重要的。这里要摆脱一个原有的直观简单认识：closed 和 open是互斥的。closed set和open set除了那是个交并的基本关系以外，就是complement的关系（very useful!）。第三个部分是这一部分的核心定义compact，这个定义很简单，任何一个open cover 都存在一个finite … Continue reading →