lec 1

Lecture 1
Administrivia; Introduction; Analysis of Algorithms, Insertion Sort, Mergesort

Why study algorithms and performance?

Q0: 如何理解"Performance is the currency of computing."
A0: 实际中常常牺牲性能以获取其它方面的优点，即做"trade-off". 例如为了面向对象等等，我们使用Java而不使用C（即使C更快）。

Q1: 举例说明"Performance often draws the line between what is feasible and what is impossible."
A1: 离散傅里叶变换（DFT）的复杂度是$O(N^2)$，这在历史上曾经一度成为信号处理、物理等领域发展的瓶颈。
1965年，快速傅里叶变换（FFT）被发明，其复杂度仅为$O(NlogN)$，大大推动了信号处理领域的发展。

插入排序（Insertion sort）与其渐近分析

Q0: 对于插入排序的伪代码

for j <- 2 to n
    key <- A[j]
    i <- j - 1
    while i > 0 and {}
        A[i+1] <- A[i]
        i <- i-1
    A[i+1] <- key

请在{}中填写适当的判断条件，使得输出是递增的数列。
A0: A[i] > key
注：如果写成了<，那么将得到递减的数列。

Q1: 接上，填写A[i] > key和A[i] >= key有何区别？
A1: 后者的开销恒大于前者，且会使得排序不稳定。

Q2: 分析算法时我们最常考察Worst-case，有时考察Average-case. 请提出一种新的合理的评判标准。
A2: 例如：算法以$1-ϵ$概率在多少时间内运行完。（言之成理即可）

Q3: "$T(n)$ (the expected time of algorithm of size $n$) is the average time over all inputs of size $n$."有何不准确之处？
A3: 需要对输入的统计分布做出假设。（实际中，可能是加权平均，而不是简单的求平均）

Q4: 在渐近分析中，常数有可能有什么实际意义？
A4: 不同设备的性能、不同运算（如乘法和加法）的开销、不同优化等级，等等。

Q5: 解释记号${\sum }_{j=1}^n\Theta (j^2)=\Theta (n^3)$.
A5: 如果对于一切$n\in {\mathbb{N}}_{+},j=1,\cdots ,n$，有$m{j}^2\le a_{n,j}\le M{j}^2$一致成立（即$m$和$M$是相同的），则${\sum }_{j=1}^n{a}_{n,j}=\Theta (n^3)$.
注：其实$\Theta$记号本身就要求了一致性。这里的$\sum \Theta$只不过把这种一致性的要求扩展到关于两个变量。

Q6: 利用Q5的记号分析插入排序。
A6:
Worst case: ${\sum }_{j=2}^n\Theta (j)=\Theta (n^2)$
Average case: ${\sum }_{j=2}^n\Theta (j/2)=\Theta (n^2)$（当然也可以写${\sum }_{j=2}^n\Theta (j)=\Theta (n^2)$）

归并排序（Merge sort）与其渐近分析

Q0: 从$T(n)=\Theta (1)+2T(n/2)+\Theta (n)$这一形式上的表达式，你能回想起归并排序的步骤吗？
A0: 第一项$\Theta (1)$是递归出口：如果$n=1$，则直接完成。第二项$2T(n/2)$是对数组的前半部分和后半部分分别（递归地）运用归并排序（这里略去了取整等细节，之后能证明这是没有影响的）。第三项是归并过程。

Q1: 简述递归树（Recursion tree）方法如何形式上对$T(n)=2T(n/2)+cn$作渐近分析。
A1:

以此类推构造树。无论是哪棵树中，所有结点之和都是$T(n)$，也就是$T(n)=cn+2T(n/2)=cn+2(cn/2)+4T(n/4)=\cdots$.
由于树最终有$logn$层（忽略取整等问题），每层各结点之和都是$cn$，故$T(n)=\Theta (nlogn)$.
注：递归树方法中的“树”结构对于渐近分析本身来说，并不是必要的。比如你可以画这样的链：

以此类推下去，最终整条链有$logn$个结点，每个结点都代表了$cn$，结果仍是$\Theta (nlogn)$. 但是，树结构能够一定程度上反映程序运行的机理和过程。例如对二叉树的遍历在一定程度上能反映归并排序运行的机制。

Q2: 对于光滑函数$T(x),x>0$，严格求解函数方程$T(x)=mT(x/m)+xlogm,\forall m\in {\mathbb{N}}_{+},T(1)=1$，并证明或否定若光滑函数$U(x),x>0$满足$U(x)\le mU(x/m)+xlogm,\forall m\in {\mathbb{N}}_{+},U(1)=1$则$\forall x>1,U(x)\le T(x)$.
对数以$e$为底。
A2:
$T^{\prime }(x)=T^{\prime }(x/m)+logm,T^{\prime }(px)=T^{\prime }(x)+logp,T^{\prime }(px)=T^{\prime }(px/q)+logq,T^{\prime }(px/q)=T^{\prime }(x)+log(p/q)$
$T^{\prime }((1+1/n)x)=T^{\prime }(x)+log(1+1/n)$
$T^{\prime \prime }(x)=li{m}_{n\to \infty }\frac{T^{\prime }((1+1/n)x)-T^{\prime }(x)}{(1+1/n)x-x}=li{m}_{n\to \infty }\frac{log(1+1/n)}{x/n}=1/x$
$T^{\prime }(x)=logx+C_0,T(x)=xlogx+D_{0}x+D_1$
$T(x)-mT(x/m)=xlogx+D_{0}x+D_1-xlog(x/m)-D_{0}x-D_{1}m=xlogm+D_1-D_{1}m=xlogm,D_1=0$
$T(1)=0+D_0=1,D_0=1$
$T(x)=xlogx+x$
第二问：不一定。
设$\Delta (x)=T(x)-U(x)$，则$\Delta (x)\le m\Delta (x/m),\Delta (1)=0$. 这一般来说不能导出$\Delta (x)\ge 0,\forall x>1$. 例如：$[1,2]$取平缓的负值，在1左侧和2右侧都快速地单调递减。具体反例的构造是平凡的。
注：渐近分析（特别涉及不等式时）往往比较困难。但在对算法做复杂度分析时，我们只需考虑整数值，故往往可以用数学归纳法等做出简单的证明。