PnP 问题即 Perspective-n-Point，最近一个星期被坑了两次，第一次被坑之后，因为忙，没有时间复盘，所以被坑了第二次。
我希望把 SLAM 问题中基础理论都归纳到统一的框架下，但我总是纠结 PnP 问题中三维点坐标是齐次的还是非齐次的，这样搞得很头疼。
在我的框架下已经有 Homography 矩阵和 Fundamental 矩阵，我是按照 MVG 这书的 DLT 方法计算 Homography 矩阵的，而 Fundamental 矩阵在 MVG 书上的推导比较晦涩，难懂。我是按照多年前看 Daniel Cremers 教授课程的方法推导的，具体的方法写在了以前的博客 【多视图几何】TUM 课程 第5章 双视图重建：线性方法 中。
现在我就是想把 PnP 问题归类到这两类方法中。
以下就用图片表示吧（有空再补上，嗯哼，“有空”，?_?）。
\(\mathbf{K}^{-1}\mathbf{x} = \mathbf{R}\mathbf{X} + \mathbf{t}\) 这一处转换是不对的，因为明显这个公式缺少了深度，这是因为 \(\mathbf{x}\) 本是一个齐次坐标，加上深度 \(\lambda\) 就 OK 了。