凸优化基础知识机器学习weixin43709601的博客-

凸优化基础知识

一、计算几何是研究什么的？

1、概念

随着科学技术的飞速发展及计算机在国民经济各个领域中的普遍运用，计算机辅助设计，即CAD越来越为人们所重视。当前的CAD工作中，计算机远远不只是一种高效的计算工具，它已成为人们进行创造性设计活动的得力助手甚至参谋。计算几何作为CAD的基础理论之一，主要研究内容是几何形体的数学描述和计算机表述；它同计算机辅助几何设计，即CAGD有着十分密切的关系。而CAGD是由微分几何、代数几何、数值计算、逼近论、拓扑学以及数控技术等形成的一门新兴边缘学科，其主要研究对象和内容是对自由形曲线、曲面的数学描述、设计、分析及图形的显示、处理等。
在第二次世界大战期间，人们已首次用计算几何的方法解决实际问题。当时尤其是航空工业的发展激励了新的设计方法的形成和发展。计算几何这一术语，最初是由明斯基和帕伯特于1969年作为模式识别的代用词而提出的，到1972年，福雷斯特给其下了正式定义：“对几何外形信息的计算机表示、分析和综合”。这里的几何外形信息是指那些用来确定某些几何外形的离散数据点或特征多边形。按照给定的信息，建立一定的数学模型，再通过计算机进行计算，求得其他所需的信息，这就是计算机表示。之后还需对所建立的数学模型特性及误差等进行分析、综合，以便逼真地反映出几何形体。、

2、工作原理

几何化

计算几何研究的对象是几个图形。早期人们对于图像的研究一般都是先建立坐标系，把图形转换成函数，然后用插值和逼近的数学方法，特别是用样条函数作为工具来分析图形，取得了可喜的成功。然而，这些方法过多地依赖于坐标系的选取，缺乏几何不变性，特别是用来解决某些大挠度曲线及曲线的奇异点等问题时，有一定的局限性。
几何图形是实际物体的抽象描述，几何化是指被研究对象本身的性质所决定的一种必然趋势。

代数化

在国外，计算几何的代数化有一股很强的势头。为了在计算机和图形显示终端表示和处理各种复杂的曲面和几何形体，需进行大量的计算，往往需要将问题代数化、线性化、离散化，特别对于最新式的全色连续色调的图像，必须对显示屏上的光栅网格点逐点进行计算扫描。

图形化

随着交互式图形显示系统在CAGD中的广泛应用，计算机图形学作为新兴学科得到迅速发展。其主要研究对象是图形的生成、变换、显示、剪取、隐藏线和隐藏面的消除、阴影色调及相应的光顺处理等。其中剪取问题是计算机图形学的一个基本问题，剪取的关键是速度，尤其是在交互式动态显示和最新式的光扫描中。

3、研究对象

计算几何研究的对象是几何图形，研究几何模型和数据处理的学科，讨论几何形体的计算机表示、分析和综合，研究如何方便灵活、有效地建立几何形体的数学模型以及在计算机中更好地存贮和管理这些模型数据。
早期人们对于图像的研究一般都是先建立坐标系，把图形转换成函数，然后用插值和逼近的数学方法，特别是用样条函数作为工具来分析图形，取得了可喜的成功。然而，这些方法过多地依赖于坐标系的选取，缺乏几何不变性，特别是用来解决某些大挠度曲线及曲线的奇异点等问题时，有一定的局限性。

二、计算几何理论中（或凸集中）过两点的一条直线的表达式，是如何描述的？与初中数学中那些直线方程有什么差异？有什么好处？

1、 计算几何理论中（或凸集中）的描述

​x1,x2 为空间中的两个点，且x1≠x2，则：

2、初中数学中的描述

过两点的直线方程表达式推导：

（1）设直线l上的两点P1、P2的坐标分别为(x1,y1)、(x2,y2)，且(x1≠x2)
所以直线l的斜率K：
$K=(y_2-y_1)/(x_2-x_1)$

K=(y2​−y1​)/(x2​−x1​)

（2）在直线l上任意取一点P（x，y）
将直线l的斜率K，P点的坐标代入直线的点斜式方程y-y1=k(x-x1)中得：
即为直线I的两点式方程：

3、二者对比

三、凸集是什么？ 直线是凸集吗？是仿射集吗？

1、凸集是什么？

在凸几何中，凸集(convex set)是在凸组合下闭合的仿射空间的子集。更具体地说，在欧氏空间中，凸集是对于集合内的每一对点，连接该对点的直线段上的每个点也在该集合内。例如，立方体是凸集，但是任何中空的或具有凹痕的例如月牙形都不是凸集。
特别的，凸集，实数R上（或复数C上）的向量空间中，如果集合S中任两点的连线上的点都在S内，则称集合S为凸集。

2、直线是凸集吗？

根据：实数R上（或复数C上）的向量空间中，如果集合S中任两点的连线上的点都在S内，则称集合S为凸集。
直线上任意两点的连线上的点都在直线上，所以直线是凸集。

3、直线是仿射集吗？

仿射集：对于Rn中的子集M, 存在x,y∈M，若有

${(1一λ)x+λy |λ∈R } <M$

(1一λ)x+λy∣λ∈R<M
成立，则称M是一仿射集。

所以直线是仿射集。

四、三维空间中的一个平面如何表达？

五、更高维度的“超平面”如何表达？

超平面是n维欧氏空间中余维度等于一的线性子空间，也就是必须是(n-1)维度。这是平面中的直线、空间中的平面之推广（n大于3才被称为“超”平面），是纯粹的数学概念，不是现实的物理概念。因为是子空间，所以超平面一定经过原点。

六、什么是“凸函数”？什么是Hessen矩阵? 如何判别一个函数是凸函数？f(x)=x^3 函数是凸函数吗？

1、什么是“凸函数”？

凸函数就是一个定义在某个向量空间的凸子集C（区间）上的实值函数。

2、什么是Hessen矩阵？

Hessen矩阵是一个多元函数的二阶偏导数构成的方阵，描述了函数的局部曲率。
二元函数的Hessen矩阵：

多元函数的Hessen矩阵：

3、如何判别一个函数是凸函数？

（1）对于一元函数f(x)，我们可以通过其二阶导数f′′(x) 的符号来判断。如果函数的二阶导数总是非负，即f′′(x)≥0 ，则f(x)是凸函数.
（2）对于多元函数f(X)，我们可以通过其Hessian矩阵（Hessian矩阵是由多元函数的二阶导数组成的方阵）的正定性来判断。如果Hessian矩阵是半正定矩阵，则是f(X)凸函数。

4、f(x)=x^3 函数是凸函数吗？

根据一元函数如何判断该函数是否是凸函数，f’’(x)=6x，当x<0时，f’’(x)<0;当x>0时，f’’(x)>0,不满足函数的二阶导数总是非负，所以f(x)=x^3不是凸函数。

七、什么是“凸规划”？如何判别一个规划问题是凸规划问题（举例说明）？

1、什么是凸规划？

2、如何判别一个规划问题是凸规划问题。举例说明？

判别如下非线性规划是否为凸规划：

推导过程：
.