数字图像处理技术

第一章

图像处理主要内容：广义上：图像采集、图像编码与传输、图像信息处理、图像显示，狭义上：图像增强、图像恢复、图像分割、图像表示

DI：将一幅画面在空间上分割称离散的像素，各像素点的灰度值经量化用离散的整数表示，形成计算机能处理的形式。

DI的三个基本参数：图像分辨率、图像深度、图像数据量。

DIP：用计算机对DI进行某种运算和处理

颜色和灰度的多少可以将图像分为二值图像、灰度图像、索引图像和真彩色RGB图像

光照模型：

亮度函数、入射分量、反射分量：

亮度函数中(x,y,z)是像素的空间坐标，λ是波长，t是时间，I是像素的强度。代表一幅运动的(t)彩色的(λ)立体的(x,y,z)图像

第二章

马赫带效应：在观看相邻、不同均匀灰度的竖条状图案时，左亮右暗，基于视觉系统有趋向于过高或过低估计不同亮度区域边界值的现象，视觉的主观感受在亮度有变化的地方出现虚幻的明亮或黑暗的条纹，由人眼的侧抑制(相邻神经元互相抑制的现象)引起，人类视觉系统有增强边缘对比度的机制

同时对比度：人眼对某个区域感觉到的亮度不仅仅依赖其本身的强度。两个同样大小、同样亮度的小方块，放在暗的背景中的一块看起来比放在亮背景中的另一块看起来要亮一点。表明人眼对某个区域感觉到的亮度不仅仅依赖它的强度，而与环境亮度有关

亮度恒定现象：当物体对背景的亮度、对比度保持一致时，即使物体和背景的亮度在很大的范围里变化，人眼对亮度的感觉仍保持不变。

马赫带效应与同时对比度反应的共同问题：从一物体表面感受到的主观亮度受到该表面与周围环境亮度之间相对关系的影响，所以说是与背景相关的函数。两个亮度本身不同的物体如果他们的背景有相对关系的话，看起来可以有相同的亮度；反之，两个亮度本身相同的物体在适当的背景下看起来可以有不同的亮度。此时人们感知的亮度与物体亮度的绝对值无关。简而言之，同样的物体放在暗背景里看起来亮，放在亮背景里看起来暗。

视觉的空间频率特性：空间频率是指视像空间变化的快慢。清晰明快的画面，意味这有大量的高频成分。模糊图像只有低频空间成分。

人眼的空间频率特征：主观轮廓和空间错觉

视觉滞留现象：指当人眼所看到的影像消失后，影像仍在大脑中停留一段时间的现象。停留时间约1/24s

图像分辨率：实际上指对原始图像的采样分辨率。单位“象素点/单位长度”。

图像采样分辨率：单位长度上所包含的采样数。

图像空间分辨率：图像中可分辨的最小细节

图像灰度分辨率：灰度级中可分辨的最小变化（8比特的灰度分辨率图像有256个灰度级）。

图像深度：在位图图像中，表示各象素点亮度或色彩信息的二进制位数

图像数据量：象素点数目与象素点所需字节数的乘积。

灰度级：灰度级的典型的取值是2的整数次幂。通常假设离散灰度级是等间隔的并且是区间[0,L-1]内的整数。

K比特图像：当一副图像有2^k灰度级时，通常称该图像是K比特图像。

动态范围：有时灰度级取值范围称为图像的动态范围。把占有灰度级全部有效段的图像叫做高动态范围图像。当相当客观数目的象素呈现这样的特征时，图像就有较高的对比度。相反，低动态范围的图像看上去似乎是冲淡了的灰暗格调。

采样：将连续图像变成离散点的过程。

量化：把采样点上表示明暗信息的连续量离散化后，用数值表示的过程

主观颜色：

视觉模型：

单色视觉模型：

彩色视觉模型：

第三章

图像增强：根据指定需要突出某些信息并削弱/去除某些不需要的信息。目的：使处理后的图像对某些特定应用更适用

点运算：比如改变亮度，对比度等。

代数运算：是图像之间点对点的运算，加法：去除叠加性噪声，生成图像叠加性效果；混合：本质是加法，权重不同形成透明效果；乘法：可改变亮度；减法：显示两幅图像的差异，检测同一场景两图像之间的变化，去除不需要的叠加图案，图像分割。AND操作有黑就变黑；or操作有白就变白；XOR操作同色变黑，异色变白

几何运算：涉及到空间位置变化，和灰度插值，可以实现图像转动、扭曲、倾斜、拉伸。确定灰度值的方法：像素移交映射、像素填充映射

零阶插值/最近邻插值：令输出像素的灰度值等于离它所映射到的位置最近的输入像素的灰度值，计算简单，容易产生人为痕迹，旋转图像带有锯齿边

一阶插值/双线性插值：令f（x,y）为两个变量的函数，其在单位正方形顶点的值已知。假设我们希望通过插值得到正方形内任意点的f(x,y)值，f(x,y)=ax+by+cxy+d

基于点操作的增强变换，常见的有几类方法：①将f(.)中的象素按EH操作直接变换以得到g(.)；②借助f(.)的直方图进行变换；③借助对一系列图像间的操作进行变换

对数变换：主要用于将图像的低灰度值部分扩展，将其高灰度值部分压缩，以达到强调图像低灰度部分的目的。s=c·log(v+1)(1+v·r),r∈[0,1]

幂次变换：y=cx^r+b，其中c、r均为正数。与对数变换相同，幂次变换将部分灰度区域映射到更宽的区域中。当r=1时，幂次变换转变为线性变换。(1) 当r<1时，变换函数曲线在正比函数上方。此时扩展低灰度级，压缩高灰度级，使图像变亮。这一点与对数变换十分相似。(2) 当r>1时，变换函数曲线在正比函数下方。此时扩展高灰度级，压缩低灰度级，使图像变暗。

伽马校正：在幂次变换中，习惯上，幂次等式中的指数是指伽马值。用于修正幂次响应现象的过程称作伽马校正。对于光线的辉度或是三色刺激值所进行非线性的运算或反运算。伽马变换主要用于图像的校正，将漂白的图片或者是过黑的图片，进行修正。s=c·r^y,r∈[0,1]

灰度变换：将一个灰度区间映射到另一个灰度区间的变换。目的：灰度变换可使图像动态范围加大，图像对比度扩展，图像清晰，特征明显，是图像增强的重要手段。基本直接灰度变换：图像反转、增强对比度、压缩动态范围压缩、灰度切片

灰度拉伸也用于强调图像的某个部分，与伽马变换与对数变换不同的是，灰度拉升可以改善图像的动态范围。可以将原来低对比度的图像拉伸为高对比度图像。s=1/[1+(m/r)^E],r∈[0,1]

灰度切割：主要用于强调图像的某一部份，将这个部分赋为一个较高的灰度值

位图切割：按照图像的位，将图像分层处理。若图像的某个像素，其bit7为1，则在位面7这个像素值为1，反之则为0，主要用于图像压缩。较高位（如前4位）包含大多数视觉重要数据，较低位（如后4位）对图像中的微小细节有作用

直方图/灰度直方图：横坐标为灰度级的值，纵坐标为某个灰度级出现的次数。为了便于表示，往往将纵坐标用出现概率表示。

累计直方图：代表图像组成成分在灰度级的累计概率分布情况，每一个概率值代表小于等于此灰度值的概率，P(rk)=n1+n2+n3+…Nk

直方图均衡化：

基本思想：对在图像中像素个数多的灰度级进行展宽，而对像素个数少的灰度级进行缩减。从而达到清晰图像的目的。适用于直方图呈尖峰分布的图像。

基本算法：1）求出原图f的灰度直方图，设为h(k)，h为一个2^k维的向量；2）求出图像f的总体像素个数Nf=mn （m,n分别为图像的长和宽）,计算每个灰度级的像素个数在整个图像中,所占的百分比。hs(i)=h(i)/Nf (i=0,1,…,255)；3）计算图像各灰度级的累计分布hp，hp(i)=Σ(k=0~i)hs(k),i=1,2,…,2^{(k-1)，4）求出新图像g的灰度值，映射关系：g=(2}k-1)·hp(i),i=0,1,2,…,255；5）查表遍历并显示。

缺点：图像的部分区域会显得过暗或者过亮

直方图的映射变换：可改变图像的概率密度函数，改善图像的外貌

直方图规定化：调整原始图像的直方图使之符合某一规定直方图的要求，使以下值最小：
参考https://www.zhihu.com/question/37204742

直方图与对比度的关系：直方图的峰值集中在低端，则图像较暗；反之，图像较亮。直方图的峰值集中在某个区域，图像昏暗；直方图分布越均匀，图像的对比度越好。

直方图与Huffman编码效率的关系：Huffman编码根据符号出现概率的大小分配不同长短的码字，对出现概率高的符号分配长的码字，对出现概率底的符号分配短的码字。若直方图分布不均匀，则可有效减少编码平均码长，提高编码效率，反之编码效率低

灰度分布在局部：可线性变换将灰度等比例拉伸到更大范围。灰度分布在高亮度端：可选用γ变换(γ>1)，变换曲线在s=γ下方，使图像变暗。灰度分布在底亮度端：可选用γ变换(γ<1)或log变换，变换曲线在s=γ上方，使图像变亮

彩图不用直方图均衡的原因：因为RGB分量的直方图通常不一样，均衡时映射关系不一样，改变各像素RGB间关系，颜色失真

第四章

线性系统：满足叠加原理（指当几个输入信号共同作用于系统时，总的输出等于每个输入单独作用时产生的输出之和）和齐次原理（指当输入信号增大若干倍时，输出也相应增大同样的倍数）。

移不变系统：是指如果输入序列进行移位，则输出序列进行相应的移位。系统响应与激励加于系统的时刻无关。

线性移不变系统：具有移不变系统的线性系统

欧氏距离：D的平方=(x1-x2)^2+(y1-y2)2。

街区距离：D=|x1-x2|+|y1-y2|。

棋盘距离：D=MAX{|x1-x2|,|y1-y2|}

均值滤波：在图像上对待处理的像素给一个包括了其周围的邻近像素的模板，将模板中的全体像素的均值来替代原来的像素值的方法。对噪声有抑制作用，但同时会使图像变得模糊，对高斯噪声效果好。

中值滤波：对模板中的像素值由小到大排列，最终待处理像素的灰度取这个模板中的灰度的中值，对椒盐噪声效果好，边缘保持，平滑处理，局部处理。

多图像平均法：对同一景物重复采集M次相加后取平均值的方法来消除噪声。

自适应中值滤波：根据预设好的条件，动态地改变中值滤波器的窗口尺寸，以同时兼顾去噪声作用和保护细节的效果

椒盐噪声：出现位置随机，但噪声的幅值基本相同。

高斯噪声：出现位置一定(在每一点上)，但噪声的幅值是随机的

图像锐化：目的：加强图像中景物的边缘和轮廓，作用：使灰度反差增强。

微分锐化：

Roberts梯度算法(交叉微分)：|右下角-本身|+|左边-上面|

Sobel锐化算法：获得粗略边界，反应的边界信息少但清晰。

Priwitt锐化算法：获得细致边界，反应的边界信息多但不太清晰。

拉普拉斯算子：H1={[0,-1,0],[-1,4,-1],[0,-1,0]},H2={[-1,-1,-1],[-1,8,-1],[-1,-1,-1]},H3={[1,2,1],[-2,4,-2],[1,-2,1]},H4={[0,-1,0],[-1,5,-1],[0,-1,0]}

参考https://blog.csdn.net/weixin_40851250/article/details/84717336

第五章

二维Fourier变换的应用：1.图像滤波：Fourier变换后的图像中间部分为低频部分，越靠外边频率越高。因此，我们可以在Fourier变换图中，选择所需要的高频或是低频滤波。2. 图像压缩：变换系数刚好表现的是各个频率点上的幅值。高频反映细节、低频反映概貌，可将高频系数置为0，骗过人眼。3.卷积：图像信息经过滤波器的滤波，若滤波器的结构复杂，直接进行时域中的卷积运算不可思议

第六章

频域滤波的基本原理(以理想低通滤波为例)：对于高于截止频率的信号完全截止，而对于低于截止频率的信号完全无失真传输。

频域滤波的原理：卷积理论是频域滤波的基础。设函数f(x,y)与线性不变算子h(x,y)的卷积结果是g(x,y)，即g(x,y)=h(x,y)*f(x,y),那么根据卷积定理在频域有：G(u,v)=H(u,v)F(u,v),其中H(u,v),F(u,v)分别为h(x,y),f(x,y)的傅立叶变换

在频域进行图像增强的步骤：计算需增强图像的傅立叶变换，将其结果与一个转移函数H(u,v)相乘，将结果傅立叶逆变换以得到图像增强

高通滤波、低通滤波：去掉低/高频信号，留下高/低频信号。频域图像的高/低频部分通过而抑制低/高频部分。低通结果：模糊，高通结果：锐化。高斯低通滤波可用于修复字符(D0=80)、减少人脸细纹(尽可能模糊细节，而保留大的可识别特征)

进行高频提升和高频加强的原因：高频滤波后的图像，其背景平均强度减小到接近黑色（因为高通滤波器滤除 了傅里叶变换的零频率成分: F(0,0)=f(x拔,y)=0）。解决办法：把原始图像加到过滤后的结果，如拉普拉斯算子增强，这种处理称为高频提升过滤

同态滤波的特点：压缩灰度范围，同时增强对比度，增强对比度类似于增加像素灰度的方差，而压缩灰度值一定程度上限制了方差的大小

频率域图像增强

第七章

图像退化：图像的质量变坏叫做退化。退化的形式有图像模糊、图像有干扰等

周期噪声：在图像获取过程中从电力或机电干扰中产生的，是唯一的一种空间依赖型噪声。可以通过专用的带阻、带通和陷波滤波器来削减或消除周期性噪声干扰。

第八章

RGB颜色模型：加色混色模型，以RGB三色光互相叠加来实现混色的方法，适合于显示器等发光体的显示。

CMYK颜色模型：减色混色模型，减色基：青（Cyan）、品红（Magenta）、黄（Yellow）是加色基R、G、B的补色，颜色是从白光中减去一定成分得到的，适合于彩色打印，印刷行业等。

HSI 颜色模型：亮度与色度分离，色调与饱和度的概念与人的感知联系紧密，H定义颜色的波长，称为色调，由角度表示，反映了颜色最接近的光谱波长，0°红， 120绿色， 240°蓝色；S表示颜色的深浅程度(饱和度)，色环的圆心到彩色点的半径的长度；I表示强度或亮度，反映了人的视觉对色彩的感觉，灰度阴影沿着轴线自下而上亮度逐渐增大，由底部的黑渐变成顶部的白(色彩的基本属性)

伪彩色：是指将黑白图像转化为彩色图像，或者是将单色图像变换成给定彩色分布的图像。主要目的是提高人眼对图像的细节分辨能力，以达到图像增强的目的。由于人眼对彩色的分辨能力远远高于对灰度的分辨能力，所以将灰度图像转化成彩色表示，就可以提高对图像细节的辨别力。密度分层法、灰度级-彩色变换法、频域滤波法

第九~十二章

图像压缩：分有损&无损。数据冗余、视觉冗余||编码冗余、像素间冗余、心理视觉冗余

图象分割：把图象分成各具特性(灰度、颜色、纹理等)的区域并提取出感兴趣目标(单区域或多区域)的技术和过程。内容：点检测、线检测、基于梯度的边缘检测(各算子)、域值分割（全局域值、局部域值，自适应域值分割）、区域合并与区域分裂、分水岭分割

图像表示：分边界表示（如链码、边界分段等）和区域表示（如四叉树、骨架等）两大类。边界表示关心图像中区域的形状特征，区域表示关心反映区域的灰度、颜色、纹理等特征的特点。

主要内容：表示方法：链码法、多边形近似、边界线段、标记图、骨架。边界描述：简单的描述符、形状数、傅立叶描述符、统计矩阵。区域描述：一些简单描述符号 、纹理、不变矩

骨架：图像中所有目标(连通)区域的轴线。

细化：求图像骨架的过程

边界长度：边界所包围的区域的轮廓的周长。4-连通边界：其长度为边界上像素点个数。8-连通边界：其长度为对角码个数乘上再加上水平和垂直像素点的个数的和。

边界直径：边界上任意两点距离的最大值。

形状数：基于4-链码的边界描述符，定义为值最小的4-链码的一阶差分码。

统计矩：用1-D函数描述边界曲线，易于实现，并且具有对边界形状的物理意义

灰度共生矩阵：从图像灰度为i的像素出发，沿某一方向Θ、距离为d的像素灰度为j同时出现的概率P(i,j,Θ,d)构成的矩阵