数字图像处理(二) 数字图像处理基础
图像数字化
上一节中介绍了多种获取图像的方法，其中大部分都是从传感数据生成数字图像。大部分传感器的输出都是连续的电压波形，我们需要将连续的传感数据转换成数字形式。这个转换包括两个过程：采样和量化。
假设连续图像数字化后可以用离散量组成的矩阵（即二维数组）来表示，为了计算机处理，必须将图像函数在空间和数值上进行数字化。
公式两边以等价的方式定量地表示一幅数字图像，右边是一个实数矩阵，矩阵中的每个元素称为一个图像单元、像元或像素。数字图像的原点位于左上角，以正轴向下延伸为正轴，以正轴向右延伸为负轴。
1.矩阵中每个元素称为一个像素；代表该点的灰度值，也就是亮度值。
2、所用的数值用来表示该位置点的灰度值，只反映黑白灰度的关系。
3.如果是彩色图像，则每个点的值还应该反映颜色的变化，可以用来表示，其中λ是波长。
4.如果图像是运动的，那么它也应该是时间的函数，可以表示为。
把坐标值数字化称为采样；把振幅数字化称为量化。
空间坐标的数字化称为图像采样，它决定了水平和垂直方向上的像素数量。
采样：将图像在空间中离散化的过程叫做采样。即用空间中某些点的灰度值来表示图像，这些点就叫做采样点。由于图像是二维的分布信息，为了对其进行采样操作，需要先将二维信号转换成一维信号，然后再完成对一维信号的采样。具体做法是先在垂直方向上以一定的间隔从上到下进行水平方向的直线扫描，取出每条水平线上灰度值的一维扫描。然后以一定的间隔对一维扫描线信号进行采样，得到离散信号，即先在垂直方向上采样，再在水平方向上采样，这两个步骤就完成了采样操作。对于运动图像（即时间域上的连续图像），需要先在时间轴上采样，再在垂直方向上采样，最后在水平方向上采样，这三个步骤就完成了。
采样时，采样点间隔的选择是一个很重要的问题，它决定了采样图像的质量，也就是对原图像的逼真程度。采样间隔的大小要根据原图像所包含的明暗细微变化来确定，一般来说，图像中的细节越多，采样间隔就应该越小。
根据一维采样定理，若一维信号的最大频率为 ，以 为间隔进行采样，则可以根据采样结果完整地恢复出该信号。
与采样相关的分辨率概念：
分辨率：1.指景物元素映射到图像平面上单个像素的大小。单位：像素/英寸、像素/厘米；2.或指精确测量和再现一定尺寸图像所需的像素数。单位：像素*像素
采样过程：将平面分配给一个网格，每个网格中心的坐标是笛卡尔积的一对元素，即和属于整数集合的所有有序元素对的集合。
这个数值的数字化就叫图像灰度量化，所谓量化的过程就是映射到的过程，的最大值决定了该像素的灰度等级，比如256。
模拟图像经过采样后，在时间和空间上被离散化为像素点。但采样得到的像素值（即灰度值）仍然是一个连续量。将采样后得到的每一个像素点的灰度值由模拟量转化为离散量的过程称为图像灰度量化。
若用连续的灰度值来表示，则所有满足的数值都量化为整数，称为该像素的灰度值，与的差值称为量化误差。一般将像素值量化后用8位一个字节来表示。
如下图所示，将黑、灰、白连续变化的灰阶值量化为0~255的256个灰阶值，灰阶值范围为0~255，表示亮度由暗到亮变化，对应图像中颜色由黑到白。
量化的方法有两种：一种是等间隔量化，一种是非等间隔量化。
等间隔量化就是简单地将采样值的灰度范围划分为等间隔并进行量化。对于像素灰度值均匀分布在黑白范围内的图像，这种量化方法可以获得较小的量化误差。这种方法也被称为均匀量化或线性量化。
非均匀量化是基于图像灰度值分布的概率密度函数，以最小化总量化误差为原则。具体做法是，对图像中像素灰度值经常出现的灰度值范围采用较小的量化间隔，对像素灰度值很少出现的范围采用较大的量化间隔。
由于图像灰度值的概率分布密度函数在各个图像之间是不同的，因此不可能找到一种适用于多种不同图像的最优非均匀间隔量化方案，因此实际应用中一般采用等间隔量化。
在对图像进行采样时，行和列的采样点数以及量化时每个像素的量化等级，既影响数字图像的质量，也影响数字图像的数据量。
设对图像进行采样，量化后每个像素点的灰度二进制位数为，一般总是取2的整数幂，即，则存储一幅数字图像所需的二进制位数为：
字节数为：
图像坐标的实平面部分称为空间域，其和称为空间变量或空间坐标。两个坐标轴确定空间位置，第三个坐标是（灰度）值，它是两个空间变量和的函数。出于存储和量化硬件考虑，灰度级的数量通常取为 2 的整数幂。
存储数字图像所需的位数为：。通常将具有灰度级别的图像称为“位图”！
有时，灰度所跨越的数值范围被非正式地称为动态范围，定义为系统中最大可测量灰度与最小可检测灰度之比。通常，上限由饱和度决定，下限由噪声决定。与此概念密切相关的另一个概念是图像对比度，定义为图像中最高灰度级和最低灰度级之间的灰度差。
对于一幅图像，在量化等级一定的情况下，采样点的数量对图像质量的影响十分显著，采样点越多，图像质量越好；当采样点数量减少时，图像的块效应逐渐明显。
当图像的采样点数一定时，采用不同的量化等级，图像质量也不同。如图所示，量化等级越多，图像质量越好。量化等级较少时，图像质量较差。量化等级最小的极端情况是二值图像，图像出现假轮廓。
在限制数字图像的尺寸时，可以采用以下原则来获得质量更好的图像：
对于缓慢变化的图像，应使用细量化和粗采样以避免出现假轮廓。
对于细节丰富的图像，应采用细采样和粗量化，以避免模糊（混叠）。
对于彩色图像来说，都是按照颜色分量——红（R）、绿（G）、蓝（B）进行采样和量化，如果每个颜色分量都按8位量化，也就是每个颜色等级为256，那么就可以处理256×256×256=16 777 216种颜色。
要将模拟图像数字化为数字图像，需要某种图像数字化设备。常见的数字化设备包括数码相机、扫描仪、数字化仪等。
图像数字化设备的性能主要包括像素大小、图像尺寸、线性度、噪声等。
图像表示
静态图像可分为矢量图（）和位图（），位图又称光栅图。
矢量图形：用一系列绘图指令来表示一幅图画，比如图中的绘图语句。这种方法的本质是用数学（更准确地说是几何）公式来描述一幅图像。图像中的每个形状都是一个完整的公式，称为对象。对象是一个封闭的整体，因此计算机可以简单地定义对象在图像上的变化以及对象与其他对象之间的关系。所有这些变化都不会影响图像中的其他对象。
位图是通过许多像素来表示图像的，每个像素都具有颜色属性和位置属性。位图可以由传统的照片、幻灯片或使用数码相机获得，也可以通过使用画笔（）用颜色点填充网格单元来创建。位图可以分为以下四种类型：二值图像（线图）、灰度图像（）、索引色图像（Index Color）和真彩色图像（True Color）。
线描-二值图像（黑白图像）：图像每个像素只能是黑色或者白色，中间没有任何过渡，所以又叫2值图像。2值图像的像素值为0和1。
灰度图像：
灰度图像中，像素灰度用8位表示，所以每个像素都是黑色和白色之间的一个灰度级。灰度图像是每个像素的信息都用量化的灰度级来描述，而没有颜色信息的图像。
索引图像：
色彩深度为每像素24位的数字图像是目前所能获取、浏览和保存的色彩信息最丰富的彩色图像，由于其表达的色彩远远超出了人眼所能分辨的范围，所以被称为“真彩色”。
在真彩色出现之前，由于技术原因，计算机在处理时达不到24位每像素的真彩色水平，因此人们创造了索引色。
索引颜色也经常被称为映射颜色。在这种模式下，颜色是预定义的，可用的颜色集是有限的。索引颜色图像最多只能显示 256 种颜色。索引颜色图像定义在图像文件中。打开文件时，组成图像特定颜色的索引值会被读入程序，然后根据索引值找到最终的颜色。
真彩色图像：
“真彩色”是RGB颜色的另一种通俗叫法。RGB图像的颜色是非映射的，它可以自由地从系统的“颜色表”中获取所需的颜色，这种图像文件中的颜色与PC上的显示颜色直接对应。
真彩色图像中，每个像素由红、绿、蓝三个字节组成，每个字节为8位，代表0~255之间的不同亮度值，这三个字节的组合可以产生1670万种不同的颜色。
数字图像的存储格式有多种，每种格式一般都有不同的开发商支持，随着信息技术的发展和图像应用领域的不断扩大，还会不断出现新的图像格式。
图像文件的数据结构：每个图像文件都有一个文件头，后面紧接着的是图像数据。
文件头的内容由制作镜像文件的公司决定，一般包括文件类型、文件制作者、制作时间、版本号、文件大小等内容，各类镜像文件的制作还涉及到镜像文件的压缩方式、存储效率等。
bmp 图像文件格式：查看有关 BMP 图像文件格式的博客，例如：
图像质量
图像质量包括：层次、对比度、清晰度
灰度：表示像素亮度或暗度的整数；等级：灰度的等级数。图像数据的实际等级越多，视觉效果越好。
对比度是指图像中的灰度对比度。对比度=最大亮度/最小亮度。
与清晰度相关的主要因素：亮度、对比度、拍摄对象的大小、细节、色彩饱和度
图像颜色
为了科学、定量地描述和使用颜色，人们提出了各种各样的颜色模型。目前，常用的颜色模型按用途可分为两类，一类用于硬件设备，如视频监视器、彩色摄像机或打印机；另一类用于以颜色处理为目的的应用，如动画中的彩色图形。硬件设备最常用的颜色模型是RGB模型，而颜色处理最常用的模型是HSI模型。此外，在印刷行业和电视信号传输中，还经常使用CMYK和YUV颜色系统。
杨·亥姆霍兹三原色假说：C=R+G+B。视网膜视锥细胞的红、绿、蓝色素分别取值0-1或0-255。
提出了HSI模型。它反映了人类视觉系统观察颜色的方式。HSI模型经常用于艺术中。在HSI模型中，H代表色调，S代表饱和度，I代表亮度，与成像亮度和图像灰度相对应。该模型的建立基于两个重要事实：①I分量与图像的颜色信息无关；②H和S分量与人感知颜色的方式密切相关。这些特点使得HSI模型非常适合利用人类视觉系统感知颜色特征的图像处理算法。
饱和度是指颜色的明亮程度，饱和度越高，颜色越暗，例如深红色、深绿色。
亮度是指光波作用于受体的效果，其大小由物体的反射系数决定，反射系数越大，物体亮度越大，反之则越小。
RGB 到 HSI 的转换：
对于任意三个在[0, 1]范围内的R,G,B值，在HSI模型中对应的I,S,H分量的计算公式为：
HSI 到 RGB 的转换：
假设S和I的数值在[0, 1]之间，R、G、B的数值也在[0, 1]之间，则HSI转RGB的公式为（分成3段以利用对称性）
（1）当H在[0°, 120°]之间时：
（2）在国标扇区[120°, 240°)内，换算公式为：
（3）在BR扇区[240°, 360°)内，换算公式为：
CMYK 颜色系统也是常用的一种颜色表现方式。计算机屏幕显示通常采用 RGB 颜色系统，即通过把颜色相加来产生其他颜色，这种做法通常称为加色法合成颜色（Color）。在印刷行业中，通常采用 CMYK 颜色系统，即通过把颜色相减来产生其他颜色，因此这种方法称为减色法合成颜色（Color）。
CMYK模式的基色为青色、品红色、黄色和黑色。在处理图像时，一般不使用CMYK模式，主要是因为该模式的文件较大，占用磁盘空间和内存较大。在印刷中一般使用此模式。
定义：通过颜色图描述颜色实际上是 RGB 颜色模型的一种变体
用伪彩色描述颜色的方法：建立颜色映射表，一般表格长度为16~256；将像素值替换为其RGB值在映射表中的位置；通过抖动技术缓解颜色种类不足的问题；如何寻找16~256个关键颜色是成败的关键。
YUV彩色电视信号在传输时，R、G、B被重组为亮度信号和色度信号。PAL制将R、G、B三色信号重组为Y、U、V信号，其中Y信号表示亮度，U、V信号为色差信号。
RGB与YUV的对应关系如下：
图像的像素
相邻像素：
坐标 (,) 处的像素有 4 个水平和垂直邻居，其坐标如下：
这组像素称为 4 域，用 表示。
4个对角线相邻像素的坐标如下：
这些点与4域点一起被称为p的8域，用 表示。也就是说。
两个像素能够连通有两个必要条件：两个像素的位置是否以某种方式相邻；两个像素的值是否满足一定的相似性。
4- 连接性的定义:
对于值为 V 的像素 p 和 q，如果 q 在集合 N4(p) 中，则称这两个像素为 4 连通的
8连通性的定义：对于值为V的像素p和q，如果q在集合N8（p）中，则称这两个像素是8连通的。
像素接近度的定义：
如果像素 p 和 q 相连，则称 p 与 q 相邻。我们可以使用定义邻域的方法定义 4 相邻、8 相邻和 m 相邻。图像子图邻近度的定义：
如果两个图像子集S1和S2中某些像素相邻，则称S1和S2相邻。
路径定义：
从一个具有坐标的像素到一个具有坐标的像素的路径是一系列具有坐标的不同像素，，，，其中 =，=，相邻，并且是路径的长度。
我们可以像定义接近度一样定义 4 路径、8 路径和 m 路径
图像连通性：
图像子集中像素连通性的定义：
如果像素和是图像子集的元素，并且如果存在一条从到的路径完全由中的像素组成，则称和在中是连通的。
图像子集连通元素的定义：
对于中的任意一个像素，与其相连的所有像素的集合称为的连通元素。
像素间距离函数定义：
对于坐标分别为 (x, y) (s, t) (u, v) 的像素 p、q 和 z，D 是距离函数或度量。
（a）D（p，q）≥0（仅当p = q时，D（p，q）= 0），
（b）D（p，q）= D（q，p）且
（c）D（p，z）≤D（p，q）+D（q，z）
像素间距离函数定义：
（a）D（p，q）≥0两点之间的距离大于或等于0
（b）D（p，q）= D（q，p）距离与方向无关
（c）D(p,z)≤D(p,q)+D(q,z)两点间直线距离最短
图像距离：欧氏距离（De距离）：
对于此距离计算，与 (x,y) 的距离小于或等于某个值 r 的像素是包含在以 (x,y) 为中心、半径为 r 的圆内的点。
图像距离：D4距离（城市距离）：
p 和 q 之间的 D4 距离定义为：
与 (x,y) 的距离小于或等于某个值 r 的像素形成菱形。例如，与点 (x,y)（中心点）的距离 D4 小于或等于 2 的像素形成以下恒定距离轮廓。D4 = 1 的像素是 (x,y) 的 4 个邻居。
图像距离：D8距离（棋盘距离）：
p 和 q 之间的 D8 距离定义为
D8 = 1 的像素是由到 (x,y) 的 8 个邻域距离小于 r 的像素包围的矩形。
图像的基本系统
基本图像处理系统的结构
基于CCD光耦器件的输入设备有：摄像机、数码摄像机、数码相机、平板扫描仪等。
基于光电倍增管的输入设备包括：滚筒扫描器。
扫描仪分辨率与扫描图像大小：分辨率：单位长度内采样的像素个数：DPI（点/英寸）。
图像文件格式体系：互联网使用：GIF、JPG、PNG；印刷使用：TIF、JPG、TAG、PCX；国际标准：TIF、JPG
图像存储系统：内存存储：处理过程中使用；硬盘存储：处理及备份时使用（在线）；备份存储：光盘、磁带（离线、近线）；分级存储（HSM）、网络存储（SAN/NAS）。
图像直方图、卷积和滤波
直方图的基本概念：
如果把图像中像素亮度（灰度级别）看作一个随机变量，那么它的分布就反映了图像的统计特性，可以用概率密度函数（PDF）来刻画和描述，用灰度直方图（）来表示。
灰度直方图是灰度级别的函数，表示图像中具有某一灰度级别的像素的个数，反映了图像中各个灰度级出现的频率。
灰度直方图的横轴为灰度等级，纵轴为该灰度等级出现的频率，是图像最基本的统计特征。
图像直方图定义示例：
直方图的属性：
（1）直方图只包含了图像中某个像素点出现某一灰度值的概率，却丢失了其位置的信息。
（2）对于任何一幅图像，都可以唯一确定一个直方图，但是不同的图像可能会有相同的直方图。如图所示，两幅不同的图像有相同的直方图。
图像处理方法基本上可以分为两类：空域方法和频域方法。
（1）空间域方法：
数据运算是直接在原图像上进行，处理像素的灰度值。分为两类：点运算和局部运算。所谓点运算是：在图像上逐点进行运算；局部运算是：在被处理图像点邻域相关的空间域上进行运算。
（2）频域方法：
在变换域中对图像进行处理，以增强感兴趣的频率成分，然后进行逆变换以获得频域处理后的图像。
空间滤波和滤波器定义：
利用空间模板进行图像处理称为空间滤波（局部操作）。模板本身称为空间滤波器。
空间域滤波：卷积和模板：
模板运算是数字图像处理中常用的一种运算方法。模板运算在图像平滑、锐化、细化、边缘检测等方面都有应用。例如，一种常见的平滑算法是将原图像中某个像素的灰度值与其周围八个相邻像素的灰度值相加，然后取其平均值作为新图像中该像素的灰度值。可以用下面的方法来表示这种运算：
上面的公式有点类似于矩阵，通常称为模板()。带星号的数据表示该元素为中心元素，也就是这个元素就是要处理的元素。
如果模板是：
这个运算的含义是：将原图像中某个像素的灰度值与其右下方相邻的八个像素的值相加，再以平均值作为新图像中该像素的灰度值。
模板运算实现的是邻域运算，即某个像素点的运算结果不仅和该像素点的灰度有关，还和其邻域点的值有关。模板运算的数学意义就是卷积（或互相关）运算。
卷积是一种广泛使用的算法，可用于执行各种空间图像处理：
卷积运算中的卷积核就是模板运算中的模板：
卷积是一个加权求和的过程，将邻域内每个像素（假设邻域大小为3×3，卷积核大小与邻域相同）与卷积核中的每个元素相乘，乘积之和就是中心像素的新值。
卷积核中的元素称为加权系数（也叫卷积系数）。卷积核中系数的大小和顺序决定了图像处理的类型。改变卷积核中的加权系数会影响和的值和符号，从而影响所需像素的新值。
卷积核=模板=空间滤波器
模板或者卷积的加权操作存在一些具体问题：
图像边界问题：当模板（卷积核）移动到图像边界时，卷积核中加权系数对应的9个像素在原图中是找不到的，也就是卷积核悬浮在图像缓冲区的边界上。这种现象发生在图像的上下左右四个边界上。
解决这个问题有两种简单的方法：一种方法是忽略图像边界数据，另一种方法是将原始图像边界像素的值复制在图像周围，这样卷积核悬浮在图像周围时也可以进行正常计算。
计算像素值的动态范围：这可以通过将它们的值设置为 0 或 255 来简单地完成。
空间图像操作
主要应用示例：去除“附加”噪声。生成图像叠加效果
消除“附加”噪音：
对于原始图像f（x，y），有一组噪声图像，其中M幅图像的均值定义为：当噪声不相关且均值为0时，上述图像均值将降低噪声的影响。
生成图像叠加效果：
对于两幅图像，我们有：我们得到双重曝光的效果。我们将此公式推广为：其中。
我们可以得到各种图像合成效果，也可以用于连接两张图片。
主要应用实例：
去除不需要的重叠模式；检测同一场景的两幅图像之间的变化；计算物体边界处的梯度。
a. 删除不需要的叠加图案：
设：背景图像b(x,y)，前景背景混合图像f(x,y)：g(x,y) = f(x,y) – b(x,y)。g(x,y)为去除背景后的图像。电视制作中采用的蓝屏技术就是基于此。
b. 检测同一场景的两幅图像之间的变化：
假设：时刻1的图像为，时刻2的图像为；。
c.计算物体边界的梯度：
在图像中寻找边缘时，梯度幅度（描述变化陡度的量）的近似计算
主要应用实例：图像的局部显示；二值掩模图像与原图像的乘法。
在AND和OR运算中，亮表示二进制码1，暗表示0。模板处理有时可以用作感兴趣区域（ROI）处理。
负的定义主要用来举例：得到一幅负图像；得到一个子图像的互补图像。
获取子图像的补图：
像素之间的一些基本关系
相邻像素：
坐标 (,) 处的像素有 4 个水平和垂直邻居，其坐标如下：
这组像素称为 4 域，用 表示。
4个对角线相邻像素的坐标如下：
这些点与4个域点一起称为P的8域，并由它表示。
邻接，连通性，区域和边界：
[外部链接图像传输失败，源站点可能具有反螺旋链接机制，建议保存图像并直接上传图像（img---86）（c：\ users \ users \ mrho \ \\\\ - user- \ 72.png）]
定义为二进制图像中相邻的一组灰度值。
** 4个贴上：如果q在集合N4（p）**中，则V中的两个像素P和Q为4个。
** 8-：**两个像素P和Q，如果Q在集合N8（P）中，则V中的值为8个。
M ：如果q在N4（p）中或V中，则两个像素P和Q具有V为M的值，并且集合N4（P）和N4（Q）的相交在V中没有像素，为1。
历史文章
▼
科学系列
▼
第五章：
第四章：
第 3 部分：
第 2 部分：
第 1 部分：
▼
优化系列
▼
第 3 部分：
第 2 部分：
第 1 部分：
▼
经典算法系列
▼
第 2 部分：
第 1 部分：
▼
计算机视觉系列
▼
第 3 部分：
第 2 部分：
第 1 部分：
▼
深度学习系列
▼
第 2 部分：
第 1 部分：
▼
强化学习系列
▼
第四章：
第 3 部分：
第 2 部分：
第 1 部分：