鄰域運算元作用在給定畫素周圍的畫素上以計算輸出值，可以實現影象濾波、影象的平滑和銳化、影象邊緣的增強和影象噪聲的去除。鄰域運算元有線性和非線性運算元。線性運算元是指用不同的權重結合一個小的鄰域內的畫素，相當於覆蓋一個模板。非線性運算元如形態學運算、距離變換。

    線性濾波運算：

其中權重核或掩膜h(k,l)常稱為“濾波係數”。上面運算元可以簡記為：

通常影象濾波會存在邊界效應：會使角點處的畫素變黑，主要是因為當卷積核超出原始影象邊界時，原始影象邊界外的部分被認為是有效的，並用0填塞。

為了抵消這種效應，通常採用對影象填塞或擴充套件的模式：

                   0填塞：將原影象之外的值設定為0（？？這樣不還是邊界效應嗎？）。

                   常數填塞（邊框彩色）：在原影象之外的畫素值設定為確定的邊界值。

                   夾取填塞：不限定的複製邊緣畫素的值。

                   重疊填塞：以環狀形態環繞影象進行迴圈。

                  映象填塞：將畫素圍繞影象邊界進行映象反射。

通過一個具體例子可以清楚的看到，卷積運算，每個畫素都需要K^2次操作，K時卷積核的大小。運算效率較低，通常採用如下計算方法來加速：先用一維行向量進行卷積，接著用一維列向量進行卷積，（每個畫素需要運算次數為  為2K次操作）。那麼就要考慮儘量使用可分離的卷積核。

     最簡單的線性濾波是移動平均或方框濾波器，它將KxK視窗中的畫素值的平均值作為輸出。

     線性濾波運算元長用在邊緣提取的預處理階段和興趣點檢測的演算法中。

帶通濾波器和導向濾波器：

              通常將一階或二階導數的濾波器稱為帶通濾波器，因為他可以同時濾出低頻和高頻。

             導向濾波器，結論是現在可以構造具有越來越強的方向選擇性的方向導數濾波器，使得濾波器只在方向上具有很強的區域性一致性的邊緣上有響應。導向濾波器常用來構造特徵的描述子和邊緣檢測器。