灰度共生矩阵可以定义为p(i,j;d,a)，是一个描述图像二阶联合概率函数的矩阵，其大小是N*N（N是图像的灰度级数），灰度共生矩阵中坐标(i,j)的元素表示亮度i和j在方向上a以步长d出现的次数。下面是一个灰阶为5的图像及其对应GLCM的例子。二维平面图像情况下，一般采用0,45,90,135四个前进方向。在三维影像中，共有13个前进方向，使用（水平角，垂直角）表示分别如下(0,0),(0,45),(0,90),(0,135),(45,0),(45,45),
(45,90),(45,135),(-45,0),(-45,45),(-45,90),(-45,135),(90,0)。