假设这个部门有x个人，每个人都需要与其他x-1个人握手一次。由于每次握手都会涉及到两个人，所以总的握手次数应该是握手人数的一半。

根据题目中给出的信息，总的握手次数为153次，可以得到以下等式：

(x-1) * x / 2 = 153

解这个方程可以得到x的值。