Eigenvalues of a 3x3 matrix