可能的原因有以下两点：
1. DNS反向解析的问题
OpenSSH在用户登录的时候会验证IP，它根据用户的IP使用反向DNS找到主机名，再使用DNS找到IP地址，最后匹配一下登录的IP是否合法。如果客户机的IP没有域名，或者DNS服务器很慢或不通，那么登录就会很花时间。
解决办法：
只需修改/etc/ssh/sshd_config，设置UsedNS为no即可：
sed -i "s/#UseDNS yes/UseDNS no/" /etc/ssh/sshd_config
2. gssapi的问题
用ssh -v user@server 可以看到登录时有如下信息：
debug1: Next authentication method: gssapi-with-mic
debug1: Unspecified GSS failure. Minor code may provide more information
解决办法：
可以使用ssh -o GSSAPIAuthentication=no user@server登录
也可以修改/etc/ssh/ssh_config，设置GSSAPIAuthentication no
最后/init.d/sshd restart/init.d/sshd restart 。
您可能感兴趣的文章：
ssh(ssh-keygen)配置免输入密码登录远程主机的方法
putty实现自动登录的方法(ssh和ssh2)
ssh配置只允许某个IP以某个账号登录服务器的方法介绍
ssh禁止root登录
文本界面下登录ssh需要代理的解决办法
实现ssh自动登录的四种方法