[Openstack ] 오픈스택 VPNaaS 환경 구성 과정에서 발생한 get_vpn_services_on_host 에러 메시지 출력 문제

blog post 

 

이 포스트는 openstack vpnaas 설정 중에 발생한 문제를 해결하는 과정을 기록한 글입니다. 해결 방법이 100% 확실한 방법은 아닌 만큼, 혹시 참고하시는 분들이 계시다면 꼭 단순 참고용으로만 봐주시기 바랍니다.

 

 

상황

 

 

오픈스택에 vpnaas 서비스 설치 후, 동작중이던 인스턴스의 네트워크가 단절되는 상황이 발생했습니다. 일단 ping이 게이트웨이 10.10.0.1로도 가지 않는 것으로 보아, 라우터 쪽 문제로 예상되었습니다.

 

아래와 같이 네트워크 노드에서 ip netns로 확인결과 갑자기 router 네임스페이스가 사라졌습니다...(?)

[root@Network neutron]# ip netns
qdhcp-585040c0-8dea-43f0-ba73-001955f59ce1 (id: 2)
qdhcp-b7fc4869-1e35-4d34-9f84-2a66b6d3c984 (id: 0)
ns1

 

바로 로그를 확인해 보았고, 아래와 같이 에러 로그가 주기적으로 발생하는 것을 볼 수 있었습니다. 정확한 원인 파악은 어려우나, get_vpn_services_on_host 메시지로 보아, vpn에 문제가 있는 건 확실해 보였습니다.

 

2020-05-12 23:03:14.396 100151 ERROR neutron_lib.rpc [-] Timeout in RPC method get_vpn_services_on_host. Waiting for 55 seconds before next attempt. If the server is not down, consider increasing the rpc_response_timeout option as Neutron server(s) may be overloaded and unable to respond quickly enough.: MessagingTimeout: Timed out waiting for a reply to message ID 7b0b7e6e47014ec7b14f9885b66850b5
2020-05-12 23:03:14.396 100151 WARNING neutron_lib.rpc [-] Increasing timeout for get_vpn_services_on_host calls to 120 seconds. Restart the agent to restore it to the default value.: MessagingTimeout: Timed out waiting for a reply to message ID 7b0b7e6e47014ec7b14f9885b66850b5
2020-05-12 23:03:38.404 100151 ERROR neutron.agent.l3.agent [-] Failed reporting state!: MessagingTimeout: Timed out waiting for a reply to message ID 8a0d222588bb4499871bfaab94b6335e
2020-05-12 23:03:38.404 100151 ERROR neutron.agent.l3.agent Traceback (most recent call last):
2020-05-12 23:03:38.404 100151 ERROR neutron.agent.l3.agent   File "/usr/lib/python2.7/site-packages/neutron/agent/l3/agent.py", line 913, in _report_state
2020-05-12 23:03:38.404 100151 ERROR neutron.agent.l3.agent     True)
2020-05-12 23:03:38.404 100151 ERROR neutron.agent.l3.agent   File "/usr/lib/python2.7/site-packages/neutron/agent/rpc.py", line 101, in report_state
2020-05-12 23:03:38.404 100151 ERROR neutron.agent.l3.agent     return method(context, 'report_state', **kwargs)
2020-05-12 23:03:38.404 100151 ERROR neutron.agent.l3.agent   File "/usr/lib/python2.7/site-packages/oslo_messaging/rpc/client.py", line 178, in call
2020-05-12 23:03:38.404 100151 ERROR neutron.agent.l3.agent     retry=self.retry)
...생략...

 

 

해결

 

1. 우선 Controller노드에서 "openstack vpn" 관련 생성한 "ipsec, ike" 목록은 전부 제거 후 다시 neutron-server, neutron-l3-agent 재시작 조치를 취해보았으나 여전히 위의 메시지가 주기적으로 발생하였습니다.

 

2. 2차적으로 설정 파일 (neutron_vpnaas.conf, neutron.conf)의 옵션 설정을 검사해보았으나, 별다른 문제는 보이지 않았습니다.

 

3. 마지막으로 설정 파일 및 openstack vpnaas 패키지를 전부 제거하였습니다. 이후 vpnaas 패키지를 컨트롤러 노드에만 설치하고 옵션을 재설정 해보았습니다. neutron-server, neutron-l3-agent 재시작한 결과, 에러 메시지가 사라졌습니다.

 

[root@Network neutron]# tail -f /var/log/neutron/l3-agent.log                                                                                                
2020-05-12 23:35:18.752 102422 INFO oslo.privsep.daemon [-] privsep daemon starting
2020-05-12 23:35:18.755 102422 INFO oslo.privsep.daemon [-] privsep process running with uid/gid: 0/0
2020-05-12 23:35:18.756 102422 INFO oslo.privsep.daemon [-] privsep process running with capabilities (eff/prm/inh): CAP_DAC_OVERRIDE|CAP_DAC_READ_SEARCH|CAP_NET_ADMIN|CAP_SYS_ADMIN/CAP_DAC_OVERRIDE|CAP_DAC_READ_SEARCH|CAP_NET_ADMIN|CAP_SYS_ADMIN/none
2020-05-12 23:35:18.757 102422 INFO oslo.privsep.daemon [-] privsep daemon running as pid 102422
2020-05-12 23:35:20.664 102382 INFO neutron.agent.l3.agent [-] Starting router update for 700c5054-6612-477a-970c-f3f7eebbaea6, action 3, priority 2, update_id 6f64e165-d6ca-48dc-863d-36ccbeb79829. Wait time elapsed: 0.000
2020-05-12 23:35:20.988 102382 INFO oslo_rootwrap.client [-] Spawned new rootwrap daemon process with pid=102427
2020-05-12 23:35:22.595 102382 INFO neutron.agent.l3.agent [-] Finished a router update for 700c5054-6612-477a-970c-f3f7eebbaea6, update_id 6f64e165-d6ca-48dc-863d-36ccbeb79829. Time elapsed: 1.931
2020-05-12 23:35:42.892 102382 INFO neutron.agent.l3.agent [-] Agent has just been revived. Doing a full sync.
2020-05-12 23:35:59.241 102382 INFO neutron.agent.l3.agent [-] Starting router update for 700c5054-6612-477a-970c-f3f7eebbaea6, action 3, priority 2, update_id db09717d-d8e4-4532-adf1-25521ea32560. Wait time elapsed: 0.000
2020-05-12 23:35:59.397 102382 INFO neutron.agent.l3.agent [-] Finished a router update for 700c5054-6612-477a-970c-f3f7eebbaea6, update_id db09717d-d8e4-4532-adf1-25521ea32560. Time elapsed: 0.156

 

아마도 Controller, Network 노드에 모두 vpnaas 패키지를 설치했던 것이 서로 충돌이 나지 않았나 예상해봅니다.