VB.NET 窗体内的一个Panel容器失去焦点就自动隐藏

Panel里有Label、TextBox和按钮等控件，我想实现整个Panel失去焦点就自动隐藏这个Panel，毕竟Panel是不可以获得焦点的，所以用LostFocus事件不行，这个该怎么做才能实现呢？
就是这个Panel本身怎么能做到获取焦点并在失去焦点时隐藏这个Panel，或者Panel里的其它可以获得焦点的控件获得焦点后再失去焦点就隐藏这个Panel