this.KeyPreview = true;

private void Form1_KeyPress(object sender, KeyPressEventArgs e)
{
    if (char.IsDigit(e.KeyChar))  MessageBox.Show("数字");
    else if (char.IsLetter(e.KeyChar)) MessageBox.Show("字母");
    else if (char.IsWhiteSpace(e.KeyChar)) MessageBox.Show("空");
    // ...
}
以上验证是没有问题的，问题是不能验证小数，输入小数点的时候就报非数字了，怎么处理呢

你判断的方法就不对，你是判每次输的字符是否是数字。

if (char.IsDigit(e.KeyChar)||e.KeyChar=='.')  MessageBox.Show("数字");

这个只能用来验证TEXTBOX