#include <stdio.h>
#include <stdlib.h>
#include <string.h>

#define MAX 50

char *Tokey(char key[], int n)
{
    int i, j;
    char t[n];
    for(i=0; i<n; i++)
    {
        int temp=1;
        for(j=0; j<n; j++)
        {
            if(key[i]>key[j])
            {
                temp++;
            }
        }
        t[i]=temp;
    }
    for(i=0; i<n; i++)
    {
        key[i] = t[i];
    }
    return key;
}
//加密
void jiami(const char *str, const char *key)
{
    int nh = strlen(str)/strlen(key);
    int nl = strlen(key);
    char temp[nh][nl];
    int i, j;
    for(i=0; i<nh; i++)
    {
        for(j=0; j<nl; j++)
        {
            temp[i][j] = str[i*nl+key[j]-1];
        }
    }
    printf("加密后得到的密文是：\n");
    for(i=0; i<nl; i++)
    {
        for(j=0; j<nh; j++)
        {
            printf("%c", temp[j][key[i]-1]);
        }
    }
    printf("\n");
}
//解密
void jiemi(const char *str, const char *key)
{
    int nh = strlen(str)/strlen(key);
    int nl = strlen(key);
    char temp[nh][nl];
    int i, j;
    /*for(i=0; i<nl; i++)
    {
        for(j=0; j<nh; j++)
        {
            temp[j][key[i]-1]=str[nh*i+j];
        }
    }*/
    for(i=0; i<nl; i++)
    {
        for(j=0; j<nh; j++)
        {
            temp[j][i] = str[(nl-key[i])*nh+j];
        }
    }
    printf("解密后得到的明文是：\n");
    for(i=0; i<nh; i++)
    {
        for(j=0; j<nl; j++)
        {
            printf("%c", temp[i][nl-key[j]]);
        }
    }
    printf("\n");

}
int main()
{
    char key[MAX];
    char str[MAX];
    char str1[MAX];
    printf("请输入密钥：\n");
    scanf("%s", key);
    printf("请输入明文：\n");
    scanf("%s", str);
    int n = strlen(key);
    key[n+1]='\0';
    str[strlen(str)+1] = '\0';
    Tokey(key,n);
    jiami(str, key);
    printf("请输入密文：\n");
    scanf("%s", str1);
    str1[strlen(str1)+1] = '\0';
    jiemi(str1, key);
    return 0;
}
//不知道为什么解密的时候总是不对，求高手指点一下。

定义数组时他的个数必须是个常量，
而你定义是都用了变量，比如：
  char t[n];
char temp[nh][nl];
 char temp[nh][nl];
这些地方LZ定义时都用了变量，所以不行。
LZ可以用一下动态分配内存的方法。