#include <stdio.h>
#include <time.h>
#include <stdlib.h>

int main (void)
{
   int i,j;
   int a[5];
   srand((unsigned)time(NULL));
   for(i=0;i<10;i++)
   {
       a[i]=rand()%4;
       for(j=0;j<i;j++)
       {
           if(a[j]==a[i])
               i--;
       }
   }
   for(i=0;i<5;i++)
   {
       printf("%d",a[i]);
   }
  
   return 0;
}

无限循环了.
for(i=0;i<10;i++)
   {
       a[i]=rand()%4;
       for(j=0;j<i;j++)
       {
           if(a[j]==a[i])
               i--;
       }
   }
循环要进行10次, 可是你的数只有0, 1, 2, 3四个,从第5次开始i的值就在4和5换来换去,  
循环10次是不对的, 因为数组a只有5个元素,
也就是. 数组a大小和for循环次数, 这两个值要一样,  rand()%__的值看你要什么范围的, 但要大于等于前面循环的次数.

同意楼上
a[i]=rand()%4;  ----  a[i]=rand()%100;   //至少需要: %n  n>10

另：
 int a[5];
。。。
for(i=0;i<5;i++)

int a[5];
   srand((unsigned)time(NULL));
   for(i=0;i<10;i++)
   {
       a[i]=rand()%4;
.....
你要在0--4（不包括4）之间取5个不相同的整数，这本来就不可能实现。