需要到你爷爷的户籍地派出所调取公民户籍档案，即便你爷爷的户口注销，档案里也会有你父亲和爷爷的亲子关系，如果户籍档案也有你，直接开具你们祖孙关系证明即可，

如果只有你父亲没有你，还需要到你父亲户籍地派出所申请调查户籍档案，证明你和你父亲的亲子关系，从而证明你和你爷爷的祖孙关系。