法律主观：
离婚时不抚养的一方不可以断绝关系的。根据相关法律规定，父母对未成年子女具有法律规定的抚养、教育和保护等相关义务。且父母与子女间的关系，不因父母离婚而消除。
法律客观：
《中华人民共和国民法典》第二十六条 父母对未成年子女负有抚养、教育和保护的义务。 第一千零六十七条 父母不履行抚养义务的，未成年子女或者不能生活的成年子女，有要求父母给付抚养费的权利。 第一千零八十四条 父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或者母直接抚养，仍是父母双方的子女。 离婚后，父母对于子女仍有抚养、教育、保护的权利和义务。 离婚后，不满两周岁的子女，以由母亲直接抚养为原则。已满两周岁的子女，父母双方对抚养问题协议不成的，由人民根据双方的具体情况，按照最有利于未成年子女的原则判决。子女已满八周岁的，应当尊重其真实意愿。