离婚时孩子未成年，父母有抚养义务，若双方都不要则构成遗弃罪，要负刑事责任。若协议无法达成一致，则由法院判决有能力条件、利于孩子身心健康和成长环境的一方抚养。

法律依据

《民法典》第一千零六十七条 【父母的抚养义务和子女的赡养义务】父母不履行抚养义务的，未成年子女或者不能独立生活的成年子女，有要求父母给付抚养费的权利。《未成年人保护法》第八条规定：“父母或者其他监护人应当依法履行对未成年人的监护职责和抚养义务，不得虐待、遗弃未成年人。《关于人民法院审理离婚处理子女抚养问题的若干具体意见》第二十条规定：“在离婚诉讼期间，双方均拒绝抚养子女的，可先行裁定暂由一方抚养。”双方应当就子女问题进行协商，按照婚姻法有关规定确定由哪一方抚养，由另一方支付抚养费。如果双方不能达成协议，则应由人民法院判决由有能力条件的一方抚养。