抚养子女和赡养父母不仅是法律明文规定的义务，也是中国的文化传统。

虽然你们离婚了，但是你们结束的仅仅是婚姻关系（姻亲关系），而父母和子女之间的关系，也就是亲权关系，并没有结束。

这也就是那句老话常说的，血浓于水，打断骨头连着筋。

其实对方并没有不履行抚养你这边孩子的义务，同时你也并不是没有履行抚养对方那边孩子的义务。

由于你们是生了两个孩子，所以你们夫妻二人对于这两个孩子都有抚养的义务，也就是说，你的义务原本是抚养两个孩子，他的义务也是抚养两个孩子。

这并不会因为你们离婚而改变（还是前面说到的原因，亲权关系是不会改变的）。

所以即使你们离婚了，你们仍然都对两个孩子有抚养的义务。

只不过现在，你们通过约定，都只抚养自己这边的孩子，其实相当于你承担了原本应该他承担的，就你这边的孩子的那一半儿的义务。

同样，他也承担了原本应该你承担的，就他这边的孩子的那一半儿的义务。

相当于你们彼此为对方承担了一半儿的抚养义务，再换算一下，你为他承担了义务，他也为你承担了义务，也就是你们还是都履行了抚养两个孩子的义务。所以孩子的赡养义务是必然的。