В общем, необходимо определить пересечение рельефа с виртуальной четырехугольной призмой. В результате, не будет четырехугольник. Проекция ж перспективная будет. На холмах будут вогнутости, во впадинах - выпуклости.
Пересечение рельефа с призмой в 3D-пространстве, конечно, не будет плоским четырёхугольником, а будет сложным полигоном, отражающим все выпукости и впадины. Будем считать, что с этим разобрались.
Но по сути, этот сложный полигон будет просто-напросто участком рельефа (исходного DEM'а), который вырезан при помощи четырёхугольника (кадра). Тоже вроде очевидно. 
Для решения поставленной вами задачи (как я её скромно понял 
) не нужно так сосредоточиваться на форме полигона в 3D-пространстве - это нужно только если вы хотите всё 3D-визуализировать. Для вашей задачи не нужно сначала представлять 3D-поверхность, а потом пытаться её "расстелить" на плоскости, чтобы увидеть все чудовищные отличия от кадра-четырёхугольника (хотя это и был бы интересный и наглядный эксперимент).
Если основная задача состоит в расчёте площади внутри кадра/перекрытия с учётом рельефа (а не плоской площади), т.е. расчёта площади-по-поверхности-внутри-полигона (произвольной вобщем-то формы) -- т.е. в получении цифр, то нужно просто применить соответствующие методики расчёта (к полигонам-кадрам, к полигонам-перекрытиям, и т.д.), и оно само всё получится. Площадь гарантированно будет отличаться от "плоской" площади четырёхугольника, и, конечно, отличия будут тем существеннее, чем пересечённее рельеф.
