про железо

TYSON правильно сказал - под графические нужды лучше использовать граф станции. Помню в свое время станции от SGI в Питер кто-то поставлял (Даже одну в живую видел, в одном из КБ - юзалась на ней прога ProEngeener)

А работа операционки зависит от того какую нагрузку ты на нее дашь. Ибо сложно надеятся получить мега стабильность от операционки "для домохозяек".

Правильно было-бы делать так - ставится обычная машина (хоть на селероне) на которой и будет крутится "основной" 3ДМакс, и рядом с ней ставиться навороченая машинка, которая будет заниматься рендерингом (в максе, по крайней мере 2.0 и 2.5 были функции кластеризации и переноса обсчета сцен на другие машины). В бодущем ставится еще несколько таких же по мощности машин и в итоге получается хороший кластер для расчета. В качестве "серверов" под эти нужды все таки советуют ставить ксеоны.

А экскурс в железо - оно тебе не надо
Supermicro - это обычно не дорогие решения.....