Samotný [[X server]] nevie nič viac z vokresľovaniavykresľovania, než zobraziť okno zadaných rozmerov na zadanej pozícii a nakresliť doňho to, čo mu prikáže aplikácia. Neposkytuje služby ako zmena veľkosti či pozície okna, minimalizáciu, maximalizáciu ani dekoráciu okien. Jeho úlohou je vytvárať a spravovať strom základnych stavebných prvkov desktopového prostredia - okien. V terminológii X servera je oknom všetko, čo sa ocitne na displeji. Okná su usporiadané do [[vyhľadávací strom|stromu]] - každé okno má okno, do ktorého patrí a mimo ktorého sa nemôže vykresliť - a ma svojich súrodencov - všetky ostatné okna, ktoré su potomkami rovnakého okna. Jediným oknom, ktoré nemá rodičovske okno, je tzv. koreňové okno (root window), ktoré reprezentuje samotnú pracovnú plochu. Ďalšou úlohou, ktorú sprostredkuváva X server je spracovávanie užívateľského vstupu z klávesnice a myši, ktoré sú poskytované aplikáciám vo forme udalostí.
