Το χωριό εγκαταλείφθηκε και πάλι μετά την καταστροφή της Νάουσας το 1822, οπότε και τα στρατεύματα του πασά της Θεσσαλονίκης Εμπού Λουμπούτ, επιδόθηκαν σε συστηματική καταστροφή των χωριών του Βερμίου μεταξύ των οποίων και το Ξηρολίβαδο. Όσοι από τους τότε Ξηρολιβαδιώτες γλύτωσαν τον άγριο θάνατο σύρθηκαν στα σκλαβοπάζαρα της ανατολής. Έτσι όταν οι πρόγονοι των σημερινών βλαχόφωνων κατοίκων του χωριού εγκαταστάθηκαν στο Ξηρολίβαδο, ο παλαιότερος οικισμός ήταν έρημος και ερειπωμένος.
Το χωριό ξαναζωντάνεψε όταν γύρω στα 1840 εγκαταστάθηκε στην περιοχή ένα φαλκάρι 100 περίπου οικογενειών από τα βλαχοχώρια των Γρεβενών. Η διάβαση του Ξηρολιβάδου είχε νωρίτερα χρησιμοποιηθεί από τους Βλάχους της Πίνδου, όταν οργανωμένα μετακινούνταν διωκόμενοι από τις άγριες διαθέσεις του Αλή Πασά, του οποίου η εξουσία έφθανε μέχρι τον ποταμό Αξιό. Μετά από ένα χρονικό διάστημα που ακολούθησε την εξόντωση του Τεπελενλή, οι βλαχόφωνοι κτηνοτρόφοι επέστρεψαν από την κεντροανατολική Μακεδονία, όπου είχαν καταφύγει και εγκαταστάθηκαν στο Βέρμιο, όπου ήδη είχαν εντοπίσει πλουσιότατα βοσκοτόπια.
Αρχηγός της πρώτης ομάδας των οικιστών ήταν ο αρχιτσέλιγκας Γιώργος Μπουσμπούκης από την Αβδέλλα. Από τη φάρα των Μπουσμπουκαίων προήρθαν αργότερα και οι οικογένειες Χατζηγώγου, Τσάρα και Κουκόλη. Μαζί με τους Μπουσμπουκαίους ήρθε από την Αβδέλλα και η οικογένεια Βράνα και από τη Σαμαρίνα η οικογένεια Χασιώτη. Αυτός ο πρώτος πυρήνας των οικογενειών εγκαταστάθηκε αρχικά όχι στα ερείπια του παλιού χωριού, αλλά πίσω από τους λόφους νότια της Μπάρας, για να κρύβονται από τα ένοπλα σώματα που περνούσαν από την ερειπωμένη διάβαση του Ξηρολιβάδου. Αργότερα, στα 1871, προστέθηκε και το φαλκάρι της οικογένειας Καπρίνη από τη Σαμαρίνα, με 20 οικογένειες, 3.000 γιδοπρόβατα και με μια αγέλη από φοράδες. Ακολούθησαν διαδοχικά κύματα νέων εποίκων που προέρχονταν κυρίως από την Αβδέλλα λόγω των παλιών συγγενικών σχέσεων και των κοινών οικογενειακών ονομάτων με τους ήδη κατοίκους του Ξηρολιβάδου. Οι κάτοικοι του χωριού συμμετείχαν μαζί με τους συγγενείς και γείτονες τους από το Κάτω Βέρμιο στην επαναστατική κίνηση του 1878 στην περιοχή της Πιερίας και Ημαθίας. Μετά την επανάσταση ένα απόσπασμα του οθωμανικού στρατού ανέβηκε στο χωριό καταδιώκοντας αυτούς που συμμετείχαν στην επανάσταση.
Στα τέλη του 19ου αιώνα, κάποιος νταιφάς – ομάδα Σαρακατσαναίων έκανε την εμφάνιση του στην περιοχή του Ξηρολιβάδου εγκαινιάζοντας την εποχική συνύπαρξή τους με τους Βλάχους. Σαρακατσαναίοι κτηνοτρόφοι μαζί με τα κοπάδια τους εξακολουθούν να ανεβαίνουν στο Ξηρολίβαδο μέχρι και σήμερα. Προέρχονται από θεσσαλικά χειμαδιά και στήνουν τις καλύβες τους σε κάποια απόσταση απέναντι από το χωριό. Οι Σαρακατσαναίοι του Ξηρολίβαδου έχοντας μόνιμη εγκατάσταση στη Θεσσαλία, αποτελούν μια ξεχωριστή κοινωνική ομάδα και διατηρούν αγαστές σχέσεις με τους Ξηρολιβαδιώτες. Επισημαίνεται πως στις αρχές του 20ου αιώνα υπήρχαν στις πλαγιές του Βερμίου 4 ανεξάρτητοι νομαδικοί νταϊφάδες – ομάδες Σαρακατσαναίων. Ωστόσο, καμία από αυτές τις ομάδες δεν μπόρεσε να αναπτύξει κάποιο σταθερό οικισμό με τη μορφή ορεινής κοινότητας. Τα τελευταία χρόνια, η πιο δυναμική από αυτές τις ομάδες δημιουργεί ένα παραθεριστικό οικισμό στις νοτιοδυτικές πλαγιές του Βερμίου, κοντά στην Ζωοδόχο Πηγή στην τοποθεσία Ιμπιλί που ανήκει στο Ξηρολίβαδο.
Την ίδια εποχή με τους Σαρακατσαναίους μια ομάδα Κουπατσαραίων εγκαταστάθηκε μέσα στο χωριό και ενσωματώθηκε με τους Βλάχους κατοίκους του. Οι περισσότεροι από τους Κουπατσαραίους του Ξηρολίβαδου είχαν αρχικά στήσει τις θερινές τους εγκαταστάσεις στην Μικρή Σάντα (τότε Τσαρκόβιανη). Όταν στις αρχές του 20ου αιώνα η εγκατάσταση της Μικρής Σάντας είχε πια διαλυθεί, σχεδόν όλοι τους εγκαταστάθηκαν στο Ξηρολίβαδο. Εκτός όμως από τους Κουπατσαραίους που βρέθηκαν εδώ από τη Μικρή Σάντα, υπήρχαν και μεμονωμένες οικογένειες και άτομα που βρέθηκαν κατευθείαν στο Ξηρολίβαδο, όπως η οικογένεια Χριστοδούλου, με καταγωγή από το Πολυνέρι των Γρεβενών. Στο Ξηρολίβαδο αποτραβήχτηκαν και οι περισσότερες από τις βλάχικες οικογένειες που είχαν δημιουργήσει την εγκατάσταση της γειτονικής Καστανιάς. Μέχρι τις αρχές του 20ου αιώνα και πριν το 1912, οι οικισμοί της Καστανιάς και της Μικρής Σάντας φαίνεται πως αποτελούσαν, κατά κάποιο τρόπο, περιφερειακούς οικισμούς του Ξηρολίβαδου.
Στα τέλη του 19ου αιώνα ορισμένες εύπορες οικογένειες του Ξηρολιβάδου με κυρίαρχη αυτή του Χατζηγώγου απέκτησαν μεγάλες εκτάσεις στην ευρύτερη περιοχή εξασφαλίζοντας σημαντικά έσοδα. Το Ξηρολίβαδο όμως παρέμεινε τσιφλίκι μέχρι και μετά το 1912 και οι κάτοικοι πλήρωναν ενοίκιο για την παραμονή των οικογενειών και των κοπαδιών τους. Το 1912 το χωριό ήταν τσιφλίκι Τούρκων της Βέροιας, σε συνιδιοκτησία με το γιατρό και προύχοντα της πόλης Αναστάσιο Σιορμανωλάκη. Στα χρόνια του Μακεδονικού Αγώνα το Ξηρολίβαδο απετέλεσε καταφύγιο αλλά και ορμητήριο ελληνικών ανταρτικών σωμάτων και επωνύμων προσώπων της εποχής.