Noch bevor Herzog Maximilian Philipp, die Vormundschaft für den minderjährigen Neffen und Kurprinzen Max Emanuel im Juli 1680 abgegeben und sich nach Türkheim zurückgezogen hatte, erwarb er die Herrschaft Mattsies. Dieser Ankauf bildete zugleich den Auftakt für den weiteren Ausbau und die Abrundung seines Machtbereiches. Denken wir hier nur an den Erwerb der benachbarten Herrschaften von Mindelheim (1686), von Angelberg (1689) und der Hofmark Amberg (1697). Die Verhandlungen zu diesem Verkauf reichen bis in das Jahr 1678 zurück: Am 27. April wurde ein sogenannter "eventual Kauff" abgeschlossen. 
Am 28. Februar des folgenden Jahres genehmigt Kaiser Leopold, der mit Herzog Maximilan Philipp befreundet war, diese Kaufhandlung und verzichtet zugleich auf die österreichische Lehenshoheit. Am 27.Juni erteilt er dann die Genehmigung, daß der Blutbann auf Herzog Maximilian übertragen werde. Ueber den endgültigen Kaufvertrag, der als Kaufpreis 100 000 Gulden nennt, gibt uns eine großformatige Urkunde Auskunft. Den Kaufpreis für diesen entscheidenden Vertrag, der am 29. Januar 1680 in München ausgestellt wurde, nahm der Herzog aus der Heiratsschatulle seiner Gemahlin.(Prinzessin Maurita Febronia de Latour d`Auvergne) In dieser Summe sind "Unser Schloß und Dorff Mattsieß, samt baiden unseren Dörffern Ober- und Under Ramingen mit ihren Hochen und Nideren erichten, und anderen hernach benannten Herrlichkeiten, und Gerechtigkeiten ..." inbegriffen, "wie auch die aigne Leüth, inner- und außerhalb berüter Dörffer." Ausgenommen sind der Zehent, das Widum, das Patronatsrecht, zwei den Freyberg gehörenden Sölden in Mattsies und die "Weingartner Güetter" in Oberrammingen,"welche dem Gotteshaus Weingarten 
züns- und gültbar sind". Der Herzog hielt sich öfters innerhalb der Herrschaft, insbesondere in Mattsies, auf, was die Patenschaften für die Kinder des Präfekten,der das Gebiet zu verwalten hatte, bezeugen.
Am 20.Mai 1705 stirbt Herzog Maximilian Philipp, seine Gemahlin Mauritia Febronia ein Jahr später.
Da die beiden kinderlos bleiben, vermachen sie den Großteil ihres Vermögens "ad pias causas" also zu frommen Zwecken-den Armen-der Kirche-
1721 mußte das Kurhaus die vom Herzog seinerzeit bezahlte Kaufsumme aufbringen. Damit war die Herrschaft wieder im Besitz der bayerischen Kurfürsten.
Bild: Mauritia Febronia
Kurfürst Max Emanuel schenkt das Schlossgut Mattsies 1718 dem Geheimen Rat und Konferenzminister Franz Josef Unertl. Dieser erklärt später, er habe vergessen, dass er dieses Schlossgut erhalten hat.
1740 verpfändet Kurfürst Karl Albert das Schlossgut dem Hofkammerrat und Bankier Johann Baptist von Ruffin für 140 000 Gulden. (Herrschaften Mattsies und Angelberg mit den Brauhäusern, der niederen Gerichtbarkeit und der niederen Jagd.
1741 wird ein neuer Vertrag gemacht und die Kaufsumme auf 220 000 Gulden erhöht.
1742 verweigert Karl Albrecht aber die Unterschrift mit der Begründung, er könne keine Reichsherrschaft weggeben.
bis 1754 verwaltet den Mattsieser Besitz die Hofkammer in München. (Verwaltungsamt mit Amtmann)
Danach werden Pächter auf das als Schwaige genutzte Schlossgut eingesetzt.
1769 zu Erbrecht den Hofkammerrat und Hofkellermeister Adrian Freiherrn von Lafabrique.
1785 nach dem Tode von Lafabrique -an Gräfin Maria Josefa von Törring-Seefeld.
Als wichtigste Baumaßnahme,die in der Zeit der Zugehörigkeit zu Bayern fallen, können der Bau der Pfarrkirche zu Unterrammingen und die Neuanordnung der Wirtschaftsgebäude auf dem Schloß zu Mattsies erwähnt werden. Zu beiden Bauprojekten wurden Steine von der Angelburg in Tussenhausen bezogen, die seit 1749 für den Abbruch freigegeben war.
Beispielsweise verbaute man in den Grund der Pfarrkirche von Unterrammingen 25 000 Ziegelstaine von der Angelburg.
Weitere Steine verbaute man zum Brauhausumbau auf Schloss Mattsies. (Diese Steine sind heute noch zu sehen!)
Andere Angaben über den Kauf:
Die Erben des Max von Freyburg, der eine geborene Fugger zur Frau hatte, verkauften 1680 die Herrschaft Mazzensiez, samt allen Besitzungen in Unter- und Oberrammingen für 100 000 fl. an Herzog Maximilian Philipp von Bayern (Churbayern), der es als Fundationsvermögen für das Kapuzinerkloster zu Türkheim verwalten ließ. Auch die Herrschaft Angelberg (mit Zaisertshofen) kaufte Herzog Maximilian um dieselbe Zeit und vereinte beide Rittersitze mit Türkheim zusammen, zur „Grafschaft Schwabegg". Die beiden so vereinten Herrschaften Mazzensiez und Angelberg sanken unter Churbayern bald zu einfachen Gutshöfen, so genannten „Schwaigen" herab,*2) da sie nur noch vorübergehend bei Jagden besucht und bewohnt wurden und beide Ritterburgen überhaupt seit Vervollkommnung der Schusswaffen ihre Bedeutung als Schutz- und Trutzbauten verloren hatten. Der Churfürst benutzte damals das Lustschloss in Türkheim als Landsitz, zu dessen Neubau am 23. April 1533 der Grundstein gelegt würde. Die beiden Hochschlösser Mazzensiez und Angelberg, die während 500 Jahren schwere Kriegszeiten (Bauernkrieg, 30jähriger Krieg) überdauert hatten, deren weitere Unterhaltung jetzt aber zwecklos erschien, gerieten derart in Verfall, dass Schloss Angelberg 1749 zum Abbruch kam. Sieben Jahre wurde am Abbruch gearbeitet. Die ausgebrochenen, schön zugehauenen Nagelfluhquadern, die aus dem römischen Wartturm zu Büchelberg stammten, wurden zu verschiedenen Bauten, u.a. auch zum Brauhaus-Neubau auf Schloss Mattsies verwendet.
Nachfolger: Kurfürst Maximilian II. Emanuel
*2) von 1754 bis 1785 verpachtete die Hofkammer das Schloßgut an Adrian Frhr. von Lafabrique, der das Schlossgut als landwirtschaftliches Gut führte.
Wohl seufzte mancher, in der Stille seines Kämmerleins: „Wir sind also bayerisch. Gott gnade uns allen!"