Transfer Learning for Predictive Maintenance Solutions

Schwendemann, Sebastian

doi:10.21268/20240209-1

published

Transfer Learning for Predictive Maintenance Solutions

German
English

In den letzten Jahrzehnten hat sich die industrielle Produktion zu immer anspruchsvolleren Verfahren weiterentwickelt. Die Entwicklung von spezialisierten, hochentwickelten Maschinen erhöhte die Bedeutung von vorausschauender Wartung, um qualitativ hochwertige Produkte zu erzeugen und Maschinenausfälle zu verhindern. Vorausschauende Wartung hat zwei Hauptziele: den aktuellen Maschinenzustand zu erkennen und den Wartungsintervall durch die Ermittlung der verbleibenden Standzeit (RUL) vorherzusehen. Heutzutage werden beide Ziele durch Machine Learning und Deep Learning Ansätze abgedeckt. Diese setzen große Mengen an oft nicht vorhanden Trainingsdatensätzen voraus. Eine Lösung für das Problem könnte Transfer Learning sein. Hierbei wird Wissen von einem größeren in einen kleineren Datensatz transferiert wird. Diese Thesis fokussiert sich auf Transfer Learning für vorausschauende Wartung im Bereich der Fehlererkennung und RUL-Ermittlung. Der erste Teil präsentiert den aktuellen Forschungsstand für Technologien, die für vorausschauende Wartungsaufgaben geeignet sind (Kapitel 2). Darauffolgend wird der Werkzeugmaschinenhintergrund und die aktuellen Forschungen, der zuvor eingeführten Machine Learning Techniken für vorausschauende Wartungsaufgaben präsentiert (Kapitel 3). Eine Neuheit dieser Thesis ist eine neue Intermediate Domain, die Daten fokussiert auf nur die relevanten Informationen repräsentiert. Dadurch können die Daten in einer anderen Domäne verwendet werden ohne relevante Informationen zu verlieren (Kapitel 4). Die präsentierte Lösung ist für rotierende Bauteile optimiert. Dafür werden durch die Intermediate Domain verschiedene Layer erzeugt die sich auf die Fehlerfrequenzen der rotierenden Elemente fokussieren. Eine weitere Neuheit dieser Thesis ist ein auf halb- und unüberwachtes Transfer Learning basierter Fehlerklassifikationsansatz für verschiedene Komponenten und verschiedenen Prozessbedingungen (Kapitel 5). Er basiert auf der Intermediate Domain, welche in Verbindung mit einem Convolutional Neural Network (CNN) verwendet wird. Zusätzlich wird eine neue unüberwachte Transfer Learning Verlustfunktion, die auf einem der aktuellen Algorithmen, Maximum Mean Discrepancy (MMD), basiert, präsentiert. Dieser Ansatz erweitert MMD durch die Beachtung der Intermediate Domain Layer. Deshalb wird er auch Layered Maximum Mean Discrepancy (LMMD) genannt. Eine weitere Neuheit ist ein Transfer Learning basierter RUL-Ermittlungsansatz, welcher auf Daten von Niedrigfrequenzbeschleunigungssensoren spezialisiert ist (Kapitel 6). Er verwendet die Merkmalsextraktionsmechanismen des Klassifikationsansatzes. Die Merkmale werden dann als Eingabe für ein Long Short-Term Memory (LSTM) Netzwerk verwendet. Transfer Learning basiert dabei auf einer fixierten Merkmalsextraktion, wobei die trainierten Layer übernommen werden und das LSTM Netzwerk neu trainiert wird. Dieses Transfer Learning Verfahren wird von der Intermediate Domain unterstützt, da sie ähnlich für unterschiedliche Komponenten sein sollte. Alle präsentieren Neuheiten wurden anhand von Fallstudien basierend auf Kugellager validiert (Kapitel 7). Dadurch wurde ihre Überlegenheit gengenüber aktuellen Forschungsansätzen demonstriert.

The last decades have seen the evolution of industrial production into more sophisticated processes. The development of specialized, high-end machines has increased the importance of predictive maintenance of mechanical systems to produce high-quality goods and avoid machine breakdowns. Predictive maintenance has two main objectives: to classify the current status of a machine component and to predict the maintenance interval by estimating its remaining useful life (RUL). Nowadays, both objectives are covered by machine learning and deep learning approaches and require large training datasets that are often not available. One possible solution may be transfer learning, where the knowledge of a larger dataset is transferred to a smaller one. This thesis is primarily concerned with transfer learning for predictive maintenance for fault classification and RUL estimation. The first part presents the state-of-the-art machine learning techniques with a focus on techniques applicable to predictive maintenance tasks (Chapter 2). This is followed by a presentation of the machine tool background and current research that applies the previously explained machine learning techniques to predictive maintenance tasks (Chapter 3). One novelty of this thesis is that it introduces a new intermediate domain that represents data by focusing on the relevant information to allow the data to be used on different domains without losing relevant information (Chapter 4). The proposed solution is optimized for rotating elements. Therefore, the presented intermediate domain creates different layers by focusing on the fault frequencies of the rotating elements. Another novelty of this thesis is its semi and unsupervised transfer learning-based fault classification approach for different component types under different process conditions (Chapter 5). It is based on the intermediate domain utilized by a convolutional neural network (CNN). In addition, a novel unsupervised transfer learning loss function is presented based on the maximum mean discrepancy (MMD), one of the state-of-the-art algorithms. It extends the MMD by considering the intermediate domain layers; therefore, it is called layered maximum mean discrepancy (LMMD). Another novelty is an RUL estimation transfer learning approach for different component types based on the data of accelerometers with low sampling rates (Chapter 6). It applies the feature extraction concepts of the classification approach: the presented intermediate domain and the convolutional layers. The features are then used as input for a long short-term memory (LSTM) network. The transfer learning is based on fixed feature extraction, where the trained convolutional layers are taken over. Only the LSTM network has to be trained again. The intermediate domain supports this transfer learning type, as it should be similar for different component types. In addition, it enables the practical usage of accelerometers with low sampling rates during transfer learning, which is an absolute novelty. All presented novelties are validated in detailed case studies using the example of bearings (Chapter 7). In doing so, their superiority over state-of-the-art approaches is demonstrated.