Fine-Tuning Large Language Models for Ticket Classification at Doka GmbH

Mit der fortschreitenden Digitalisierung nimmt die Zahl der IT-Anwendungen in Unternehmen stetig zu. Dies führt zu einer Zunahme von IT-Problemen, die in großen Unternehmen meist über ein IT-Ticketsystem abgewickelt werden. Auch die Doka GmbH nutzt einen solchen Helpdesk, um Tickets manuell an die entsprechende Abteilung zur Bearbeitung weiterzuleiten. Dieser manuelle Prozess ist sehr zeit- und kostenaufwändig. Um diesen Prozess zu automatisieren, ist eine automatische Textklassifizierung erforderlich. In der Vergangenheit wurde die Textklassifizierung mit traditionellen Klassifikatoren und später mit Deep Neural Networks (DNN) durchgeführt. Mit der Einführung der Transformer-Architektur wurden große Sprachmodelle (LLM) wie GPT und BERT entwickelt. GPT ist ein von OpenAI veröffentlichtes LLM, während BERT von Google entwickelt wurde. Diese Modelle sind sehr gut im Verstehen von allgemeinem Text, versagen aber oft beim Verstehen von domänenspezifischen Wörtern, wie sie in IT-Tickets vorkommen. Aus diesem Grund werden fein abgestimmte Modelle von GPT und BERT für die fünf Attribute, die ein Ticket bei der Doka GmbH beschreiben, erstellt und verglichen. Bei der Feinabstimmung wird das LLM auf eine bestimmte Aufgabe trainiert und die Modellparameter werden während des Trainings an diese Aufgabe angepasst. Es stellt sich heraus, dass GPT das BERT-Modell in 4 von 5 Fällen in Bezug auf die Genauigkeit übertrifft. Um eine bessere Leistung mit dem BERT-Modell zu erreichen, werden Data Augmentation Techniken wie EDA (Easier Data Augmentation) und AEDA (An Easier Data Augmentation) verwendet. Diese verwenden Methoden wie die Random Insertion, um sicherzustellen, dass zusätzliche klassifizierte Daten generiert werden können. Die Untersuchung zeigt, dass beide Techniken in der Lage sind, die Leistung des BERT-Modells erheblich zu verbessern.

As digitalization progresses, the number of IT applications in companies constantly increases. This leads to an increase in IT problems, which are usually handled by an IT ticket system in large companies. Doka GmbH also uses such a helpdesk to manually forward tickets to the responsible department for processing. This manual process is very time-consuming and costly. Automatic text classification is required to automate this process. In the past, text classification was performed using traditional classifiers and, later, deep neural networks (DNN). With the advent of the Transformer architecture, Large Language Models (LLM) such as GPT and BERT were developed. GPT is an LLM published by OpenAI, while Google developed BERT. These are very good at understanding general text but often fail to understand domain-specific text such as that found in IT tickets. For this reason, fine-tuned models of GPT and BERT are created and compared for the five attributes that describe a ticket at Doka GmbH. Fine-tuning involves training the LLM on a specific task and adjusting the model parameters to suit that task during training. It turns out that GPT outperforms BERT in terms of accuracy in 4 out of 5 cases. Data augmentation techniques such as EDA (Easier Data Augmentation) and AEDA (An Easier Data Augmentation) are used to achieve better performance with the fine-tuned BERT model. These use methods such as random insertion to ensure that additional labeled data can be generated. The research shows that both techniques can improve the performance of the BERT model.