005 Computerprogrammierung, Programme, Daten
Refine
Document Type
- Doctoral Thesis (8)
- Master's Thesis (1)
- Report (1)
Has Fulltext
- yes (10)
Is part of the Bibliography
- no (10)
Keywords
- Case-based Reasoning (1)
- Case-based decision support (1)
- Complexity Metrics (1)
- Knowledge Maintenance (1)
- Komplexitätsmetriken (1)
- Machine Learning, Data Mining, Time-series classification (1)
- Machine Learning, Hyperparameter Optimization (1)
- Multi-Agent Systems (1)
- Natural Language Processing (1)
- Software Defect Prediction (1)
Institute
- Fachbereich IV (6)
- Fachbereich III (1)
- Informatik (1)
Hintergrund: Die Software-Produktlinienentwicklung ermöglicht eine kostengünstige und effiziente Entwicklung von Produktfamilien bei gesteigerter Qualität im Vergleich zur Einzelsystementwicklung. Dieses wird durch die Einführung von Variabilitätsmechanismen ermöglicht, welche eine hohe Anpassbarkeit der Produkte an verschiedene Kundenbedürfnisse ermöglichen. Allerdings erhöhen diese Variabilitätsmechanismen auch die Komplexität, da Entwickler das Zusammenwirken der Komponenten für verschiedene Produktvarianten berücksichtigen müssen. Daher wurden zur Qualitätssicherung von Software-Produktlinien neue Analysemethoden und -strategien entwickelt, darunter auch variabilitätsbasierte Code-Metriken. Ziel dieser Metriken ist es, unnötige Komplexität zu vermeiden und frühzeitig besonders fehleranfälligen Code zu identifizieren, um diesen zusätzlichen Qualitätsmaßnahmen unterziehen zu können. Unsere systematische Literaturstudie zu diesem Thema zeigt jedoch, dass der Nutzen dieser variabilitätsbasierten Code-Metriken nur in wenigen Fällen evaluiert wurde.
Ziel: Diese Arbeit untersucht inwieweit variabilitätsbasierte Code-Metriken zur Qualitätssteigerung von Software-Produktlinien genutzt werden können. Dazu wird betrachtet, ob sich mit Hilfe empirischer Untersuchungen Entwicklungsrichtlinien zur proaktiven Vermeidung von Komplexität und damit verbundenen Fehlern ableiten lassen. Der Fokus liegt auf der Analyse, ob sich die betrachteten Metriken zur Identifikation von potentiell fehleranfälligeren Code nutzen lassen. Dies umfasst sowohl die univariate Verwendung einzelner Metriken als auch den Aufbau von Vorhersagemodellen mit Verfahren des maschinellen Lernens. Dabei wird auch untersucht, ob die speziell für die Software-Produktlinienentwicklung konzipierten variabilitätsbasierten Code-Metriken einen Mehrwert gegenüber etablierten Metriken der Einzelsystementwicklung bieten.
Methodik: Es findet eine empirische Untersuchung von 692 Einzelsystem- und variabilitätsbasierte Code-Metriken auf dem Linux-Kernel statt. Dazu wird zunächst analysiert, inwieweit die Messwerte der Metriken mit Kompilierfehlern und Sicherheitslücken korreliert sind, welche von den Entwicklern übersehen wurden und so erst nach dem Commit bzw. nach dem Release entdeckt wurden. Darüber hinaus werden die Metriken bezüglich der gemessenen Eigenschaften gruppiert und mit vier Verfahren des maschinellen Lernens eine Identifikation der fehleranfälligen Codestellen erprobt, um so den Nutzen verschiedener Codeeigenschaften beurteilen zu können.
Ergebnisse und Schlussfolgerung: Auch wenn für einen Großteil der Metriken ein signifikanter Zusammenhang zwischen den Messwerten und fehleranfälligen Codestellen nachgewiesen werden kann, so zeigt sich, dass univariate Verfahren für die Praxis untauglich sind. Auf Grund der starken Klassenimbalance von nur 1,5% defekten Codefunktionen (Kompilierfehler), bzw. 0,4% Codefunktionen mit nachgewiesenen Sicherheitslücken, lassen sich bei der Verwendung einer einzelnen Metrik nur F1-Werte unterhalb von 0,073 erzielen. Mangels alternativer Implementierungen lassen sich so, entgegen den Aussagen einiger Veröffentlichungen, auch keine Entwicklungsempfehlungen ableiten. Hingegen können variabilitätsbasierte Code-Metriken, insofern sie auch die Variabilität verbundener Artefakte mit berücksichtigen, erfolgreich zur Fehlervorhersage genutzt werden.
So lässt sich beispielsweise bei Verwendung von Random Forest F1-Werte von 0,667 (Kompilierfehler), bzw. 0,711 (Sicherheitslücken), erzielen.
Stream processing is a popular paradigm to process huge amounts of unbounded data, which has gained significant attention in both academia and industry. Typical stream processing applications such as stock trading and network traffic monitoring require continuously analyzed results provided to end-users.
During processing, the characteristics of data streams such as volume or velocity can vary, e.g., peak load or bursty streams can occur at certain points.
In order to cope with such situations, it requires the analytical systems to be able to adapt the execution of stream processing as quickly as possible.
In literature, different approaches adapting data stream processing such as load-shedding and elastic parallelization do exist. However, each of them have their different shortcomings like skewed results (due to the dropped data) or strong limits on the adaptation due to the parallelization overhead. One specific challenge motivating us is to minimize the impact of runtime adaptation on the overall data processing, in particular for real-time data analytics. Moreover, while the need to create adaptive stream processing systems is well known, there is currently no systematic and broad analysis of the solution range of creating adaptation mechanisms for stream processing applications.
In this dissertation, we focus on algorithm switching as a fundamental approach to the construction of adaptive stream processing systems. Algorithm switching is a form of adaptation, where stream processing algorithms, with fundamentally similar input-/output-characteristics but different runtime tradeoffs like resource consumption or precision, are replaced to optimize the processing. As our overall goal, we present a general algorithm switching framework that models a wide range of switching solutions (called switch variants) in a systematic and reusable manner as well as characterizes the switch variants with their quality guarantees.
Concretely, we focus on developing a general model of algorithm switching to systematically capture possible variants of different switching behavior. We also present a theoretical specification to predict the timeliness-related qualities for the switch variants. Moreover, from the practical perspective, we also develop a component-based design to ease the realization effort of the algorithm switching variants. Finally, we provide a validation of the algorithm switching framework against the realized switch variants.
Case Factories: A Maintenance Cockpit for distributed structural Case-Based Reasoning Systems
(2019)
In this thesis a novel approach for maintenance of distributed structural Case-based Reasoning (CBR) systems is presented. The so-called maintenance cockpit is an agent based work-flow that considers dependencies between knowledge items such as attributes, attribute values, and cases in CBR systems. Using these dependencies, the maintenance cockpit generates a maintenance plan with the required maintenance actions. During this thesis, dependencies and maintenance actions in the context of the novel approach are introduced and defined, the concept for the agent-based workflow is described, and the roles and agents as well as the interaction and communication between them are presented. In addition to the maintenance cockpit another novel approach for knowledge acquisition from textual sources is presented. The approach was developed during the OMAHA research project. The resulting framework FEATURE-TAK (Framework for Extraction, Analysis, and Transformation of UnstructeREd Textual Aircraft Knowledge) acquires knowledge from free texts containing fault descriptions in the aviation domain. These texts are analyzed, relevant knowledge is extracted, transformed, and added to the knowledge containers of a structural CBR system. In this thesis, the basic idea and the work-flow with the individual steps of FEATURE-TAK are described and the cooperation with the maintenance cockpit is presented.
Kommunikation, Arbeiten und Lernen, Kontakt halten sowie die Organisation von Freizeit mittels digitaler Medien gewinnt aktuell erneut an Bedeutung und ist durch die im Zuge der COVID-19-Pandemie festgelegten Maßnahmen und Regelungen fester Bestandteil von Lebens- und Alltagswelten geworden. Aber bestehen diese digitalen Möglichkeiten für alle? Wie sieht es hier zum Beispiel bei jungen Menschen, die in Einrichtungen der stationären Kinder- und Jugendhilfe aufwachsen, aus? Formale Bildungssettings wie Kitas und Schulen stellen viel diskutierte Orte hinsichtlich des Umgangs mit digitalen Medien dar. Auch Familien, als Ort an dem Kinder und Jugendliche aufwachsen, werden im aktuellen wissenschaftlichen Diskurs aufgegriffen. Informelle Bildungssettings, wie Einrichtungen der stationären Erziehungshilfe (§ 34 SGB VIII) – Wohngruppen – hingegen finden diesbezüglich kaum Berücksichtigung. Daher soll in diesem Beitrag der Blick auf junge Menschen, die in der stationären Kinder- und Jugendhilfe leben und betreut werden, gerichtet werden. Grundlage ist die Masterarbeit „Digitalisierung und stationäre Einrichtungen. Alles eine Frage der Haltung?“ (Kochskämper 2020) die am Institut für Sozial- und Organisationspädagogik der Universität Hildesheim verfasst wurde. Ziel ist es, einen Beitrag dazu zu leisten, digitale Medien zu einem selbstverständlichen Teil des alltäglichen pädagogischen Handelns mit jungen Menschen werden zu lassen. Dahinter steht eine Vorstellung von pädagogischem Handeln, das lebensweltorientiert agiert und sich somit im Sinne der jungen Menschen und unter Einbezug von Schutz und Hilfe an deren Lebenswelt orientiert (vgl. Thiersch 2017). Es geht dabei nicht darum, Digitalisierung in allen Lebensbereichen und Facetten gut zu heißen und zu unterstützen, sondern um die Förderung eines bewussten und reflektierten Medienumgangs, mit dem Ziel, die gesellschaftlichen Teilhabechancen der jungen Menschen zu verbessern und zu sichern.
Die Digitalisierung der Kinder- und Jugendhilfe wird bereits seit Jahren gefordert. Fachkräfte, Träger und Politik werden dazu angehalten, sich mit den Potenzialen und Herausforderungen dieser Entwicklung auseinanderzusetzen (vgl. Bundesjugendkuratorium 2016). Dies geschieht langsam und ist wissenschaftlich wenig fundiert: So liegen auch in der hier im Beitrag fokussierten Heimerziehung bislang kaum Studien und Forschungsarbeiten zur Thematik vor. Während der COVID-19-Pandemie und insbesondere während des Lockdowns zeigte sich, dass nicht nur die technische Ausstattung für viele junge Menschen nicht gegeben ist, sondern auch Organisationen nicht so schnell umstellen und aufholen konnten, was im Vorfeld verpasst wurde. Wie durch ein „Brennglas“ wurde deutlich, wie wenig Digitalisierung und Konzepte hierzu in den Organisationen verankert sind. Das BMBF-geförderte Projekt „DigiPäd 24/7 – Digitalisierung und Organisationsentwicklung in Heimen und Internaten“ der Universität Hildesheim und der TH Köln untersucht die Digitalisierung in 24/7-Einrichtungen sowohl vor als auch während und nach der COVID-19-Pandemie, um daran anknüpfend Handlungsempfehlungen für Medienbildung im stationären Bereich der Kinder- und Jugendhilfe abzuleiten.
Machine learning is often confronted with the problem of learning prediction models on a set of observed data points. Given an expressive data set of the problem to solve, using powerful models and learning algorithms is only hindered by setting the right configurations for both. Unfortunately, the magnitude of the performance difference is large, which makes choosing right configurations an additional problem that is only solved by experienced practitioners.
In this thesis, we will address the problem of hyperparameter optimization for machine learning and present ways to solve it. We firstly introduce the problem of supervised machine learning. We then discuss many examples of hyperparameter configurations that can be considered prior to learning the model. Afterwards, we introduce methods on finding the right configurations, especially those methods that work in the scheme of Bayesian optimization, which is a framework for optimizing black-box functions. Black-boxes are functions where for a given input one can only observe an output after running a costly procedure. Usually, in black-box optimization so-called surrogate models are learned to reconstruct the observations to then offer a prediction for unobserved configurations. Fortunately, recent outcomes show that transfering the knowledge across problems, for example by learning surrogates across different data sets being solved by the same model class, shows promising results.
We tackle the problem of hyperparameter optimization in mainly two different ways. At first, we consider the problem of hyperparameter optimization as a recommendation problem, where we want to learn data set features as well as their interaction with the hyperparameter configurations as latent features in a factorization based approach. We build a surrogate model that is inspired by the complexity of neural networks as well as the ability to learn latent embeddings as in factorization machines. Secondly, as the amount of meta knowledge increases every day, surrogate models need to be scalable. We consider Gaussian processes, as they themselves are hyperparameter free and work very well in most hyperparameter optimization cases. Unfortunately, they are not scalable, as a matrix in the size of the number of data points has to be inverted for inference. We show various methods of simplifying a Gaussian process by using an ensemble of Gaussian process experts, which is much faster to learn due to its paralellization properties while still showing very competitive performance.
We conclude the thesis by discussing the aspect of learning across problems in more detail than simply learning across different data sets. By learning hyperparameter performance across different models, we show that also model choice can be handled by the proposed algorithms. Additionally, we show that hyperparameter performance can even be transfered across different problem tasks, for example from classification to regression.
Ein genaues Verständnis des Suchprozesses und der Frage, wie Benutzer darin unterstützt werden können, bessere Suchergebnisse zu erhalten, stellt eine wichtige Aufgabe der Information-Retrieval-Forschung dar. Jedoch tragen unter anderem die dynamische Natur dieses Prozesses, die aktive Beteiligung des Nutzers am Suchverlauf sowie die Kontextabhängigkeit des Relevanzbegriffs zur Komplexität dieser Fragestellungen bei. Eine besondere Herausforderung besteht daher darin, im Kontext dieses komplexen Prozesses, die genauen Wirkungsmechanismen aller beteiligten Einflussgrößen und ihre Abhängigkeiten zu isolieren. Im Rahmen dieser Arbeit wird daher die Auswirkung zweier wesentlicher Einflussfaktoren, der Systemleistung und der Nutzererwartung, auf Benutzerleistung, Relevanzwahrnehmung und Benutzerzufriedenheit untersucht, während andere Einflussgrößen statistisch kontrolliert werden. Zu diesem Zweck werden drei aufeinander aufbauende interaktive Information-Retrieval-Nutzerstudien geplant und durchgeführt, deren Daten im Anschluss quantitativ ausgewertet werden. Bezüglich der Benutzerzufriedenheit wird dabei insbesondere untersucht, ob sich das aus der Kundenzufriedenheitsforschung bekannte C/D-Paradigma, das die Entstehung von Zufriedenheit als Soll/Ist-Vergleich zwischen wahrgenommener und erwarteter Leistung begreift, auch auf den Kontext der Informationssuche übertragen lässt.
Auf Grundlage der vorliegenden Datenbasis kann zunächst gezeigt werden, dass eine direkte Korrelation zwischen der verwendeten Systemqualität und dem Relevanzempfinden der Testteilnehmer zu bestehen scheint. Dabei ist im direkten Vergleich zweier Suchsysteme mit unterschiedlicher Systemgüte die Anwendung restriktiverer Relevanzkriterien im Kontext des besseren Systems zu beobachten. Dieses Verhalten lässt sich insbesondere anhand der in dieser Arbeit eingeführten Imprecisionmaße nachweisen, die im Wesentlichen die Tendenz der Testpersonen erfassen, mit ihrem Relevanzurteil von den dem Testkorpus zugrundeliegenden Jurorenurteilen abzuweichen. Für recallorientierte Benutzerleistungsmaße lässt sich hingegen kein signifikanter Unterschied in Abhängigkeit der Systemleistung beobachten. In Bezug auf die Benutzerzufriedenheit scheint der beschriebene systembedingte Anpassungseffekt der Relevanzwahrnehmung zu einer Reduzierung des perzipierten Systemleistungsunterschieds zu führen, wodurch auch die Benutzerzufriedenheit nur eine schwache Abhängigkeit von der Systemleistung zeigt. Für die im Rahmen der interaktiven Information-Retrieval-Forschung bislang wenig beachteten Nutzererwartungen lässt sich hingegen ein qualitativ anderes Verhalten feststellen. Hier führt eine positive Grundeinstellung bezüglich des verwendeten Suchsystems zur Anwendung weniger restriktiver Relevanzkriterien, was sich schlussendlich in einer signifikant erhöhten Nutzerzufriedenheit im Vergleich zu Testpersonen mit einer niedrigen Erwartungshaltung widerspiegelt. Darüber hinaus ergeben sich für ausgewählte Leistungsmaße und Zufriedenheitsdimensionen auch Wechselwirkungen zwischen beiden Anpassungseffekten, welche darauf hindeuten, dass der systembedingte Anpassungseffekt der Relevanzwahrnehmung vornehmlich im Kontext einer hohen Erwartungshaltung zum Tragen kommt, weswegen im Umkehrschluss ein Einfluss der Systemgüte auf die Benutzerzufriedenheit hauptsächlich bei Probanden mit niedriger Erwartungshaltung zu beobachten ist. In diesem Sinne können also die Vorhersagen des C/D-Paradigmas, bei denen eine hohe Zufriedenheit mit dem Übertreffen der eigenen Erwartungen assoziiert ist, nicht bestätigt werden. Vielmehr scheint die aktive Beteiligung der Nutzer am Suchprozess zur Ausbildung anderer Wirkungsmechanismen zu führen, bei denen die Entstehung von Nutzerzufriedenheit stärker an eine positive Einstellung zum verwendeten Suchsystem gekoppelt ist.
Social media has become an integral part of numerous individuals as well as organizations, with many services being used frequently by a majority of people. Along with its widespread use, the amount of information explodes when people use these services. This demands for efficient tools as well as methods to assist data management and retrieval.
Annotating resources by keywords, known as the tagging task, is a solution to improve categorizability and findability of resources. However, tagging is a human, time-consuming task, which requires the user's focus to figure out many keywords in a short moment and manually enter them into the system. To encourage users to tag their resources more correctly and frequently, tag recommendation is adopted into the social tagging systems to suggest relevant keywords for resources.
In this thesis, we will address the problem of personalized tag recommendation for images and present ways to solve this problem by combining the advantages of the user relation with the images' content. In order to suggest tags for unobserved images, their visual contents are used to replace the index-based information of the image entity in the tagging relations. Because the limitation of low-level features does not show the "content" of images, we propose to utilize a deep learning based approach to learn high-level visual features concurrently with the scoring-tag estimator. For the tag predictor, a latent factor model or a multi-layer perceptron is selected to compute scores of tags by which the top selected tags are sorted in descending order. As a further development upon our findings, we examine the inside and outside context of images to enhance the accuracy of estimators. Regarding the image-inside context, we are motivated by the fact that objects, such as cars or cats are influential on the user's selection criteria. Regarding the image-outside context, the image's surrounding text contributes to the clarity of the image's content for different users. We consider these contextual features as a supporting part which is combined with the mainly visual representation to enhance the tag recommendation performance. Finally, as an additional technique, transfer learning is also adapted to support the proposed models to overcome the limitations of too small training data and boost up their performance. This thesis demonstrates the usefulness and versatility of deep learning approaches for tag recommendation and highlights the importance of the learned image's content in predicting personalized tags. Directions for future work include semantic enhancements to context-based representation and extensions of the content-aware approaches to different recommendation scenarios.
In der Softwareentwicklung beschreiben Anforderungen, wie sich ein System oder eine Komponente in bestimmten Situationen verhalten soll. Anforderungen stellen also Vorgaben an die Software dar, die entwickelt werden soll. Die natürliche Sprache ist noch immer das vorherrschende Mittel, um Anforderungen zu formulieren. Aus dem Anforderungstext werden Testfälle abgeleitet, mit welchen überprüft wird, ob die in den Anforderungen beschriebenen Funktionen korrekt umgesetzt wurden. Da die Aufwendungen für die Testaktivitäten einen groÿen Teil der Entwicklungszeit und Entwicklungskosten einnehmen, besteht Bedarf an der sprachlichen Kontrolle von Anforderungstexten. Ist eine Anforderung so formuliert, dass sie beispielsweise aufgrund fehlender Information zu Interpretationsspielraum führt, kann dies dazu führen, dass ein falscher Testfall abgeleitet wird oder eine Funktion falsch entwickelt wird. Ein Ziel dieser Arbeit ist, zu untersuchen, welche Kriterien eine Anforderung aus sprachwissenschaftlicher Sicht erfüllen muss, um als testbar zu gelten bzw. welche sprachlichen Phänomene dazu führen, dass eine Anforderung nicht testbar ist. Hierfür werden Leitlinien aus der technischen Dokumentation sowie Literatur aus dem Bereich des Requirements Engineering analysiert. Die identifizierten Phänomene werden in einem Qualitätsmodell für testbare Anforderungen zusammengetragen, nach linguistischen Kriterien sortiert und nach Kritikalität bewertet. Für ausgewählte Phänomene aus dem Qualitätsmodell wird untersucht, inwiefern sich automatisierte Prüfmethoden entwickeln lassen, die kritische Instanzen der Phänomene zuverlässig identifizieren, also diejenigen, die Interpretationsspielraum verursachen können. Für die Analyse der Phänomene werden computerlinguistische Analysemethoden eingesetzt und Regeln entwickelt, die auf (morpho-)syntaktische Annotationen zugreifen. Sprachliche Phänomene, die einen Einfluss auf die Testbarkeit einer Anforderung haben, lassen sich durch die verwendeten computerlinguistischen Analysemethoden automatisiert identifizieren. Für bestimmte Phänomene können zudem Regeln entworfen werden, welche zuverlässig zwischen den kritischen und unkritischen Instanzen eines Phänomens unterscheiden. Die formbasierte Computerlinguistik stöÿt allerdings an ihre Grenzen, wenn diese Unterscheidung auf Welt- und Expertenwissen beruht. Die entwickelten Analysemethoden heben sich von existierenden Werkzeugen zur Überprüfung von Texten dadurch ab, dass nicht nur reine Wortlistenabgleiche durchgeführt werden, sondern auch der Satzkontext, in welchem die Phänomene auftreten, in die Analyse miteinbezogen wird. Dieser Ansatz kann die Anzahl der Fehlwarnungen an den Benutzer erheblich reduzieren, sodass der Aufwand bei der Durchsicht der potentiell kritischen Instanzen gesenkt werden kann.
Time series represent the most widely spread type of data, occurring in a myriad of application domains, ranging from physiological sensors up to astronomical light intensities. The classification of time-series is one of the most prominent challenges, which utilizes a recorded set of expert-labeled time-series, in order to automatically predict the label of future series without the need of an expert.The patterns of time-series are often shifted in time, have different scales, contain arbitrarily repeating patterns and exhibit local distortions/noise. In other cases, the differences among classes are attributed to small local segments, rather than the global structure. For those reasons, values corresponding to a particular time-stamp have different semantics on different time-series. We call this phenomena as intra-class variations. The lion's share of this thesis is composed of presenting new methods that can accurately classify time-series instances, by handling variations.
The answer towards resolving the bottlenecks of intra-class variations relies on not using the time-series values as direct features. Instead, the approach of this thesis is to extract a set of features that, on one hand, represent all the variations of the data and, on the other hand, can boost classification accuracy. In other words, this thesis proposes a list of methods that addresses diverse aspects of intra-class variations.
The first proposed approach is to generate new training instances, by transforming the support vectors of an SVM. The second approach decomposes time-series through a segment-wise convolutional factorization. The strategy involves learning a set of patterns and weights, whose product can approximate each sub-sequence of the time series. However, the main contribution of the thesis is the third approach, called shapelet learning, which utilizes the training labels during the learning process, i.e. the process is supervised. Since the features are learned on the training labels, there is a higher tendency of performing strongly in terms of predicting the testing labels. In addition, we present a fast alternative method for shapelet discovery. Our strategy is to prune segment candidates using a two step approach. First of all, we prune candidates based on their similarity towards previously considered candidates. Secondly, non-similar (hence diverse) candidates are selected only if the features they produce improve the classification results. The last two chapters of the thesis describes two methods that extract features from datasets having special characteristics. More concretely, we propose a classification method suited for series having missing values, as well as a method that extract features from time series having repetitive patterns.
