README.md 8.1 KB
Newer Older
Josef Kraus's avatar
Josef Kraus committed
1
# Themen KI
2

Quirin Wieser's avatar
Quirin Wieser committed
3
Klassisches  Maschinelles Lernen vs. Deep Learning
Josef Kraus's avatar
Josef Kraus committed
4

Quirin Wieser's avatar
Quirin Wieser committed
5

Quirin Wieser's avatar
Quirin Wieser committed
6
## Literatur
7

Quirin Wieser's avatar
Quirin Wieser committed
8
9
**WHY DEEP LEARNING PERFORMS BETTER THAN CLASSICAL MACHINE LEARNING:**
http://dsp.tecnalia.com/bitstream/handle/11556/943/9574_english%20(1).pdf?sequence=1
Josef Kraus's avatar
Josef Kraus committed
10

Quirin Wieser's avatar
Quirin Wieser committed
11
12
**Comparison of the performance of innovative deep learning and classical methods of machine learning to solve industrial recognition tasks:**
https://www.spiedigitallibrary.org/conference-proceedings-of-spie/11144/111440R/Comparison-of-the-performance-of-innovative-deep-learning-and-classical/10.1117/12.2530899.full?SSO=1
Josef Kraus's avatar
Josef Kraus committed
13

Quirin Wieser's avatar
Quirin Wieser committed
14
15
**Machine Learning in Business Process Monitoring: A Comparison of Deep Learning and Classical Approaches Used for Outcome Prediction:**
https://link.springer.com/article/10.1007/s12599-020-00645-0
Josef Kraus's avatar
Josef Kraus committed
16

Quirin Wieser's avatar
Quirin Wieser committed
17
18
**Comparing Deep Learning and Classical Machine Learning Approaches for Predicting Inpatient Violence Incidents from Clinical Text:**
https://www.mdpi.com/2076-3417/8/6/981/htm
Josef Kraus's avatar
Josef Kraus committed
19

Quirin Wieser's avatar
Quirin Wieser committed
20
21
**Comparing Deep and Classical Machine Learning Methods for Human Activity Recognition using Wrist Accelerometer:**
https://sites.cc.gatech.edu/~alanwags/DLAI2016/2.%20(Gjoreski+)%20Comparing%20Deep%20and%20Classical%20Machine%20Learning%20Methods%20for%20Human%20Activity%20Recognition%20using%20Wrist%20Accelerometer.pdf
Josef Kraus's avatar
Josef Kraus committed
22

Quirin Wieser's avatar
Quirin Wieser committed
23
24
**Ensembling Classical Machine Learning and Deep Learning Approaches for Morbidity Identification From Clinical Notes:**
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9286431
Josef Kraus's avatar
Josef Kraus committed
25
26


Quirin Wieser's avatar
Quirin Wieser committed
27
28
29
30
31
32
33
34
35
36
37
38
## Definitionen

**Deep Learning:**
Deep Learning (auch Deep Structured Learning) gehört zu einer breiteren Familie von Methoden des maschinellen Lernens, die auf künstlichen neuronalen Netzen mit Repräsentationslernen basieren. Das Lernen kann überwacht, halbüberwacht oder unüberwacht erfolgen.

Quelle: https://en.wikipedia.org/wiki/Deep_learning (Kein wissenschaftlicher Artikel)

**Klassisches Maschinelles Lernen:**
Maschinelles Lernen (ML) ist die Untersuchung von Computeralgorithmen, die sich durch Erfahrung und die Nutzung von Daten automatisch verbessern können. Es wird als Teil der künstlichen Intelligenz betrachtet. Algorithmen des maschinellen Lernens erstellen ein Modell auf der Grundlage von Beispieldaten, die als Trainingsdaten bezeichnet werden, um Vorhersagen zu treffen oder Entscheidungen zu treffen, ohne ausdrücklich dafür programmiert zu sein. Algorithmen des maschinellen Lernens werden in einer Vielzahl von Anwendungen eingesetzt, z. B. in der Medizin, beim Filtern von E-Mails, bei der Spracherkennung und beim Computer-Vision, wo es schwierig oder undurchführbar ist, herkömmliche Algorithmen zur Erfüllung der erforderlichen Aufgaben zu entwickeln.

Quelle: https://en.wikipedia.org/wiki/Machine_learning (Kein wissenschaftlicher Artikel)

Josef Kraus's avatar
Josef Kraus committed
39

40
41
42
43
44
45
46
47
48
49
50
51
## Algorithmen

**Klassisches Maschinelles Lernen:**
- Klassifikation
- Regression
- Clustering
- KNN Algorithmus

**Deep Learning:**
- Neuronales Netz


Quirin Wieser's avatar
Quirin Wieser committed
52
## Vergleich
53

Quirin Wieser's avatar
Quirin Wieser committed
54
**Deep Learning:**
Josef Kraus's avatar
Josef Kraus committed
55

Quirin Wieser's avatar
Quirin Wieser committed
56
- **Bessere Leistung:** Tiefe Netze haben in vielen Bereichen wie Sprache, natürliche Sprache, Sehen und Spielen Genauigkeiten erreicht, die weit  über denen von klassischen ML-Methoden liegen. 
Josef Kraus's avatar
Josef Kraus committed
57

Quirin Wieser's avatar
Quirin Wieser committed
58
- **Effektive Skalierung mit Daten:** Tiefe Netzwerke skalieren viel besser mit mehr Daten als klassische ML-Algorithmen. Oftmals ist der beste Ratschlag zur Verbesserung der Genauigkeit eines tiefen Netzwerks, einfach mehr Daten zu verwenden! Bei klassischen ML-Algorithmen funktioniert diese schnelle und einfache Lösung nicht einmal annähernd so gut, und es sind oft komplexere Methoden erforderlich, um die Genauigkeit zu verbessern.
Josef Kraus's avatar
Josef Kraus committed
59

Quirin Wieser's avatar
Quirin Wieser committed
60
- **Keine Notwendigkeit für Feature-Engineering:** Klassische ML-Algorithmen erfordern oft ein komplexes Feature-Engineering. In der Regel wird zunächst eine tiefgreifende explorative Datenanalyse des Datensatzes durchgeführt. Anschließend kann eine Dimensionalitätsreduktion zur leichteren Verarbeitung durchgeführt werden. Schließlich müssen die besten Merkmale sorgfältig ausgewählt werden, um sie an den ML-Algorithmus weiterzugeben. Bei der Verwendung eines tiefen Netzwerks ist dies nicht erforderlich, da man die Daten direkt an das Netzwerk weiterleiten kann und in der Regel auf Anhieb eine gute Leistung erzielt. Damit entfällt die große und schwierige Phase des Feature-Engineerings in dem gesamten Prozess.
Josef Kraus's avatar
Josef Kraus committed
61

Quirin Wieser's avatar
Quirin Wieser committed
62
- **Anpassungsfähig und übertragbar:** Deep-Learning-Techniken lassen sich viel leichter als klassische ML-Algorithmen an verschiedene Bereiche und Anwendungen anpassen. Erstens ist es dank des Transfer-Lernens möglich, vortrainierte tiefe Netzwerke für verschiedene Anwendungen innerhalb desselben Bereichs zu verwenden. In der Computer Vision beispielsweise werden vortrainierte Bildklassifizierungsnetzwerke häufig als Feature-Extraktions-Front-End für Objekterkennungs- und Segmentierungsnetzwerke verwendet. Die Verwendung dieser vortrainierten Netze als Front-Ends erleichtert das Training des vollständigen Modells und trägt oft dazu bei, in kürzerer Zeit eine höhere Leistung zu erzielen. Darüber hinaus sind die dem Deep Learning zugrunde liegenden Ideen und Techniken, die in verschiedenen Bereichen eingesetzt werden, oft recht gut übertragbar. Wenn man beispielsweise die zugrundeliegende Deep-Learning-Theorie für den Bereich der Spracherkennung verstanden hat, ist die Anwendung von Deep Networks auf die Verarbeitung natürlicher Sprache keine allzu große Herausforderung, da das Basiswissen recht ähnlich ist. Bei der klassischen ML ist dies nicht der Fall, da sowohl domänenspezifische als auch anwendungsspezifische ML-Techniken und Feature Engineering erforderlich sind, um leistungsstarke ML-Modelle zu erstellen. Die Wissensbasis der klassischen ML für verschiedene Bereiche und Anwendungen ist recht unterschiedlich und erfordert oft ein umfangreiches Spezialstudium in jedem einzelnen Bereich.
Josef Kraus's avatar
Josef Kraus committed
63

Quirin Wieser's avatar
Quirin Wieser committed
64
**Klassisches Maschinelles Lernen:**
Josef Kraus's avatar
Josef Kraus committed
65

Quirin Wieser's avatar
Quirin Wieser committed
66
- **Funktioniert besser mit kleinen Daten:** Um eine hohe Leistung zu erzielen, benötigen Deep Networks extrem große Datensätze. Die zuvor erwähnten vortrainierten Netzwerke wurden mit 1,2 Millionen Bildern trainiert. Für viele Anwendungen sind solch große Datensätze nicht ohne weiteres verfügbar und ihre Beschaffung ist teuer und zeitaufwändig. Bei kleineren Datensätzen sind die klassischen ML-Algorithmen den tiefen Netzen oft überlegen.
Josef Kraus's avatar
Josef Kraus committed
67

Quirin Wieser's avatar
Quirin Wieser committed
68
- **Finanziell und rechnerisch günstig:** Tiefe Netze benötigen High-End-GPUs, um in angemessener Zeit mit großen Datenmengen trainiert zu werden. Diese Grafikprozessoren sind sehr teuer, doch ohne sie wäre das Training von tiefen Netzen mit hoher Leistung praktisch nicht machbar. Um solche High-End-GPUs effektiv zu nutzen, sind außerdem eine schnelle CPU, SSD-Speicher und ein schneller und großer Arbeitsspeicher erforderlich. Klassische ML-Algorithmen können auch mit einer guten CPU trainiert werden, ohne dass die beste der besten Hardware benötigt wird. Da sie nicht so rechenintensiv sind, kann man auch schneller iterieren und viele verschiedene Techniken in kürzerer Zeit ausprobieren.
Josef Kraus's avatar
Josef Kraus committed
69

Quirin Wieser's avatar
Quirin Wieser committed
70
- **Leichter zu interpretieren:** Aufgrund des direkten Feature-Engineerings, das bei der klassischen ML zum Einsatz kommt, sind diese Algorithmen recht einfach zu interpretieren und zu verstehen. Darüber hinaus ist die Abstimmung von Hyperparametern und die Änderung von Modelldesigns einfacher, da wir die Daten und die zugrunde liegenden Algorithmen besser verstehen. Andererseits sind tiefe Netze insofern eine "Blackbox", als die Forscher das "Innere" der tiefen Netze bis heute nicht vollständig verstehen. Auch die Hyperparameter und das Netzdesign sind aufgrund der fehlenden theoretischen Grundlage eine große Herausforderung.
Josef Kraus's avatar
Josef Kraus committed
71

Quirin Wieser's avatar
Quirin Wieser committed
72
Quelle: https://towardsdatascience.com/deep-learning-vs-classical-machine-learning-9a42c6d48aa (Kein wissenschaftlicher Artikel)
Quirin Wieser's avatar
Quirin Wieser committed
73
74


75
76
77
78
79
80
81
82
83
## Anwendungsfälle im Vergleich

- Industrial recognition tasks
- Outcome Prediction
- Predicting Inpatient Violence Incidents
- Human Activity Recognition
- Morbidity Identification


Quirin Wieser's avatar
Quirin Wieser committed
84
## Demo
85

Quirin Wieser's avatar
Quirin Wieser committed
86
https://www.w3schools.com/python/python_ml_getting_started.asp
Quirin Wieser's avatar
Quirin Wieser committed
87

Quirin Wieser's avatar
Quirin Wieser committed
88
https://www.tutorialspoint.com/machine_learning_with_python/index.htm
Quirin Wieser's avatar
Quirin Wieser committed
89

Quirin Wieser's avatar
Quirin Wieser committed
90
https://www.kaggle.com/learn/intro-to-machine-learning
Quirin Wieser's avatar
Quirin Wieser committed
91

Quirin Wieser's avatar
Quirin Wieser committed
92
https://www.kaggle.com/learn/intro-to-deep-learning
Quirin Wieser's avatar
Quirin Wieser committed
93

Quirin Wieser's avatar
Quirin Wieser committed
94
https://experiments.withgoogle.com/collection/ai