1. Einleitung

Visuelles und auditives Feedback sind in der heutigen Zeit weit entwickelt. Der Nutzer kann voll und ganz in die virtuelle Welt eintauchen. Aber ein kleiner Zweig des Feedbacks ist noch nicht so weit verbreitet: das fühlende Feedback (auch haptisches Feedback).
Im Rahmen eines Projektes zur Lehrveranstaltung Virtual Reality des Studiengangs Telematik im Wintersemester 2011/2012 an der Technischen Hochschule Wildau [FH] beschäftigt sich diese Ausarbeitung mit dem Thema der Feedback Devices.
Prof. Dr.-Ing. Stefan Brunthaler ist der leitende Professor dieser Veranstaltung.

Auf dieser Website wird allgemein erläutert was Feedback Devices sind, mit besonderem Schwerpunkt auf die Haptik. Weiterhin wird das PHANToM-Gerät vorgestellt, mit dem ein Nutzer die Kräfte der virtuellen Welt auch in der realen Welt spüren kann. In der Praxis werden Feedback Devices in verschiedenen Bereichen des heutigen Lebens eingesetzt, wie zum Beispiel in Computerspielen, in Mobilkommunikationsgeräten, in Bildschirmen zur Darstellung von fühlbaren Knöpfen, in der Medizintechnik und in der Robotersteuerung/-programmierung. Meist sind sie aber noch zu teuer und somit nicht für jeden zugänglich.

nach oben

1.1 Feedback Devices: Allgemein

Feedback Devices sind Geräte, die modelliert wurden, um dem Benutzer eine Antwort auf seine Eingabe zur virtuellen Welt zu bieten.

Dazu werden verschiedene Sinnesorgane des Menschen angesprochen:
- der Sehsinn durch visuelle Bildschirme
- der Hörsinn durch Sound-Systeme
- der Fühlsinn durch haptische Geräte

Der Benutzer erhält eine realistischere Wahrnehmung einer virtuellen Welt, wenn man mehrere Sinnesorgane gleichzeitig anspricht.

Arten des Feedbacks:

Durch grafische Bildschirme erhält der Benutzer ein visuelles Feedback. Grafische Bildschirme sind Computerschnittstellen, die die Bilder einer virtuellen Welt dem Benutzer präsentieren. Der Benutzer erhält somit ein visuelles Feedback. Zum Beispiel sind grafische Bildschirme Fernseher, Head Mounted Display, PC-Bildschirm Sound-Systeme unterstützen das auditive Feedback.

Das sind Geräte, die dem Benutzer einen synthetischen Klang bieten, wenn dieser in einer virtuellen Welt agiert. Dabei kann jedes Ohr den gleichen Klang hören (monoaural) oder einen unterschiedlichen Klang (binaural). Das auditive Feedback ist eine sehr gute Ergänzung zum visuellen Feedback.
Wenn zum Beispiel ein Benutzer einen springenden Ball in der virtuellen Welt sieht, erwartet er ein "plop"-Geräusch des springenden Balls. Typische Geräte für das auditive Feedback sind Kopfhörer oder Lautsprecher. Eine andere Art ist das haptische Feedback. Dabei kann der Benutzer virtuelle Objekte fühlen und erhält ein entsprechendes Feedback.

Wenn er zum Beispiel den springenden Ball in der virtuellen Welt hält, muss er in Realität etwas schweres in der Hand fühlen. Wie das haptische Feedback genau funktioniert, ist im Kapitel "Haptik" beschrieben.

nach oben

1.2 Beispiel PHANToM

PHANToM ist ein Gerät, das im Massachusetts Institute of Technology 1993 entwickelt wurde. Die Firma SensAble Technologies GmbH vertreibt zum Beispiel verschiedene PHANToM-Produkte. PHANToM bedeutet Personal HAptic iNTerface Mechanism und gehört zur Gruppe der Force-Feedback-Geräten. Der Benutzer soll somit Kräfte, die in der virtuellen Welt ausgeübt werden, in der Realität fühlen können.

Man kann es auch folgend beschreiben: Man hält einen Stift in der Hand, schließt die Augen und berührt alles in seinem Büro mit diesem Stift. Das PHANToM ähnelt einem Roboterarm, der mehrere Gelenke besitzt, um Bewegungen in jede Richtung zu ermöglichen. An den Enden besitzt es einen Griffel, der vom Benutzer in die Hand genommen wird.

Es gibt auch Modelle, die statt dem Griffel Fingerhüte besitzen, in die der Nutzer seine Finger steckt. Um nun einen Gegenstand in der virtuellen Welt zu bewegen, werden die Bewegungen des Griffels verwendet. Kollidiert der Gegenstand in der virtuellen Welt mit einem anderen, dann gibt das PHANToM-Gerät diese Kraft an den Nutzer zurück. Somit kann eine Berührung oder ein Zusammenstoß simuliert werden.

Das PHANToM-Gerät besitzt, dank seinen vielen Gelenken, sechs Freiheitsgrade. Somit wird die Position durch ein Sechstupel beschrieben und in ein kartesisches Koordinatensystem transformiert, das dann weiterberechnet wird. Zum Schluss erhält man die Position des Zeigers in der virtuellen Welt.

Ein großes Problem bei der Programmierung der Software ist der komplexe menschliche Tastsinn. Zum Vergleich: Der Mensch ist nach etwa 20 Bildern pro Sekunde nicht mehr fähig die Einzelbilder zu erkennen.
Das menschliche Auge erkennt lediglich eine fließende Bewegung. Diese Eigenschaft wird zum Beispiel bei Filmen ausgenutzt. Für den Computer ist es auch kein Problem 20 Bilder pro Sekunde neu zu zeichnen.
Der Tastsinn eines Menschens ist aber sensibler. Ab ca. 1000 Impulsen pro Sekunde verschmelzen die einzelnen Kraftimpulse zu einer homogenen Wahrnehmung. Liegt nun die Rate unter 1000 Impulsen wirkt dies für den Anwender nicht mehr real. Somit bedeutet dies für den Rechner zusätzliche Arbeit. Er muss also mindestens 1000-mal pro Sekunde die Kräfte neu berechnen. Aufgrund der hohen Rechenleistung, die zum simulieren von Kräften nötig ist, wird das PHANToM-Gerät am besten an einen eigenen Rechner angeschlossen. Man kann es am Desktop oder auch mobil, montiert auf einem Wagen, verwenden.
[1][2][3][4]

nach oben

2. Haptik

2.1 Haptik allgemein
(Haptische Technologie)

Haptische Technologie oder Haptik, ist eine taktile Feedback-Technologie, die den Tastsinn eines Nutzers anhand der Kräfte, Vibrationen und / oder Bewegungen am Nutzer anwendet. [5]

Diese mechanische Stimulation kann für die Schaffung von virtuellen Objekten (Objekte, die nur in einer Computersimulation existieren), für die Steuerung eines solchen virtuellen Objektes und zur Verbesserung der Fernbedienung von Maschinen und Geräten verwendet werden. Es wurde als "(Machen) für den Tastsinn, was die Computergrafik für das Sehen ist" beschrieben. [6]

Das Wort Haptik, aus dem Griechischen haptikós, heißt "im Bezug auf den Tastsinn" und stammt aus dem griechischen Verb haptesthai, das bedeutet "kontaktieren" oder "berühren". [7]

Als Adjektiv bedeutet es im Zusammenhang mit oder auf den Tastsinn. Als Nomen bedeutet Haptik die Wissenschaft und die Physiologie des Tastsinns. Wissenschaftler haben Haptik seit Jahrzehnten studiert, und sie wissen ziemlich viel über die Biologie der Berührung. Sie wissen zum Beispiel, welche Art von Rezeptoren in der Haut liegen und wie Nerven Informationenr zwischen dem zentralen Nervensystem hin und her transportieren und einem Kontaktpunkt liefern. Leider hatten die Informatiker große Schwierigkeiten beim Übertragen dieses Grundverständnis der Berührung in ihre virtuelle Realität. Visuelle und akustische Signale sind leicht in den computergenerierten Modellen abzubilden, jedoch sind taktile Signale problematischer. [8]

Es ist fast unmöglich, einen Benutzer durch eine typische Schnittstelle das Fühlen zu ermöglichen, was im Computer geschieht. Klar, erlauben Tastaturen Benutzern ihm Worte zu geben, und Joysticks und Lenkräder zu schwingen. Aber wie kann ein User berühren, was innerhalb der virtuellen Welt ist? Wie, zum Beispiel, kann ein Video-Game-Spieler den harten, kalten Stahl der Waffe seines Charakters spüren? Wie kann ein Astronaut, der sich in einem Computer-Simulator trainiert, das Gewicht und die raue Oberfläche eines virtuellen Mondfelsens spüren? Seit den 1980er Jahren haben Computer-Wissenschaftler versucht, diese Fragen zu beantworten. Ihr Feld ist ein spezialisierter Teil der Haptik, als Computer-Haptik bekannt. [9][10]

nach oben

2.2 Die Entwicklung der Haptik

Als ein Studienfach hat die Haptik eng den Aufstieg und die Entwicklung der Automatisierung parallelisiert. Vor der industriellen Revolution konzentrierten sich die Wissenschaftler darauf, wie Lebewesen den Tastsinn erleben. Biologen haben entdeckt, dass selbst einfache Organismen wie Quallen und Würmer subtile Berührungsantworten besaßen. In der ersten Hälfte des 20. Jahrhunderts untersuchten Psychologen und Mediziner aktiv, wie Menschen das Berühren erleben. Passenderweise war dieser Zweig der Wissenschaft als menschliche Haptik bekannt und es zeigte sich, dass die menschliche Hand, die primäre Struktur mit dem Tastsinn zugeordnet ist, außerordentlich komplex war. [11]

Dann kam die Entwicklung von Maschinen und Robotern. Diese mechanischen Geräte sollten auch ihre Umgebung berühren und fühlen, so begannen die Forscher zu untersuchen, wie dieses Gefühl auf Maschinen übertragen werden kann. Die Ära der Maschinenhaptik hatte begonnen. Die frühesten Maschinen, die eine haptische Interaktion mit entfernten Objekten erlaubten, wurden mit einer einfachen Hebel-und-Kabel-angetriebene Zange am Ende einer Stange angebracht.

Durch das Verschieben, Ausrichten und Quetschen eines Pistolengriffs konnte ein Arbeiter eine entfernte Zange steuern, mit deren Hilfe holen, verschieben und bearbeiten eines Objekts möglich war. Der nächste große Fortschritt kam in Form des elektronischen Computers. Anfangs wurden Computer verwendet, um Maschinen in einer realen Umgebung zu steuern (man denke an einen Computer, der einen Fabrik-Roboter in einem Auto-Montagewerk kontrollieren könnte). In den 1980er Jahren erzeugten Computer virtuelle Umgebungen - 3-D-Welten, in denen ein Benutzer integriert wurde. In diesen frühen virtuellen Umgebungen konnten Anwender nur durch Sehen und Töne diese Welt erleben. Haptische Interaktion mit simulierten Objekten blieb für viele Jahre begrenzt. [12]

Dann 1993 hatte die Artificial Intelligence Laboratory der Massachusetts Institute of Technology (MIT) ein Gerät konstruiert, das eine haptische Stimulation lieferte, schließlich machte es ein computergeneriertes Objekt zu berühren und zu spüren möglich. Die am Projekt arbeitenden Wissenschaftler begannen ihren Bereich der Forschung als Computerhaptik zu beschreiben, um es von Maschine- und Menschenhaptik zu unterscheiden. Heute ist die Computerhaptik als die erforderlichen Systeme definiert - sowohl Hardware als auch Software - die Berührung leisten und virtuelle Objekte fühlen. Es ist ein schnell wachsendes Feld, was eine Reihe von vielversprechenden haptischen Technologien zu sein scheint. [13]

nach oben

2.3 Typen des haptischen Feedback

Wenn wir unsere Hände benutzen, um die Welt um uns herum zu erkunden, erhalten wir zwei Arten von Feedback - kinästhetisches und taktiles. Um die Unterscheidung zwischen den beiden zu verstehen, muss man sich eine gehaltene Hand vorstellen, die einen Baseball erreicht, nimmt und untersucht. Wenn die Hand nach dem Ball greift und seine Form zu fassen versucht, wird ein einzigartiger Satz von Datenpunkten, die Gelenkwinkel, Muskellänge und Spannung beschreiben, generiert. Diese Informationen werden von einer spezialisierten Gruppe von Rezeptoren in Muskeln, Sehnen und Gelenke eingebettet gesammelt.

Bekannt als Propriozeptoren, tragen diese Rezeptoren Signale an das Gehirn, wo sie von der somatosensorischen Region der Großhirnrinde verarbeitet werden. Die Muskelspindel ist eine Art von Propriozeptoren, die Informationen über Veränderungen in Muskellänge bereitstellt. Das Golgi-Sehnen-Organ ist eine andere Art von Propriozeptoren, die Informationen über die Änderungen der Muskelspannung bereitstellt. Das Gehirn verarbeitet diese kinästhetischen Informationen, um ein Gefühl der Baseball-Brutto-Größe und Form, sowie seine Position relativ zur Hand, Arm und Körper. Wenn die Finger den Ball berühren, entsteht ein Kontakt zwischen den Fingerkuppen und der Kugeloberfläche. Jede Fingerbeere ist eine komplexe sensorische Struktur mit Rezeptoren sowohl in der Haut als auch in dem unterliegenden Gewebe.

Es gibt viele Arten dieser Rezeptoren, eine für jede Art des Reizes: leichte Berührung, schwere Berührung, Druck, Vibration und Schmerz. Die Daten, die gemeinsam von diesen Rezeptoren kommen, helfen dem Gehirn subtile, taktile Informationen über die Kugel zu verstehen. Wenn die Finger die Kugel erkunden, spüren sie die weichere Textur des Leders, die erhöhte Rauhigkeit der Spitzen und die Härte des Balles, als die Kraft angewendet wird. Auch werden die thermischen Eigenschaften des Balles durch taktile Rezeptoren wahrgenommen.

Kinästätisches Feedback
Kinästhetische Rückmeldungen konzentrieren sich auf die Bewegung des menschlichen Körpers. Es ist in der medizinischen Trainer-Simulation, programmierbare haptische Drehknöpfe, Videospiel-Lenkräder und Virtual-Reality-Systeme, wie Immersion ist CyberForce ®-System eingesetzt. "Force Feedback" ist ein häufig verwendeter Begriff, um vibrotaktile bzw. kinästhetische Rückmeldung zu beschreiben.

Die Idee ist, eine "Stärke" zu simulieren, die den Anwender zu bewegen oder ihm zu widerstehen versucht.

Vibrotaktiles Feedback
Feedback stimuliert das menschliche subkutane Gewebe. Es ist in Handys, Video-Konsole Gamepads und bestimmte Touch-Panels eingesetzt.
Die Vibrationen werden von unter Screens bzw. andere Flächen, Geräte usw. gestellten mechanischen oder piezoelektrischen Elementen (z.B. Mikromotoren) bewirkt. So kann man anhand der Stärke, Frequenz und Anzahl der Elemente unter einer glatten Screen eine unebene Fläche unterschiedlicher Grade simulieren.

[14]

3. Medizin: Forschung & Entwicklung

3.1 "The Rutgers" Ankle Rehabilitation Interface (Knöchel Rehabilitation)

Verletzungen am Fußgelenk sind oftmals die Folge von zu schlecht trainierten Muskeln an den Gelenken. Mit dem Rutgers Ankle Rehabilitation Interface können Rehabilitationsmaßnahmen nach einer Verletzung des Gelenkes von zu Hause aus durchgeführt werden.
Die Übungen können via Internet vom behandelnden Arzt überwacht werden. Es ist aber auch gleichzeitig zur Prävention von Verletzungen geeignet.

Wie das Fußgelenk, hat auch dass Rutgers Ankle Rehabilitation Interface 3 Freiheitsgrade, somit lässt sich die Muskulatur an den Gelenken optimal trainieren.

Das Gerät ist mit pneumatischen Zylindern verbunden, mit ihnen ist es möglich, einen Widerstand aufzubauen. Außerdem ist das Gerät an einem PC angeschlossen.
Auf dem PC läuft eine Simulation, die mittels Fußsteuerung beeinflusst werden kann.

So kann ein Patient beispielsweise ein virtuelles Flugzeug durch seine Fußbewegungen fliegen. Der Schwierigkeitsgrad, kann mit den pneumatischen Zylindern beeinflusst werden. Es sind auch andere Simulationen denkbar, die ein spezielleres Training widerspiegeln.

nach oben

3.2 Laerdal´s Virtual IV

Für angehende Mediziner ist es besonders wichtig, so viel Übung wie möglich zu bekommen. Da jedoch nicht immer ein "Versuchskaninchen" oder eine Leiche zur Verfügung steht, müssen andere Lösungen gefunden werden.
Eine könnte zum Beispiel das Laerdal´s Virtual IV - System sein.

Mit ihm ist es möglich, das Intravenöse Katheter legen zu simulieren. Das Einstechen der Nadel wird am Bildschirm dargestellt, während das Gerät, indem die Nadel eingeführt wird, ein realistisches Feedback (Force Feedback) an den Benutzer zurück gibt.

Ein etwas komplizierterer Eingriff ist die Arthroskopie. Da sie heute bis zu etwa 1,5 Millionen Mal im Jahr durchgeführt wird stellt sie also einen sehr wichtigen und weit verbreiteten Eingriff dar.

Aus diesem Grund müssen auch die Operateure gut ausgebildet sein. Daher wurde ein virtuelles System entwickelt, mit dem Studenten diesen Eingriff üben können.

Dabei bietet der Einsatz von Virtual Reality, in Verbindung mit Haptik, eine natürliche und optimale Bedingung zum üben. Der Student kann künstliche Kniegelenke operieren, er spürt Widerstände und kann das Geschehen im Knie live am Monitor verfolgen. [15][16][17][18]

nach oben

4. Taktiles Feedback auf Smartphones

Als taktiles Feedback auf Smartphones ist jedem die Vibration beim Tastendruck zum Beispiel beim SMS-Schreiben bekannt. Diese Vibration soll das Fehlen des echten Tastenanschlages ersetzen. Des Weiteren ist die Vibration bei einem eingehenden Anruf oder bei dem Spielen auf dem Smartphone bekannt.

Jedoch gibt es einige Kritikpunkte hinsichtlich des Touchscreens eines Smartphones. Beispielsweise wird bemängelt, dass sich die glatte Oberfläche eines berührungsempfindlichen Bildschirmes nicht wie eine echte Tastatur in Hardware anfässt. Außerdem wirkt die mechanische Vibration, welche das ganze Gerät vibrieren lässt, unnatürlich und wird oft als störend empfunden.

Gleich mehrere Forschungsgruppen haben sich der Probleme angenommen und schlagen Alternativen vor. Oftmals geht es dabei um sogenannte Elektrovibration, bei der eine elektrische Spannung eingesetzt wird. Dadurch soll das Gefühl einer Reibung oder Vibration an einem bestimmten Punkt auf dem Bildschirm erzeugt werden. So sollen sich auf dem Touchscreen fühlbare Texturen ergeben. Dabei stehen oftmals sehbehinderte Personen im Mittelpunkt bzw. an ihnen orientiert sich die Forschung, um ihnen eine einfache und komfortable Bedienung der Kommunikationsendgeräte zu ermöglichen.

Im nachfolgenden werden die Ideen und Entwicklungen von verschiedenen Unternehmen vorgestellt: Das Unternehmen Disney Research hat 2010 die Technik "TeslaTouch" vorgestellt. Dabei haben sie ein kommerzielles Touchpanel vom Hersteller 3M, wie es in den meisten Smartphones verbaut ist, modifiziert. Das TeslaTouch-Panel besteht aus transparenten Elektroden auf Glas und ist mit einer Isolationsschicht überzogen.

Wenn über die Verbindungen, mit der das System normalerweise die Fingerposition bestimmt, periodisch eine Spannung an die Elektroden angelegt wird, fühlt sich das wie eine kleine Vibration in den Fingern an. Mit der Änderung von Amplitude und der Frequenz der angelegten Spannung, lassen sich verschiedene Texturen simulieren. Somit können beispielsweise Erhebungen, das Gefühl von Klebrigkeit oder eine raue Oberfläche suggeriert werden. Der Hauptunterschied zu einem normalen Touchpanel liegt in der speziell entwickelten Kontrollelektronik, die das Gefühl der Vibration im Finger erst erzeugt.

Nokia hat einen ähnlichen Entwicklungsansatz wie Disney Research gewählt. Sie haben jedoch als Ziel, das taktile Feedback als Kommunikationsmittel einzusetzen. Das heißt, wenn man etwas auf seinem Bildschirm während eines Telefonats macht, soll das der Gesprächspartner fühlen. Leider wurde von Nokia keine weiteren Details zu der Funktionsweise veröffentlicht. [19]

Toshiba hat zusammen mit der Firma Senseg im vergangenen Jahr einen modifizierten iPod touch vorgestellt. Mit Hilfe einer Beschichtung auf dem Display werden kleine elektrische Felder erzeugt, durch diese entsteht das taktile Feedback. Diese neue Toshiba Technologie nennt sich "Senseg E-Sense".

Durch diese Technik soll der Nutzer des iPod touch zum Beispiel bei einem Tastendruck das Gefühl bekommen, dass die Taste etwas hervor steht. Ein erweitertes Konzept von E-Sense sieht vor, dass die Beschichtung auf einem PC- Trackpad aufgebracht wird. Beispielsweise fährt man auf dem PC mit dem Cursor über ein Bild mit einer stoppeligen Oberfläche und über das Trackpad fühlt man diese Oberflächenstruktur. [20][21]

Auch Microsoft hat einen Touchscreen mit taktilem Feedback entwickelt. Dieser soll mit einer Folie überzogen werden, welche kleine Plastikpixel enthält und dadurch Shape-Memory-Eigenschaften hat. Die kleinen Partikel reagieren auf Ultraviolettes Licht. Sie können abhängig von der Wellenlänge des Lichtes eine flüssige, weiche oder feste Konsistenz annehmen. Mit der Shape-Memory-Eigenschaft soll beispielsweise nach einer Fingerberührung eine kleine Beule auf dem Touchscreen bleiben oder durch so eine Beule vorher angezeigt werden, wo der Nutzer als nächstes drücken muss. [22]

Der japanische Telekommunikationsgigant DoCoMo präsentierte auf der World Mobile Congress in diesem Jahr ein 3D Display ohne Spezialbrille aber mit speziellen Eingabestift für ein Force Feedback. Als Grafikdemo wurde ein farbenprächtiges Chamäleon, das auf einem Ast sitzt gezeigt. Nährt sich der Nutzer mit dem Eingabestift dem Gerät, richtet das kleine Chamäleon seinen Kopf danach aus und rollt seine lange Zunge blitzartig aus. Der Halter des speziellen Eingabestiftes registriert auf diese Aktion unmittelbar durch starken Rückstoß.

Diese Technik funktioniert mit Hilfe einer elektrisch geladenen Spule hinter dem Display, welche ein kleines Magnetfeld rund um den Touchscreen erzeugt. Oberhalb des Displays befinden sich zwei Kameras, welche für die räumliche Lokalisierung des Eingabestiftes sorgen.

In der Spitze des Eingabestiftes befindet sich ein weiterer Magnet, der für den Rückstoß verantwortlich ist. Bisher wurde diese Technik nur auf der Messe ausgestellt. Durch den großen technischen Aufwand dauert es noch bis die Technik marktreif in handlichen Smartphones verbaut wird. [23]
Auch Apple arbeitet an einer Tastatur mit taktilem Feedback.

Im Gegensatz zu den anderen Firmen, überlegt Apple Luftpumpen in ihre iPhones einzubauen. Ende 2009 hat Apple einen Patentantrag für ihre Idee eingereicht. Sie möchten eine Kombination aus Luftüber- und Luftunterdruck mit Näherungssensoren verbauen. Die Näherungssensoren sollen den sich nährenden Finger noch vor den Tastendruck wahrnehmen und an das Luftdrucksystem melden. Durch den leichten Luftüberdruck bei dem Tastendruck und der darauf folgende Unterdruck würde dann dem Nutzer ein Gefühl des "Anpustens" der Fingerkuppe geben. Angedacht ist diese Pneumatik vor erst für den Mac. [24]

Das britische Unternehmen Hiwave hat einen neuen Chip "HIHS9002" auf den Markt gebracht. Dieser Chip soll gemeinsam mit einem Steuersender taktiles Feedback bei Touchscreens ermöglicht. Somit soll das Tippen, klicken und scrollen vereinfacht werden, aber auch Sounds sollen wiedergegeben werden, wobei das Display selber als Lautsprecher fungiert.
Mittels Wellen werden die Signale vom Chip an die Koordinaten der Berührungen gesendet und das Feedback gegeben. Es gibt noch keine festgelegten Anwendungen, da diese von dem Einsatzort, welcher in Smartphones, Tablets, PC`s oder Industrieanlagen sein soll, abhängen. [25]

nach oben

5. Haptisches Feedback in der Robotersteuerung/-programmierung

Der Mensch stößt in Forschung und Industrie immer wieder an die Grenzen des ihm selbst möglichen. Häufig basieren sie auf nicht gewährleisteter Präzision durch die menschlichen Hände und damit verbundenen Risiken für ihn selbst oder andere. Beispielhaft dafür sind komplizierte chirugische Eingriffe oder das Arbeiten mit gefährlichen chemischen Substanzen.

Andere Grenzen stellen Gebiete dar mit für den Menschen lebensfeindlichen Bedingungen, wie beispielsweise der Einsatz in der Tiefsee. Um diese Hürden zu meistern bedient sich der Mensch immer öfters maschineller Hilfe in Form von Robotern. Sie bieten die nötige Präzision, sind belastbarer oder können risikobehaftete Arbeiten übernehmen, da sie ersetzbar sind.

Ebenfalls können sie Prozesse beliebig oft wiederholen und unterliegen keinen Ermüdungserscheinungen. Diese Roboter müssen allerdings erst für ihre Arbeit programmiert werden. Eine Möglichkeit stellt das Teach-In-Verfahren dar. Der Programmierer überrnimmt hierbei durch ein Steuerungsgerät die Kontrolle über den Roboter. Dieses Steuergerät kann mit haptischen Feedback arbeiten, abhängig von der auszuführenden Tätigkeit und dem verwendetem Material.

Ihm ist so die Möglichkeit gegeben, Maschine und Material äußerst feinfühlig zu handhaben. Alle Bewegungen des Steuergerätes zum ausführen der Arbeit werden detailliert protokolliert und bilden die Grundlage für die späteren Bewegungsabläufe des Roboters. Sind alle Aktionen erfolgreich einstudiert besteht die Aufgabe des Roboters lediglich darin die gespeicherten Abläufe Schritt für Schritt abzuarbeiten. Bei anderen Arbeiten soll ein Roboter nicht selbstständig arbeiten, sondern stattdessen dem Menschen aus der Enternung als direktes Werkzeug oder Arbeitserleichterung dienen.

Da auf diese Weise jedoch der Akteur sämtliches haptisches Feedback - das er für diese Tätigkeit benötigt - verliert, müssen der Roboter, die Rechnentechnik und die Ein- bzw. Ausgabegeräte dieses Feedback äußerst realitätsnah simulieren. Um das zu erreichen stattet man die Manipulatoren des Roboters mit Kraftmessungssensoren aus, optional können auch andere Sensoren installiert und genutzt werden.

Diese reagieren sehr fein auf jede Kraftänderung des Roboters gegenüber einer Oberfläche und leiten diese Messwerte an die Steuerungsgeräte des Akteurs weiter, welche ihm dann entsprechende Gegenkräfte, das benötigte haptische Feedback, bieten. Da eine gewaltige Mengen an Daten erfasst und verarbeitet werden muss, ist eine entsprechende Infrasturktur aus Rechentechnik und Datenübertragung erforderlich. Ebenfalls darf man die Verzögerung zwischen Simulation und Realtität mit zunehmender Entfernung nicht vernachlässigen. Bei einer Distanz von einigen wenigen Metern spielt sie noch keine Rolle, wird der Roboter jedoch beispielsweise im erdnahen Weltraum gesteuert ergeben sich bereits beachtenswerte Latenzzeiten.
Ein besonders umfangreiches Beispiel für Feedback-Devices aller Art stellt das Robonaut-Projekt der NASA dar. (http://robonaut.jsc.nasa.gov/default.asp) Andere Beispiele wären die bereits angesprochene Programmierung von Robotern oder auch die Steuerung von Greifarmen bemannter oder unbemannter Unterwasserfahrzeuge.

[26][27][28][29][30][31]


Beispielvideo zur Steuerung eines Roboters mittels PHANToM:

nach oben

6. Feedback Devices in Computerspielen

Seit den 50-er Jahren, als erste einfache Videospiele und später auch Computerspiele erschaffen wurden, entwickelte sich die Computerspielindustrie ständig weiter und das mit rasantem Tempo. Mit dem technischen Fortschritt änderte sich auch die Vorstellungen von Programmierern und Spielern, sodass die Forschung immer wieder etwas Neues erfinden und implementieren konnte.

So entstand der heute moderne Zustand der Computerspiele mit vielfältigen Möglichkeiten, von denen man früher nur träumen konnte. Erste Geräte mit haptischen Feedback konnten nur einfache Vibrationen wiedergeben, wenn während dem Spiel etwas Entsprechendes passierte, wie z.B. ein Schlag oder ein Schuss. Das erste Feedback-Technologien nutzende Gerät war "Out Run" (1986) - ein Arcade-Rennspiel von Sega. Durch dieses Gerät war es erstmals möglich, das Spiel nicht nur zu sehen, sondern auch zu fühlen.

Erst wesentlich später wurde diese Technologie auch in kleineren Steuergeräten genutzt, so wurden dem normalen Nutzer die Möglichkeiten der Feedback-Devices nach Hause gebracht. Jetzt konnte man für seine Spielkonsole den Joystick "Force Feedback Pro" von Microsoft, den Playstation Controller "Dual-Shock" oder das "Rumble-PAK" von Nintendo dazu kaufen. Als erster Joystick mit Force Feedback gilt der "CH Force FX"-Joystick von CH Products.

Die Feedback Technologie in diesem Bereich ermöglicht verschiedenste Effekte zu modellieren, beispielsweise das Einschlagen eines Geschosses in ein Flugzeug oder der Rückstoß von seinbem eigenen Schuss. Anhang der Vibration des Joysticks kann man auch die Art des Angriffs unterscheiden, zum Beispiel von welchem Feind man verfolgt wird oder mit welcher Waffe man angegriffen wird.

Die Kraft, mit der man den Griff bewegt, kann auch anhand der Charakteristik von virtuellem Transportmittel verschieden sein. Moderne Feedback-Joysticks modellieren noch mehr komplizierte Effekte, wie das spezifische Vibrieren des Controllers im Falle eines Motorbruchs, Beschädigungen verschiedener Stufen, Schrauben- /Teileverlust usw. Mit diesem Schritt stoppt die Entwicklung von neuen verbesserten Implementierungsmöglichkeiten für den Spielbereich. Es kamen natürlich noch Joysticks mit immer zunehmender Feedbackqualität, aber die gemeinsame Idee von Vibrationen als Feedbackeffekt bleibt unverändert.

Nachfolger des Joysticks ist ein Lenkrad für den Computer, das besonders für Rennspiele geeignet ist. Das erste Lenkrad ist im Jahr 1983 erschienen. Damals sah es wie eine große Kiste mit einem Rad und nur einem Pedal aus.

Seitdem wurde dieses einfache Modell zu modernen Force-Feedback-Technologie nutzenden Lenkrädern entwickelt, die nicht nur mit zwei oder manchmal drei Pedalen, sondern auch mit Antriebskisten ausgerüstet wurden. Force Feedback ermöglicht hier reale Bedingungen zu rekonstruieren: Widerstand bei der Drehung oder Schwankungen bei einer Fahrt auf Kies.

Als Beispiel hierzu kann man das "Logitech G27 Racing Wheel" nennen. Mit Nutzung von diesem Lenkrad während des Spiels füllt man sich wirklich wie bei der Fahrt in einem realen Fahrzeug, da es gleiche Eigenschaften bietet. Dieses Modell von Logitech gilt derzeit als das beste Lenkrad mit Force Feedback auf dem Markt.

Seit Anfang der 90-er Jahre entwickelten sich 32- und später auch 64-Bit Spiele, die eine neue Nachfragewelle nach Spielkonsolen auslösten. Nutzer wollten ein Gefühl von Realität beim Spielen haben, deshalb entwickelten sich verschiedene Simulatoren, die diesen Bedarf immer besser befriedigen konnten. Zu nennen sind hier Rennspiele wie Grand Prix, Live for Speed und GTR, Flugsimulatoren wie Microsoft Flight Simulator, Sierras Pro Pilot und Air Warrior. Professionelle Simulatoren sind heutzutage keine Spiele mehr, sondern Trainingmöglichkeiten für Fahrer und Piloten.

Heute gibt es auch einige interessante Geräte mit Feedback, die auch für die heimische Nutzung geeignet sind, so wie z.B. Geräte der Firma Novint Technologies, Inc. Ihren "Falcon" bietet ein realistisches Force Feedback, so dass heute fast jeder Spieler damit zufrieden ist.

Es bietet echtes haptisches Feedback in alle Richtungen. Im Action-Spiel fühlt man das Gewicht des Messers oder einer Waffe in der Hand und ihren Rückstoß im Arm. Ungewöhnlich ist auch das die Oberflächen virtueller Objekte am Gefühl unterscheidbar sind. Im Vergleich zu solchen Profigeräten wie das SensAble Phantom kostet dieser kleiner "Roboter" auf den europäischen Markt fünf Mal weniger (ca. 200 Euro). Das Gerät wird mit Hilfe eines sphärisches Griffs bedient den drei bewegliche Arme vor einem Kunststoffkörper halten.

Dieser Griff ist mit vier Knöpfen ausgerüstet deren Belegung durch einen Treiber festgelegt werden. Dieses Modell wird noch entwickelt und verbessert. Beispielsweise ist der Griff noch nicht optimal und ergonomisch geformt und das Gewicht beträgt noch ungefähr 3 Kilogramm.
Außerdem bietet der Hersteller derzeit nur Treiber für die 32-bit-Versionen von Windows XP und Vista an. Die Firma Novint bietet noch eine Erweiterung, das Falcon- Pistol Grip. Es ist ein spezieller Aufsatz in der Form einer Pistole statt einem regulären kugelförmigen Griff. So entsteht das Gefühl als ob man eine reale Waffe während des Spiels nutzt

Eine weitere von Novint geplante Entwicklung ist das "Novint XIO". Man legt dieses Gerät an seinem Arm an und kontrolliert den Spielverlauf durch Aktionen von seinem eigenem Handgelenk. Damit soll man ein vollständig realistisches Spielpräsenzgefühl erhalten. Schießt, springt oder schlägt man, fühlt man alles selbst anstatt es einfach nur auf dem Bildschirm zu sehen. Novint wird auch spezielle Treiber dazu anbieten die auf moderne Spiele abgestimmt sind.

Die Unterstützung von anderen Plattformen, außer PC, wie zum Beispiel Spielkonsolen und mobile Geräten genießen bei den XIO-Entwicklern einen hohen Stellenwert. Selbstverständlich gibt es auch andere Anwendungen von XIO. Beispielsweise kann man die Controller für medizinische Applikationen, wirtschaftliche Visualisierung, Sporttraining, militärische Simulationen und anderes nutzen.

Ein anderes Beispiel für Force Feedback Game Devices ist State-of-the-art Rod & Reel Rumble Controller von Griffins Inc. Diese Computerangel ist ein Peripherie-Gerät für die XBOX 360. Sie ist so ausgerüstet, dass sie alle Aktionen von Spiel und Spieler - wie ein Wurf, ein Ruck, ein Spannen - erkennen kann. Zudem kann man bei dieser Art des virtuellen Fischfangs mit einer Angel beurteilen welche Fisch gerade gefangen wird, d.h. ob es ein kleiner oder großer ist.

[32][33][34][35][36][37][38][39][40][41][42][43]

nach oben

8. Quellenverzeichnis

[1] http://dac.escet.urjc.es/docencia/RVA/06-07/Massie00_The%20PHANTOM%20Haptic%20Interface_A%20Device%20for%20Probing%20Virtual_building1.pdf Zugriff: 6.10.2011
[2] http://www.hcilab.org/events/ui-update1.0/10-Tastsinnbasierte_Benutzerschnittstellen-Benjamin_Schlerf.pdf Zugriff: 05.10.2011
[3] http://www.classle.net/projects/project_ideas/phantom Zugriff: 5.10.2011
[4] http://www2.fz-juelich.de/vislab/virtual/phantom/index.html Zugriff: 6.10.2011
[5] http://www.news-medical.net/news/20100322/131/German.aspx Zugriff: 05.10.2011
[6] http://searchcio-midmarket.techtarget.com/definition/haptics Zugriff: 02.10.2011
[7] http://www.answers.com/topic/haptic Zugriff: 05.10.2011
[8] http://www.welfenlab.de/en/research/doktorarbeiten/guido_boettcher/ Zugriff: 05.10.2011
[9] http://www.welfenlab.de/en/research/projects/vr_haptik/ Zugriff: 02.10.2011
[10] http://www.welfenlab.de/en/research/doktorarbeiten/guido_boettcher/ Zugriff: 02.10.2011
[11] http://www.scribd.com/doc/50525962/2/History-of-Haptics Zugriff: 02.10.2011
[12] http://electronics.howstuffworks.com/everyday-tech/haptic-technology1.htm Zugriff: 05.10.2011
[13] http://informsciencenetwork.com/sciences/haptic-technology-works-3669164a Zugriff: 02.10.2011
[14] http://electronics.howstuffworks.com/everyday-tech/haptic-technology2.htm Zugriff 05.10.2011
[15] http://www.medizin-und-technik.de/medizin/-/article/27544623/34974961/"Laser-könnte-das-Skalpell-ersetzen"/art_co_INSTANCE_0000/maximized/ Zugriff: 06.10.2011
[16] http://www.immersion.com/markets/medical/ Zugriff: 06.10.2011
[17] http://wwwiaim.ira.uka.de/Teaching/ProseminarMedizin/Ausarbeitungen/WS0102/06_Haptik.pdf Zugriff: 06.10.2011
[18] http://njmonthly.com/articles/lifestyle/how-things-work/rutgers-ankle-robot.html Zugriff: 06.10.2011
[19] http://www.heise.de/tr/artikel/Touchscreen-mit-Textur-1122346.html Zugriff: 03.10.2011
[20] http://www.maclife.de/iphone-ipod/ipods/ipod-touch/taktiles-feedback-toshiba-demonstriert-modifizierten-ipod-touch Zugriff: 03.10.2011
[21] http://de.engadget.com/2010/05/22/toshiba-bringt-taktiles-feedback-auf-den-touchscreen-mit-video Zugriff: 03.10.2011
[22] http://www.teltarif.de/microsoft-touchscreen-taktiles-feedback-technologie/news/x12836.html Zugriff: 03.10.2011
[23] http://www.teltarif.de/docomo-3d-touchscreen-force-feedback/news/41730.html, 03.10.2011
[24] http://www.maclife.de/panorama/netzwelt/apple-arbeitet-tastatur-mit-taktilem-feedback-und-annaehrungssensoren Zugriff: 03.10.2011
[25] http://www.inside-handy.de/news/22458-hiwave-chip-neuer-chip-ermoeglicht-taktiles-feedback-bei-touchscreens Zugriff: 03.10.2011
[26] http://robonaut.jsc.nasa.gov/default.asp Zugriff: 6.10.2011
[27] http://www.ece.mcmaster.ca/~sirouspour/lab.html Zugriff: 5.10.2011
[28] http://www.uni-koblenz.de/~cg/Diplomarbeiten/DADrescher.pdf Zugriff: 4.10.2011
[29] http://public.beuth-hochschule.de/~stevie/vr/node25.html Zugriff: 4.10.2011
[30] http://www.dlr.de/rm/de/desktopdefault.aspx/tabid-5013/ Zugriff: 3.10.2011
[31] http://en.wikipedia.org/wiki/Haptic_technology Zugriff: 4.10.2011
[32] http://de.wikipedia.org/wiki/Force_Feedback Zugriff: 2.10.2011
[33] http://ldt.stanford.edu/~yasukato/portfolio/class/cs147/as8/index.html#Users Zugriff: 2.10.2011
[34] http://de.wikipedia.org/wiki/Out_Run Zugriff: 2.10.2011
[35] http://all-consol.my1.ru/publ/1-1-0-2 Zugriff: 2.10.2011
[36] "3D zum Anfassen" Ct Magazin für Computertechnik, vom 14.4.2008. S.74-75.
[37] http://www.novint.com Zugriff: 2.10.2011
[38] http://www.membrana.ru/particle/3321 Zugriff: 3.10.2011
[39] http://www.netzwelt.de/news/79831-wissenschaft-fuehlbare-knoepfe-touchscreens.html Zugriff: 3.10.2011
[40] http://www.cxpartners.co.uk/cxinsights/joypad_evolution-_design_patterns_and_innovations_in_gaming_interface_design.htm Zugriff: 5.10.2011
[41] http://www.joysticks.ru/joysticks/articles/game_manipulators.shtml Zugriff: 5.10.2011
[42] http://www.ferra.ru/online/periphery/72823/ Zugriff: 5.10.2011
[43] www.immersion.com Zugriff: 5.10.2011

Virtual Reality Technology - Second Edition, Grigore C. Burdea, Philippe Coiffet, Wiley-IEEE, 2003; ISBN: 0471360899, 9780471360896
Lynette A. Jones and Michal Berris, Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge MA

Autoren: N. Duch, R. Pflug, T. Rohde, T. Stelter, S. Urbanek, Y. Zhuravleva, J. Sabinin

nach oben