Installation

Damit RecFusion auf Ihren Sensor zugreifen kann, wird ein Treiber benötigt. Bitte stellen Sie sicher, dass der neueste Nvidia/AMD/Intel-GPU-Treiber installiert ist. RecFusion selbst können Sie sowohl vor als auch nach der Treiberinstallation installieren.

Beim ersten Start von RecFusion wird der Lizenzdialog angezeigt. Hier können Sie Ihren Lizenzschlüssel eingeben oder die Demoversion ausprobieren. Falls Sie keine Internetverbindung haben, können Sie die Offline-Aktivierung benutzen. Bitte beachten Sie, dass die Lizenz an den Rechner gebunden wird, auf dem sie aktiviert wurde. Eine gleichzeitige Verwendung auf mehreren Rechnern ist nicht möglich.

Bedienoberfläche

Nach dem Start der Anwendung befinden Sie sich in der Aufnahmeansicht, welche die Farb- und Tiefenbilder des Sensors zeigt. Rechts wird eine 3D-Darstellung der Tiefendaten angezeigt. In dieser Ansicht können Sie mittels der Maus wie in einem typischen 3D-Viewer navigieren. Über die Menüleiste auf der linken Seite können Sie die Rekonstruktionsparameter einstellen.

UI
Abb. 1 RecFusion Pro Bedienoberfläche

Sensorauswahl

Nach dem Start von RecFusion wird der Sensorauswahldialog angezeigt. Er listet alle Sensoren auf, die mit dem PC verbunden sind. Wählen Sie in RecFusion Pro die Sensoren in der Reihenfolge aus, in der sie später in der Benutzeroberfläche angezeigt werden sollen, und klicken Sie auf OK. Nachdem die Sensoren initialisiert worden sind, werden ihre Bilder und Tiefenkarten angezeigt. Wenn die Reihenfolge der Sensoren nicht wie gewünscht ist, klicken Sie im Menü "File" auf "Select Sensor ..." und wählen Sie die Sensoren in der richtigen Reihenfolge erneut aus.

SensorSelectionDialog
Abb. 2 Sensorauswahldialog

Sensor Konfiguration

Erweitern Sie die Registerkarte Sensor auf der linken Seite, um die Sensoreinstellungen für den aktuellen Sensor anzuzeigen. Sie können den aktuellen Sensor ändern, indem Sie die Auswahl im Sensor Dropdown-Menü ändern. Für jeden Sensor wird die aktive Tiefenbild- und Farbbildauflösung und Bildfrequenz angezeigt. Mit Hilfe des Orientation Dropdown-Menüs kann die Ausrichtung des angezeigten Sensorbildes an die physikalische Ausrichtung des Sensors angepasst werden.

SensorSettingsControl

Abb. 3 Kontroller für Sensor Einstellungen

Bei Sensoren, die diese Funktionen unterstützen, werden die Einstellungen für den automatischen Weißabgleich und die automatische Belichtung angezeigt. Wenn sowohl der automatische Weißabgleich als auch die automatische Belichtung deaktiviert wurden, ist es möglich, die Belichtungszeit manuell einzustellen. Dies ermöglicht eine bessere Kontrolle über die Texturfarben.

Um visuelle Störstellen, die nicht Teil des Scan-Volumens sind, aus der Farb-, Tiefen- und Punktwolkenansicht zu entfernen (z.B. eine Wand im Hintergrund), ist es möglich, einen Tiefen-Schnitt zu setzen. Wenn Sie diesen einsetzen, werden alle Tiefenmesswerte jenseits der angegebenen Tiefe entfernt.

Workspaces

Es ist eine gute Idee, die aktuellen Einstellungen mit dem Eintrag " Save Workspace ..." im Datei-Menü in einer Workspace-Datei zu speichern. Die gespeicherte Workspace-Datei enthält alle Sensoreinstellungen einschliesslich der Sensorreihenfolge. Wenn diese Datei wieder geladen wird, werden alle Einstellungen wiederhergestellt. Ein Doppelklick auf die Workspace-Datei öffnet sie direkt in RecFusion, daher ist es eine gute Idee, sie an einem Ort zu platzieren, wo sie leicht zugänglich ist, z.B. auf dem Desktop.

 

Multi-Sensor Kalibrierung (Nur RecFusion Pro)

CalibrationPatternSchematicMultiSensorTurntableSetup
Abb. 4 Auf Holzplatte befestigtes KalibriermusterAbb. 5 Schematische Darstellung des Multi-Sensor-DrehtelleraufbausAbb. 6 Drehtelleraufbau in der Praxis

Vor der Kalibrierung der Sensoren sind die Punktwolken in der Punktwolkenansicht nicht zueinander ausgerichtet (siehe Abb. 7). Zur Ausrichtung der Punktwolken müssen die Sensoren kalibriert werden, d.h. ihre relativen Positionen zueinander müssen bestimmt werden. Zum Kalibrieren der Sensoren muss ein Kalibriermuster verwendet werden. Anhand der bekannten Struktur des Musters kann RecFusion Pro die Position der Sensoren zueinander bestimmen.

BeforeCalib
Abb. 7 Vor der Kalibrierung: Punktwolken sind nicht zueinander ausgerichtet

Auf das Kalibrierungsmuster kann über den Startmenüeintrag von RecFusion Pro zugegriffen werden (Start Menu -> RecFusion Pro -> Calibration Pattern). Beim Drucken des Musters muss jede Skalierung zur Anpassung an die Seitengröße deaktiviert werden. Die Seitenlänge des gedruckten Musters muss 190 mm betragen. Es muss auf eine starre und ebene Fläche, z.B. ein Holzbrett, gelegt werden (siehe Abb. 4). Das Muster darf nicht verbogen oder in irgendeiner Weise verzerrt werden.

Um die Sensoren zu kalibrieren, stellen Sie die Musternummer und die Mustergröße in der Registerkarte für die Multisensorkalibrierung ein. Die Standardeinstellungen passen zu dem im Startmenü verknüpften Standardmuster. Es gibt zwei Kalibrierverfahren, die mit RecFusion Pro mitgeliefert werden und die es ermöglichen, alle Arten von Multisensor-Setups zu kalibrieren, vorausgesetzt, dass es zumindest eine gewisse Überlappung zwischen einigen der Sensoren gibt. Bei der ersten Methode muss das Kalibrierungsmuster so positioniert werden, dass es von allen Sensoren gleichzeitig gesehen werden kann, während bei der zweiten Methode (sequentielle Kalibrierung) das Muster nur in zwei aufeinanderfolgenden Sensoren sichtbar sein muss (wie durch die Reihenfolge definiert, in der sie in der Benutzeroberfläche angezeigt werden). Die sequentielle Kalibrierung ist besonders nützlich für Sensoranordnungen, bei denen die Sensoren in vertikaler Reihenfolge angeordnet sind (siehe Abb. 5 und Abb. 6).

Nach Anklicken des Buttons Calibrate oder Califibrate Seq. , je nachdem, welche Kalibriermethode Sie verwenden möchten, wird für jeden Sensor ein Bild aufgenommen und zur Kalibrierung verwendet. Es ist wichtig, dass das Kalibrierungsmuster während dieser Zeit nicht bewegt wird.

Für die Standard-Kalibrierung muss das Kalibier-Muster so platziert werden dass es von allen Senoren erfasst wird, während es für die sequentielle Kalibrierung nur vom ersten und zweiten Sensor erfasst werden musst (vgl. Abb. 8). Es ist wichtig, dass das Muster in allen Sensorbildern so groß wie möglich ist. Das Muster sollte auch nicht zu nahe am Bildrand platziert werden. Bei der sequentiellen Kalibrierung wird nach der Erkennung des Musters im ersten Sensorpaar eine Meldung angezeigt, in der darum gebeten wird, das Muster so zu verschieben, dass es im zweiten und dritten Sensor sichtbar ist (siehe Abb. 9). Dies wird so lange wiederholt, bis das Muster von allen aufeinanderfolgenden Sensorpaaren gesehen wurde.

SeqCalibration12SeqCalibration23
Abb. 8 Sequentielle Kalibrierung von Sensor 1 und 2Abb. 9 Sequentielle Kalibrierung von Sensor 2 und 3

Wenn die Kalibrierung erfolgreich war, wird eine Erfolgsmeldung angezeigt. Wenn das Kalibrierungsmuster im Bild sehr klein war, könnte die Kalibrierung ungenau sein. In diesem Fall sollte das Kalibrierungsmuster wenn möglich näher an die Sensoren herangeführt oder auf grösseres Papier (z.B. auf DIN A2-Papier) gedruckt werden. Beim Ausdrucken einer größeren Version des Musters muss die Seitenlänge des Kalibriermusters in der Multisensor-Registerkarte entsprechend angepasst werden. Nach einer erfolgreichen Kalibrierung werden die Punktwolken in der Punktwolkenansicht rechts ausgerichtet (siehe Abb. 10 und Abb. 11). Die Punktwolkenansicht sollte sorgfältig geprüft werden, um sicherzustellen, dass es keine Fehlausrichtungen gibt.

AfterCalibAfterCalibSide
Abb. 10 Frontansicht nach der Kalibrierung mit zueinander ausgerichtetn Punktwolken.Abb. 11 Seitenansicht nach der Kalibierung mit zueinader ausgerichtetn Punktwolken.

Der gespeicherte Workspace eines kalibrierten Setups beinhaltet auch die Kalibrierung, sodass beim nächsten Laden des Workspaces bereits eine gültige Kalibrierung vorliegt. Bitte nehmen Sie zur Kenntnis, dass eine Kalibrierung nur so lange gültige bleibt, wie die Sensoren nicht bewegt werden. D.h. wenn die Senoren seit der letzten Kalibrierung bewegt wurden, muss das System neu kalibriert werden.

Rekonstruktions-Einstellungen

Vor der Durchführung eines Scans muss das Rekonstruktionsvolumen definiert werden. Der Scan erfasst alle Objekte, welche sich innerhalb des Rekonstruktionsvolumens befinden. Dieses wird durch den Würfel in der 3D-Darstellung des Sensorbildes festgelegt und entspricht den grün eingefärbten Bereichen im Tiefenbild. Das Volumen muss in Größe und Position so angepasst werden, dass es alle Objekte enthält, die von der Rekonstruktion erfasst werden sollen. Bei der Rekonstruktion von Objekten auf einer Drehscheibe ist es wichtig, keine Teile im Rekonstruktionsvolumen einzuschließen, die sich relativ zum zu rekonstruierenden Objekt bewegen (wie zum Beispiel Wände) . Das Rekonstruktionsvolumen sollte bis auf das gewünschte, zu rekonstruierende Object weitgehend leer sein (siehe Abb. 12).

RecVolume1RecVolume2
Abb. 12 Definition des RekonstruktionsvolumensAbb. 13 Volumeneinstellung

Sie können das Rekonstruktionsvolumen auf mehrere Arten modifizieren. Die Größe des Volumens lässt sich über die Volumengröße-Einstellungen ändern. Alternativ können Sie die Größe dadurch verändern, dass Sie im Tiefenbild die Maus mit gedrückter mittlerer Maustaste in vertikaler Richtung bewegen.

Die Position können Sie über die Volumenposition-Einstellungen ändern indem Sie entweder die Werte für die Position ändern oder auf Verschieben klicken, wodurch ein Koordinatenkreuz in der 3D-Ansicht eingeblendet wird, welches Sie mit der Maus durch Ziehen an den Pfeilen verschieben können. Alternativ können Sie mit gedrückter linker bzw. rechter Maustaste im Tiefenbild die Position verändern.

Als nächstes muss die Volumenauflösung definiert werden. Sie sollte so eingestellt werden, dass die in der Registerkarte Volumenauflösung angezeigte Voxelgröße weniger als 1,5 mm beträgt. Für die Live-Rekonstruktion ist zu beachten, dass je höher die Auflösung ist, desto mehr Rechenleistung benötigt wird. Wenn die Framerate während der Rekonstruktion zu niedrig ist (d.h. zu viele Frames weggelassen werden müssen), sollten Sie die Verwendung einer niedrigeren Auflösung in Betracht ziehen. Bei der Offline-Rekonstruktion ist dies kein Problem. Die maximal erreichbare Auflösung ist durch den verfügbaren GPU-Speicher begrenzt. Wenn für die gewählte Auflösung nicht genügend Speicher zur Verfügung steht, gibt RecFusion Pro eine Warnung aus. Bitte wählen Sie in diesem Fall eine niedrigere Auflösung.

Es ist optional möglich, vor Beginn der Rekonstruktion eine Startverzögerung festzulegen. Dies kann über die Registerkarte zeitgesteuerte Rekonstruktion erfolgen. Auf der gleichen Registerkarte ist es auch möglich, eine feste Zeit einzustellen, nach der die Rekonstruktion stoppt, z.B. die Zeit für eine Drehtischrotation.

Beim Speichern eines Workspaces werden auch alle Volume-Einstellungen aufgezeichnet. Wenn der Workspace das nächste Mal geladen wird, werden alle Einstellungen automatisch übernommen.

Live-Rekonstruktion

Sobald Sie das Aufnahmeobjekt im Rekonstruktionsvolumen platziert haben, können Sie die Aufnahme durch Klick auf Reconstruct starten. Während des Scans wird die Rekonstruktionsansicht angezeigt (Abb. 14). Anstelle der 3D-Darstellung aus der Aufnahmeansicht wird nun die aktuelle Rekonstruktion angezeigt. Mittels des Buttons Show Colors können Sie zwischen der Farb- und der Oberflächendarstellung wechseln.

UIRec
Abb. 14 User interface während der Rekonstruktion

Der Statusindikator oben links zeigt den Status des Scanvorgangs an. Wenn der Scan fehlerfrei abläuft, ist der Indikator grün. Ist der Indikator rot, bedeutet dies, dass der Scanner das Aufnahmeobjekt verloren hat, weil z.B. der Sensor zu schnell bewegt wurde oder das Aufnahmeobjekt den Sensorbereich verlassen hat. Während der Rekonstruktion wird oben links die Framerate des Sensors und der Rekonstruktion angezeigt. Die Rekonstruktionsframerate sollte mehr als 10 fps betragen. Bei niedrigen Frameraten müssen Sie die Kamera sehr langsam bewegen. Die erzielbare Framerate hängt von der Volumenauflösung ab. Um eine höhere Framerate zu erzielen, verringern Sie die Volumenauflösung. Sobald Sie mit dem Scanergebnis zufrieden sind, klicken Sie auf Finish Reconstruction.

Sequencen und Offline Rekonstruktion

Mit dem Button Save Sequence beginnt die Rekonstruktion ab dem aktuell ausgewählten Bild in der Sequenz. Daher sollte das Volumen ab diesem Frame definiert werden. Die Rekonstruktion endet, wenn entweder das Ende der Sequenz erreicht ist oder der Button Finish Reconstruction beenden gedrückt wird. Bei Sequenzen mit mehreren Sensoren werden die Daten standardmäßig im Speicher aufgezeichnet, da die Datenrate von mehreren Sensoren für normale Festplatten zu hoch ist. Die maximale Speichermenge, die für die Aufzeichnung von Sequenzen verwendet werden kann, wird automatisch bestimmt. Alternativ kann sie auch manuell über den Einstellungsdialog im Menü File eingestellt werden. Nachdem die Aufzeichnung beendet ist, werden die Daten komprimiert und auf die Festplatte geschrieben.

Nachbearbeitung

Nachdem Sie die Rekonstruktion abgeschlossen haben, gelangen Sie in die Modellansicht. Hier können Sie das Modell betrachten, nachbearbeiten und speichern.

PostProcessing
Abb. 15 Interface zur Nachbearbeitung

Die folgenden Nachbearbeitungsfunktionen stehen zur Verfügung.

Smooth -Glättet das Modell mit der angegebenen Anzahl an Iterationen.

Decimate -Reduziert die Anzahl der Dreiecke so, dass die maximale Kantenlänge des Dreiecks durch die spezifizierte Länge gegeben ist. Standardmäßig basiert der Umfang der Unterteilung auf der Variation der Oberflächenfarbe, um die Farben beizubehalten. Dies kann durch Deaktivieren des Kontrollkästchens Farben beibehalten deaktiviert werden.

Color -Ermöglicht die Einstellung von Helligkeit, Kontrast und Gamma der Mesh-Farben

Clean - Entfernt unabhängige Modellkomponenten in Abhängigkeit von ihrer Größe. Es werden alle Komponenten, die kleiner als die eingestellte Mindestgröße und größer als die eingestellte Maximalgröße sind, entfernt. Die zu entfernenden Komponenten werden rot eingefärbt.

Crop – Bewegt, rotiert und skaliert den angezeigten Würfel. Bereiche außerhalb des Würfels (rot eingefärbt) werden beim Klick auf Zuschneiden entfernt. Um den Würfel zu transformieren klicken Sie auf das angezeigte Interaktionsobjekt.

Align - Rotiert das Modell, so dass es z.B. an der Grundebene ausgerichtet ist.

Socket - Fügt einen Sockel zum Model hinzu. Sie können den Durchmesser, die Höhe und die Farbe des Sockels bestimmen. Der Sockel kann durch Ziehen am angezeigten Koordinatenkreuz verschoben werden. Um den Sockel wieder zu entfernen klicken Sie auf Entfernen.

Remove edges - Removes border triangles from the mesh.

Fill Holes - Schließt alle Löcher in dem Modell. Dies ist typischerweise eine Voraussetzung für einen späteren 3D-Druck.

Re-texture -Wendet die aus Keyfames gewonnene Texture auf das Mesh an. Diese Funktion erlaubt es die Textur photorealistischer zu machen. (vlg. Abb. 16)

AfterTex
Abb. 16 Beispiel eines texturierten Meshes

 

Keyframe Vorschau

Außerdem können nach der Rekonstruktion diejenigen Frames vom Nutzer betrachtet werden, welche zur Texturierung des Meshes verwendet wurden.

KeyFrames1
Abb. 17 Dialog zur Keyframeauswahl

Diese Keyframes werden als überlagerte Bilder auf dem Mesh visualisiert. Es können eine Kamera und eine bestimmter Frame der Aufnahme ausgewählt werden. Die Transparenz-Scroll-Leiste ermöglicht es, die Transparenz des überlagerten Bildes zu ändern.

KeyFrames2
Abb. 18 Keyframe Vorschau

Export

Mit Save kann das Modell in die Formate PLY, OBJ, VRML und STL exportiert werden. In den Export-Einstellungen können Sie die gewünschten Maße des exportierten Modells angeben. Außerdem ist es möglich das Modell auszuhöhlen und eine Wandstärke zu spezifizieren. Dies senkt bei bestimmten 3D-Druck-Verfahren die Materialkosten. alle Exportfunktionen sind in der "Evaluation"- Version deaktiviert.

FAQ

F: Ich möchte einen Multi-Sensor-Setup aufbauen. Gibt es irgendwelche besonderen Vorüberlegungen, die zu berücksichtigen sind?

A: Bitte beachten Sie die folgenden Punkte, bevor Sie einen Multi-Sensor-Setup konstruieren.

- Jeder Sensor benötigt einen eigenen USB-Controller. Reguläre Mainboards haben höchstens zwei Controller. Wenn Sie mehr als zwei Sensoren verwenden möchten, benötigen Sie eine PCI-Express-USB-Erweiterungskarte. Bitte beachten Sie, dass die meisten Erweiterungskarten nur einen Controller für alle ihre Anschlüsse haben. Eine Karte mit vier Ports und vier dedizierten Controllern ist zum Beispiel die HighPoint RocketU 1144C.

Die Überlappung in dem Bereich, den die Sensoren erfassen, sollte so gering wie möglich sein, da einige Sensoren, die den gleichen Teil der Szene beobachten, sich gegenseitig stören, was zu minderwertigen Messungen und fehlenden Daten im Tiefenbild führt.

- Beim Scannen mit einer Drehtischanordnung sollte der Scan nicht mit dem Gesicht, sondern mit dem Rücken der Person begonnen werden, da Ausrichtungsfehler, die beim Beenden der Messrunde auftreten können, auf dem Rücken weniger offensichtlich sind als auf dem Gesicht.

F: Der/die Sensor(en) wird/werden nicht erkannt

A: Bitte stellen Sie sicher, dass der neueste Treiber für den Sensor installiert ist. Wenn Sie mehrere Sensoren an denselben PC anschließen, stellen Sie sicher, dass eine ausreichende USB-Bandbreite pro Sensor vorhanden ist.

F: Wird Sensor XYZ unterstützt?

A: Es werden nur die auf unserer Webseite explizit aufgeführten Sensoren unterstützt. Wenn die Unterstützung um einen neuen Sensor erweitert wurde, wird dies auf der Webseite bekannt gegeben.

F: Die Anwendung startet nicht oder stürzt ab

A: Abstürze stehen oft im Zusammenhang mit fehlenden oder veralteten Grafiktreibern. Bitte installieren Sie immer die neuesten offiziellen Grafiktreiber von der Nvidia- oder AMD-Webseite.

F: Werden integrierte GPUs wie Intel HD Graphics unterstützt?

A: Ja. Ab der 4. Generation der Intel Core CPUs kann die Intel HD-Grafikeinheit zur Rekonstruktion verwendet werden.

F: Der Scan schlägt fehl (rote Statusanzeige)

A: Dies kann mehrere Gründe haben. Eine Möglichkeit ist, dass die Bildrate der Rekonstruktion im Live-Modus zu niedrig ist. Sie sollte über 10-15 fps liegen, damit die Rekonstruktion ordnungsgemäß funktioniert. Eine niedrige Rekonstruktionsbildrate wird dadurch verursacht, dass auf der GPU zu wenig Rechenleistung zur Verfügung steht. In diesem Fall sollte die Volumenauflösung reduziert werden. Auch eine sehr langsame Bewegung der Kamera kann helfen. Wenn all dies nicht hilft, empfiehlt es sich, eine Sequenz aufzunehmen und offline zu rekonstruieren..

Ein anderer Grund kann sein, dass die aufzunehmende Szene größtenteils aus ebenen Flächen besteht, wie z.B. die Oberfläche eines Tisches oder Wände. In diesem Fall kann es helfen noch zusätzliche nicht-flache Objekte in der Szene zu verteilen und mit zu scannen. Die nicht erwünschten Objekte können Sie später in der Nachbearbeitung wieder aus dem Scanergebnis entfernen. Es ist auch wichtig, die Kamera immer auf das Rekonstruktionsvolumen auszurichten (in der Tiefenansicht sollten viele grüne Zonen vorhanden sein). Beim Verlassen des Rekonstruktionsvolumens muss die Rekonstruktion neu initialisiert werden, was in einigen Fällen fehlschlagen kann..

F: Kann ich eine angepasste Version der Software erhalten (z.B. Branding, Hardware-Integration, ...)?

A: Ja. Wir können benutzerdefinierte Funktionen wie Branding, Hardware-Integration, Hochladen des Mesh zu einem benutzerdefinierten Online-Dienst und andere Funktionen der Software hinzufügen. Schicken Sie uns einfach eine E-Mail mit Ihrer Änderungsanfrage, und wir werden uns bei Ihnen melden.

Für Fragen und Feedback können Sie auch das RecFusion forum benutzen