-
Die vorliegende Erfindung bezieht sich auf eine Anordnung zum Abtasten einer Probenfläche einer Probe sowie auf ein entsprechendes Verfahren zum Abtasten, insbesondere auf eine Anordnung (nachfolgend alternativ auch als Einrichtung bezeichnet) und ein entsprechendes Verfahren zur mikroskopischen Probenabtastung mittels vorzugsweise berührungsfreier oder berührungsarmer Interaktion und flächiger Anzeigen. Der Begriff des Abtastens der Probenoberfläche ist erfindungsgemäß sehr allgemein dahingehend zu verstehen, dass von der Probenoberfläche Daten gewonnen werden (Datenaufnahme), die diese Probenoberfläche, ihre Struktur und/oder ihre Eigenschaften kennzeichnen. Die Daten können mittels berührungsfreier Verfahren (z. B. optischen Aufnahme der Probenfläche mit einer Kamera) oder auch berührender Verfahren (z. B. mechanisches Abtasten der Probenoberfläche mit der feinen Nadel eines Rasterkraftmikroskops) gewonnen werden. Insbesondere ist der Begriff des Abtastens somit nicht einschränkend im Sinne des Erfassens einzelner Messwerte von der Probenoberfläche lediglich an diskreten, voneinander beabstandeten Stützstellen zu verstehen.
-
Bei der Inspektion von Proben ist in der Regel eine intensive Interaktion des Bedieners mit der Inspektionseinheit erforderlich (nachfolgend wird zur Beschreibung des Standes der Technik das Beispiel eines Mikroskops als Inspektionseinheit gewählt). Die vom Bediener passend zur Probe einzustellenden Parameter der Beobachtung (nachfolgend allgemein als Abtasteinstellungen bezeichnet) umfassen im Wesentlichen die Fokussierung (in der Regel durch Veränderung der vertikalen Position des Tubus mit dem Objektiv, dem Okular und ggf. einer Kamera relativ zur Probe), die Blendeneinstellung, die Wahl des Objektivs, die Belichtungssteuerung (für den Fall, dass eine Kamera zur Bildaufnahme verwendet wird) und die Einstellung einer geeigneten Beleuchtung (Art der Beleuchtung, Richtung und Intensität). Falls das Mikroskop einen x-y-Tisch zur lateralen Positionierung der Probe aufweist, werden auch diese beiden Freiheitsgrade zur passenden Einstellung des Mikroskops verwendet.
-
In der Regel erfolgt die Einstellung dieser Beobachtungsparameter manuell durch den Bediener. Bei manchen Mikroskopen erfolgt die Bedienung einiger Parameter mittels einer besonderen Kontrolleinrichtung, bei denen die Parameter z. B. über Drehschalter oder eine mit Maus oder Tastatur zu bedienende Interaktionsfläche auf einem Bildschirm gewählt werden. Durch die manuelle Einstellung der Parameter unterliegt der Bediener zusätzlich zur eigentlichen Untersuchung der Probe einer starken Belastung, so dass mikroskopische Untersuchungen meist nicht über längere Arbeitszeiten hinweg durchgeführt werden können. Mindestens eine Hand des Bedieners ist mit der Einstellung eines oder mehrerer Parameter beschäftigt, so dass sie nicht für andere Aufgaben (z. B. Auslösung einer Kameraaufnahme, Anfertigung von Notizen) zur Verfügung steht. Für das korrekte Greifen des mechanischen Bedienelements muss der Bediener außerdem meist seinen Blick vom Untersuchungsobjekt nehmen, so dass der visuelle Inspektionsvorgang des Bedieners unterbrochen wird.
-
Zur Unterstützung des Bedieners sind automatisierte Einrichtungen verfügbar, die dem Bediener die korrekte Einstellung des Mikroskops erleichtern. Es existieren z. B. Autofokus-Einrichtungen, mithilfe derer das Mikroskop automatisch in die für einen Bereich optimale Fokuseinstellung gefahren wird. Dies erfolgt mittels einer gezielten Auswertung von Bildern, die durch eine angeschlossene Kamera erfasst worden sind, innerhalb dieses Bereichs. Relevante Bereiche sind z. B. die Bildmitte, aber auch andere. Auch existieren Einrichtungen, welche die Blende, die Belichtungseinstellung einer angeschlossenen Kamera oder die Intensität und/oder Konfiguration der verwendeten Beleuchtung automatisch optimal für einen bestimmten Bereich einstellen. Bei diesen Einrichtungen ist allerdings meist keine Interaktion des Bedieners mit dem Mikroskop möglich (ggf. bis auf den zuvor festzulegenden Bereich für die Optimierung). Insbesondere kann der Bediener (bis auf die im nächsten Abschnitt beschriebene Technologie) nicht flexibel und schnell zwischen unterschiedlichen Bereichen wählen, für welche die Optimierung der Erfassungsparameter erfolgen soll.
-
Um dem Bediener die Wahl von Bereichen, in denen die Optimierung der Bilderfassung erfolgen soll, und die Steuerung des Mikroskops zu erleichtern, wurde von der Fa. Leica eine Technologie entwickelt, bei der die Interaktion des Bedieners mit dem Mikroskop mittels einer Blickerfassungseinrichtung realisiert wird. Das Patent
US 6 005 710 beschreibt ein System, bei dem das Autofokussystem eines Mikroskops mittels des Blicks des Bedieners eingestellt wird. Bei der von der Fa. Leica beanspruchten Technologie erfolgt die Blickerfassung jedoch an einem Okular.
-
Ein Nachteil der üblichen Nutzung eines optischen Strahlengangs mittels eines Okulars, d. h. ohne eine elektronische Bildaufnahmeeinrichtung, besteht darin, dass nur solche Bilder vom Bediener gesehen werden können, die optisch erzeugt werden können. Insbesondere die geringe Schärfentiefe der mikroskopischen Abbildung bewirkt, dass oft nicht das gesamte Sichtfeld, das im Okular sichtbar ist, mit optimaler oder zumindest hinreichend guter Bildgüte abgebildet wird. In ähnlicher Weise ist oft keine Beleuchtung einstellbar, die den gesamten Bereich der Probe im Sichtfeld optimal oder zumindest hinreichend gut ausleuchtet.
-
Aufgabe der vorliegenden Erfindung ist es daher, die oben beschriebenen Nachteile des Standes der Technik zu vermeiden, insbesondere eine Anordnung zum Abtasten einer Probenfläche (sowie ein entsprechendes Verfahren) zur Verfügung zu stellen, mit der auf einfache und zuverlässige Art und Weise eine interaktive Bedienung (die bevorzugt berührungsfrei erfolgen soll) einer Inspektionseinheit, insbesondere eines Mikroskops, zum Abtasten einer Probe ermöglicht ist. Die Bedienung soll dabei interaktiv die Veränderung von Abtasteinstellungen (z. B. Beobachtungsparameter am Mikroskop) erlauben.
-
Diese Aufgabe wird durch eine Anordnung gemäß Anspruch 1 sowie das entsprechende Verfahren gemäß Anspruch 12 gelöst. Vorteilhafte Ausführungsvarianten lassen sich dabei jeweils den abhängigen Ansprüchen entnehmen.
-
Nachfolgend wird die vorliegende Erfindung zunächst allgemein, dann anhand eines Ausführungsbeispiels beschrieben. Die einzelnen im Ausführungsbeispiel in Verbindung miteinander auftretenden Merkmale der erfindungsgemäßen Beispielanordnung müssen dabei im Rahmen der Erfindung nicht in der gezeigten Kombination verwirklicht werden. Insbesondere können einzelne der gezeigten Merkmale auch weggelassen werden oder mit anderen gezeigten Merkmalen auf andere Art und Weise kombiniert werden. insbesondere können bereits einzelne der gezeigten Merkmale für sich eine Bereicherung des Standes der Technik darstellen. Die in den abhängigen Ansprüchen beschriebenen Merkmale können dabei im Rahmen der Anspruchsstruktur in beliebigen Kombinationen miteinander verwirklicht werden.
-
Grundidee der vorliegenden Erfindung ist es, die Inspektionseinheit (insbesondere: das Mikroskop) so mit einem die durch die Inspektionseinheit beim Abtasten der Probenfläche erfassten Daten (nachfolgend: Flächendaten) in ein Bild wandelnden Bildumsetzer (z. B. Kamera) zu kombinieren, dass die die Probenfläche kennzeichnenden Flächendaten als dieses Bild auf einer Anzeigeeinheit dargestellt werden können. Das Verhalten oder die Reaktion eines den auf der Anzeigeeinheit dargestellten Bilddatensatz des Bildumsetzers betrachtenden Benutzers der Anordnung wird/werden erfasst und interaktiv zur Änderung von Abtasteinstellungen (z. B. Beobachtungsparametern am Mikroskop) der Inspektionseinheit genutzt. Nach dieser Veränderung von Abtasteinstellungen kann die Probenfläche mit der Inspektionseinheit erneut abgetastet werden, so dass die entsprechend veränderten Flächendaten bzw. die daraus resultierenden Bilddaten erneut in einer entsprechenden Interaktion zwischen Benutzer und Inspektionseinheit verwendet werden können. Insbesondere erlaubt die vorliegende Erfindung den Einsatz einer Blickerfassung auf der/den Anzeigeeinheit(en) anstelle der Blickerfassung in einem Okular oder anstelle des Verwendens eines Okulars eines Mikroskops, bei der Blickrichtung und/oder Blickpunkt des die Anzeigeeinheit betrachtenden Benutzers erfasst und ausgewertet werden können.
-
Eine erfindungsgemäße Anordnung ist im Anspruch 1 beschrieben.
-
Dabei kann die Probenfläche der gesamten abzutastenden Probe entsprechen oder auch Teilbereichen (Ausschnitten) derselben. Vorzugsweise ist die Anzeigeeinheit eine flächige (zweidimensionale) Anzeigeeinheit zum flächigen Darstellen des Bilddatensatzes (zweidimensionales Bild der abgetasteten Probenfläche). Grundsätzlich ist es jedoch auch denkbar, eine eindimensionale Anzeigeeinheit (Zeilenanzeige) zum Darstellen eines eindimensionalen Bilddatensatzes (z. B. in Form eines Zeilenhistogramms o. ä., das aus den die Probenfläche kennzeichnenden Flächendaten gewonnen wird) zu verwenden.
-
Die Veränderung der Abtasteinstellung(en) umfasst dabei jegliche, also auch die erstmalige Einstellung, Anpassung, Regelung etc. einer solchen bzw. solcher Abtasteinstellung(en). Unter der Kennzeichnung der Abtastung der Probenfläche durch eine Abtasteinstellung wird dabei ein beliebiger variabler Parameter verstanden, der die Art, Form, Durchführung, ... der Abtastung (z. B. der Bildaufnahme am Mikroskop) beeinflusst und/oder bestimmt.
-
Unter Heranziehen des Benutzers wird subsumiert, dass der Benutzer selbst auf die Interaktionseinheit einwirkt und mit letzterer oder über letztere die mindestens eine Abtasteinstellung verändert. Im Regelfall wird unter dem Heranziehen des Benutzers jedoch eine automatisierte Arbeitsweise der Interaktionseinheit (in Verbindung mit der Inspektionseinheit) verstanden, bei der der Benutzer, sein Verhalten und/oder seine Reaktion (bzw. das Verhalten oder die Reaktion eines Körperteils des Benutzers wie beispielsweise das Durchführen einer bestimmten Bewegung oder Geste oder das Verändern des Blickes beim Betrachten der Anzeigeeinheit) und/oder Änderungen seines Verhaltens bzw. seiner Reaktion sensoriell (z. B. mit Kameras, Mikrofonen, ...) erfasst wird/werden. Die sensoriell erfassten Informationen werden dann ausgewertet (beispielsweise durch die Interaktionseinheit, die dazu mit einem entsprechenden Rechnersystem, das über geeignete Auswerteprogramme verfügt, versehen werden kann) und die Ergebnisse der Auswertung werden dazu verwendet, die Abtasteinstellung(en) der Inspektionseinheit in Abhängigkeit des Auswerteergebnisses zu verändern.
-
Die Interaktionseinheit ist in der Regel als getrennt von der Inspektionseinheit ausgebildete, separate Einheit vorgesehen; die Interaktionseinheit kann jedoch auch als Teil der Inspektionseinheit ausgebildet werden.
-
Ein Verhalten oder eine Reaktion des Benutzers ist dabei in der Regel ein willentliches Verhalten bzw. eine willentliche Reaktion wie beispielsweise eine bestimmte Blickrichtung des Benutzers oder eine Änderung einer solchen Blickrichtung, ein Verweilen des Benutzerblicks auf einem Punkt auf der Anzeigeeinheit über eine vorbestimmte Zeit, das Erteilen eines Sprachbefehls durch den Benutzer oder auch das Durchführen einer definierten, mit einem Sensor (Kamera samt Bildnachverarbeitung) erfassbaren und auswertbaren Geste des Benutzers. Grundsätzlich ist es aber auch denkbar, nicht oder nur teilweise willensbeeinflusste Reaktionen oder Verhaltensweisen (z. B. den Moment wenn der Benutzer blinzelt, die Blinzelfrequenz des Benutzers oder ähnliches) zu erfassen. Die Interaktionseinheit umfasst bevorzugt ein Rechnersystem (z. B. PC) sowie entsprechende Sensoren mit geeignet ausgebildeten Programmen zum sensoriellen Erfassen und rechnergestützten Auswerten der erfassten Reaktion oder des erfassten Verhaltens des Benutzers. Mit diesem Rechnersystem der Interaktionseinheit kann dann auch das Steuern der Veränderung(en) der die Abtastung der Probe kennzeichnenden Abtasteinstellung(en) auf Basis der Auswertungsergebnisse erfolgen.
-
Erste vorteilhafte Merkmale, die im Rahmen der erfindungsgemäßen Anordnung realisiert werden können, beschreibt Anspruch 2. Die Berührungslosigkeit bezieht sich dabei in der Regel darauf, dass die Hände des Benutzers die Inspektionseinheit nicht berühren, also dem Benutzer anderweitig zur freien Verfügung stehen, während er über die Interaktionseinheit die Veränderung der Abtasteinstellung(en) steuert.
-
Weitere vorteilhafte Merkmale der erfindungsgemäßen Anordnung sind in Anspruch 3 beschrieben.
-
Gemäß Anspruch 3 kann auch eine Mehrzahl von Blickrichtungen oder Blickpunkten erfasst werden. Ebenso ist es möglich, den zeitlichen Verlauf der Änderung des Ortes des Blickpunktes oder der Änderung der Blickrichtung zu erfassen. Als abgeleitete Größen der ersten Variante in Anspruch 3 können daher zum Beispiel die Verweildauer des Blicks an einem bestimmten Blickpunkt, eine bestimmte Bewegung bzw. Änderung der Blickrichtung, eine definierte Abfolge von Blickrichtungswechseln, die pro Zeiteinheit mit dem Blick überstrichene Fläche usw. ausgewertet werden. Der grundsätzliche Aufbau solcher Blickbestimmungseinrichtungen, z. B. auf Basis der Erfassung der Position der Pupille und auch von einem oder mehreren Lichtreflexionspunkten auf dem Auge des Benutzers mittels einer Kamera, die ein Bild vom Gesicht bzw. vom Auge des Benutzers aufnimmt und auswertet, ist dem Fachmann grundsätzlich bekannt. Siehe hierzu beispielsweise: Rötting, Matthias: Parametersystematik der Augen- und Blickbewegungen für arbeitswissenschaftliche Untersuchungen, Shaker Verlag 2001 oder Holmqvist, Kenneth et. al.: Eye tracking: A comprehensive guide to methods and measures, Oxford Verlag.
-
Die in Anspruch 3 beschriebene Gestenerfassungseinrichtung kann auch den zeitlichen Verlauf oder die Veränderung einer Geste des Benutzers (beispielsweise einer mit der Hand durchgeführten Geste) erfassen. Abgeleitete Größen können beispielsweise Veränderungen einer Geste über einen definierten Zeitraum hinweg sein. Auch eine solche Gestenerfassungseinrichtung ist hinsichtlich ihres Aufbaus (der z. B. eine CCD-Kamera mit verbundenem Rechnersystem und Bildnachverarbeitungsprogrammen verwenden kann) dem Fachmann grundsätzlich bekannt. Siehe hier beispielsweise Bader, Thomas: Multimodale Interaktion in Multi-Display-Umgebungen, KIT Scientific Publishing, 2011.
-
Die im Anspruch 3 beschriebene Sprachsteuereinrichtung kann als abgeleitete Größe(n) auch eine Folge von Sprachbefehlen, einen zeitlichen Abstand einzelner aufeinanderfolgender Sprachbefehle, die Veränderung der Tonhöhe einer Lautäußerung des Benutzers oder dergleichen erfassen. Auch der Aufbau solcher Sprachsteuereinrichtungen (z. B. umfassend ein Mikrofon zum Aufnehmen der Sprach- oder Lautäußerung des Benutzers samt einem nachgeschalteten Rechnersystem mit Spracherkennungssoftware oder dergleichen) ist dem Fachmann grundsätzlich bekannt.
-
Selbstverständlich können auch mehrere solche Einheiten, also z. B. eine Blickbestimmungseinrichtung, eine Gestenerfassungseinrichtung und eine Sprachsteuereinrichtung (oder mehrere Exemplare eines Typs dieser Einrichtungen) in der Interaktionseinheit vorhanden sein, um beispielsweise eine gleichzeitige Blicksteuerung und sprachgestützte Interaktion zu ermöglichen. Auch das Verhalten mehrerer Benutzer kann zeitlich parallel erfasst und ausgewertet werden.
-
Weitere vorteilhafterweise realisierte Merkmale beschreibt Anspruch 4 (diese Merkmale können in Kombination mit den vorangehend beschriebenen vorteilhaften Merkmalen realisiert werden oder auch separat – dies gilt auch für alle nachfolgend noch beschriebenen vorteilhaften Merkmale entsprechend).
-
Vorzugsweise erfolgt erfindungsgemäß ein mikroskopisches Abtasten der Probenfläche mit einer Mikroskop-Optik. Jedoch sind auch andere Abtastverfahren möglich. Es können auch mehrere unterschiedliche Inspektionseinheiten unterschiedlicher Modalität (also z. B. zur mechanischen, optischen, ... Abtastung geeignet) mit jeweils zugehörigem Bildumsetzer parallel vorhanden sein. Mit diesen können dann gleichzeitig mehrere Sätze von Flächendaten erzeugt werden (vergleiche auch die nachfolgenden Ansprüche). Erfolgt ein mikroskopisches optisches Abtasten, so können die Flächendaten einem optischen Abbild entsprechen, das beim optischen Abbilden der Probenfläche mit dem Objektiv des Mikroskops entsteht (z. B. dem Zwischenbild das an demjenigen Ort entsteht, der vom Okular abgebildet werden würde). Das Okular kann weggelassen werden, anstelle des Okulars kann der Bildumsetzer (Kamera) positioniert werden, der aus diesem optischen Abbild den Bilddatensatz erzeugt. Ebenso ist es jedoch möglich, als Flächendaten das endgültige, vom Okular erzeugte Bild des Mikroskops zu verwenden, das dann mithilfe des Bildumsetzers (Kamera) in den Bilddatensatz überführt wird. Auch andere optische Strahlengänge sind möglich, mit denen ein mikroskopisches Bild der Probenfläche erzeugt werden kann. Somit können die Flächendaten insbesondere optische Abbilder darstellen, die mit einer Kamera in (bevorzugt digitale) Bilddaten umgesetzt werden.
-
Weitere vorteilhafte Merkmale lassen sich Anspruch 5 entnehmen. Das optische Abtasten kann dabei nicht nur im Wellenlängenbereich des sichtbaren Lichtes erfolgen, grundsätzlich können auch im Infrarotbereich oder im UV-Bereich erzeugte Flächendaten mithilfe geeigneter Bildumsetzer (IR-Kamera bzw. UV-Kamera) in Bilddatensätze gewandelt werden. Hierzu ist durch die Kamera eine geeignete Transformation anzuwenden, um die Daten der außerhalb des sichtbaren Bereichs liegenden Wellenlängenbereiche in Daten im Sichtbaren zu transformieren. Die transformierten Bilddatensätze können dann auf der Anzeigeeinheit (z. B. als Falschfarbenbilder) angezeigt werden und sind somit vom Benutzer wahrnehmbar.
-
Ganz analog können beim Einsatz z. B. eines Rasterkraftmikroskops als Inspektionseinheit mechanisch erzeugte Flächendaten durch den Bildumsetzer (hier z. B. ein entsprechendes Rechnersystem, das die mechanisch erfassten Flächendaten geeignet wandelt) in einen Bilddatensatz in Form eines Falschfarbenbildes gewandelt werden. Entsprechende Bildumsetzer sind dem Fachmann bekannt.
-
Weitere vorteilhafte Merkmale lassen sich den Ansprüchen 6 bis 8 entnehmen.
-
Gemäß Anspruch 8 können mehrere Inspektionseinheiten kombiniert geschaltet werden, um zeitlich nacheinander Daten von ein und derselben Probenfläche bzw. ein und demselben Probenbereich mit unterschiedlichen Modalitäten und/oder unterschiedlichen Einstellungen zu erfassen (z. B. aufzunehmen). Wird für diese unterschiedlichen Inspektionseinheiten lediglich ein einziger Bildumsetzer eingesetzt, ist dieser Bildumsetzer mit einer geeigneten Ankoppeloptik (z. B. Faseroptik) oder mit einer geeigneten Auswahloptik (z. B. schwenkbare Spiegel umfassend) an die verschiedenen Inspektionseinheiten anzukoppeln. Der einzelne Bildumsetzer kann dann durch Fusion von Flächendaten unterschiedlicher Inspektionseinheiten einen einzigen Bilddatensatz ausbilden (z. B. einen synthetischen, optischen, digitalen Bilddatensatz) der auf der Anzeigeeinheit abgebildet und vom Benutzer betrachtet werden kann.
-
Ebenso kann für jede der unterschiedlichen Inspektionseinheiten genau ein nachgeschalteter Bildumsetzer vorgesehen sein. Die dann von den einzelnen Bildumsetzern jeweils erzeugten Bilddatensätze können (z. B. durch eine die Bildumsetzer ansteuernde zentrale Steuereinheit) ebenfalls zu einem synthetischen Ergebnisbilddatensatz fusioniert werden.
-
Weitere vorteilhafte Merkmale lassen sich Anspruch 9 entnehmen.
-
Gemäß Anspruch 9 kann auf jeder der Anzeigeeinheiten jeweils einer der erzeugten Bilddatensätze angezeigt werden. (Natürlich ist es auch möglich, wenn mehrere Benutzer gleichzeitig diese Anzeigeeinheiten betrachten, denselben Bilddatensatz auf mehreren unterschiedlichen Anzeigeeinheiten anzuzeigen, wobei die Interaktionseinheit dann die mehreren Benutzer heranzieht, um Abtasteinstellungen der unterschiedlichen Inspektionseinheiten zu verändern). Die Interaktionseinheit kann somit (z. B. mittels mehrere Blickbestimmungseinrichtungen, Gestenerfassungseinrichtungen und/oder Sprachsteuereinrichtungen) so ausgebildet sein, dass sie die die Abtastung der Probenfläche(n) kennzeichnende(n) Abtasteinstellung(en) der Inspektionseinheit(en) verändert, indem sie einen einzigen oder auch mehrere die visuellen Darstellungen der mehreren Bilddatensätze auf den mehreren Anzeigeeinheiten betrachtende(n) Benutzer heranzieht. Beispielsweise können gemäß Anspruch 2 beim nacheinander erfolgenden Betrachten unterschiedlicher visueller Darstellungen auf unterschiedlichen Anzeigeeinheiten nacheinander auftretende Benutzerreaktionen eines oder mehrerer Benutzer hinsichtlich ihrer Art, Abfolge, zeitlichen Abstände, ... erfasst und ausgewertet werden, um damit die Abtasteinstellung(en) der Inspektionseinheit(en) zu verändern. Auch die Reaktionen mehrerer Benutzer beim Betrachten unterschiedlicher Anzeigeeinheiten zu ein und demselben Zeitpunkt können ausgewertet und zum Verändern von Abtasteinstellungen verwendet werden.
-
Weitere vorteilhafte Merkmale lassen sich den Ansprüchen 10 und 11 entnehmen.
-
Ein erfindungsgemäßes Verfahren ist in Anspruch 12 beschrieben.
-
Erfindungsgemäß kann die Anordnung beispielsweise neben einem Mikroskop als Inspektionseinheit eine elektronische Kamera als Bildumsetzer aufweisen, wobei letztere anstelle des Okulars des Mikroskops (oder auch zusätzlich zu diesem) so angeordnet ist, dass das Abbild der Mikroskop-Optik, also des Objektivs erfasst wird. Ein Okular ist somit nicht unbedingt erforderlich; das durch die elektronische Kamera aufgenommene Bild wird auf einer oder mehreren flächigen Anzeigen dargestellt.
-
Die Interaktion des Bedieners mit dem Mikroskop kann im Wesentlichen anhand dieser flächigen Anzeige(n) erfolgen. Durch das Wegfallen der optischen Beobachtung des Mikroskop-Bildes durch ein Okular können auch synthetische Bilder generiert werden, die rein optisch nicht erzielbar wären. Insbesondere kann der Benutzer bzw. Bediener Einstellvorgänge, die er ständig, d. h. in der Regel für jede Probe vornehmen muss (wie beispielsweise die Einstellungen des Fokus, der Blende, der Beleuchtung, der Belichtungszeit, der lateralen Positionierung der Probe usw.), vorwiegend berührungslos durchführen, während er Einstellungen, die als Voreinstellungen nur selten getätigt werden müssen (beispielsweise die Festlegung der in einem Objektivrevolver verfügbaren Objektive, die maximalen Verfahrwege, den Bearbeiternamen, die Auswahl des für die Ablage der Bilddateien verwendeten Verzeichnisses usw.), auch auf dem aus dem Stand der Technik bekannten Weg, beispielsweise über einen mittels Maus und Tastatur zu bedienenden Auswahldialog, durchführen kann.
-
Um die berührungslose Interaktion zu realisieren, kann die Interaktionseinheit mehrere separate Bestandteile zur Interaktion mit der/den flächigen Anzeige(n) umfassen. Diese Bestandteile können beispielsweise Blickbestimmungseinrichtungen, die den Blickpunkt des Bedieners (oder gegebenenfalls auch mehrerer Bediener) auf der/den flächigen Anzeige(n) erfassen, gestengesteuerte Interaktionseinheiten (Gestenerfassungseinrichtungen) und/oder Sprachsteuereinrichtungen sein.
-
Als beispielhafte Veränderung einer die Abtastung der Probenfläche kennzeichnenden Abtasteinstellung (also die Datenaufnahme der Probenfläche kennzeichnenden Aufnahmeeinstellung) eines Mikroskops als Inspektionseinheit wird nachfolgend die Veränderung der Fokussierung vermittels einer Blickbestimmungseinrichtung (nachfolgend auch als Blickerfassungssystem bezeichnet) als Interaktionseinheit beschrieben. Selbstverständlich kann auch die Veränderung bzw. Einstellung anderer Abtasteinstellungen (also Aufnahmeeinstellungen) oder die Interaktion mittels anderer berührungsfreier interaktionsprinzipien (z. B. Sprachsteuerung) in gleicher Weise erfolgen.
-
Im Beispiel der Blickerfassung wird zunächst mittels einer elektronischen Kamera als Bildumsetzer auf einer flächigen Anzeige als Anzeigeeinheit ein Bild (Bilddatensatz) dargestellt, bei dem die Fokussierung noch nicht an die Probe bzw. den interessierenden Bereich (Probenfläche) auf der Probe angepasst ist, so dass demnach das Mikroskop in Bezug auf seine Fokussierung noch nicht optimal eingestellt ist.
-
Zur berührungsfreien Veränderung der Fokuseinstellung zur Fokussierung schaut der Benutzer auf der Anzeige auf einen bestimmten Punkt (Blickpunkt), den er fokussiert sehen möchte. Mittels des Blickerfassungssystems wird diese Position auf der flächigen Anzeigeeinheit erfasst. Der Benutzer löst nun eine Fokussierung aus. Dies kann beispielsweise über eine längere Verweildauer des Blicks auf dem gewünschten Punkt oder eine Blickgeste (z. B. eine bestimmte Blinzelbewegung), über die Spracherfassung eines gesprochenen Kommandos oder auch über einen Taster (beispielsweise Hand- oder Fußtaster) erfolgen. Alternativ kann die Fokussierung auch zeitgesteuert, beispielsweise in Sekundenintervallen, ausgelöst werden. Die Fokussierung erfolgt, indem die zur Fokussierung vorgesehene Einrichtung am Mikroskop betätigt wird (beispielsweise Verschiebung der z-Achse) und simultan Bilder durch die elektronische Kamera erfasst werden, die auf eine korrekte Fokussierung an dem ausgewählten Punkt ausgewertet werden (beispielsweise mittels einer Auswertung des lokalen Kontrasts – lokale Kontrastauswerteverfahren sind dem Fachmann bekannt, vgl. z. B. Jähne, Berndt: Digitale Bildverarbeitung, Springer-Verlag, 2005). Die zur Veränderung der Fokussiereinstellung an der Inspektionseinheit vorgesehene Baugruppe wird nun (gesteuert über die Interaktionseinheit) solange betätigt, bis eine hinreichend gute Fokussierung erreicht ist. Dazu können auch serienweise Flächendaten aufgenommen, in Bilddatensätze umgesetzt und angezeigt werden, wobei nach jedem angezeigten Bilddatensatz der Benutzer durch die Interaktionseinheit erneut zur Veränderung der Fokussierung als Abtasteinstellung herangezogen werden kann.
-
Anstelle eines einzigen (Blick-)Punktes kann der Bediener auch einen Blickbereich auswählen. Dies kann beispielsweise ein rechteckiger Bereich sein, der beispielsweise mittels der Blickerfassung zweier gegenüberliegender Eckpunkte definiert wird oder über die Blickerfassung des Bildmittelpunktes. Die Größe des Bereichs kann durch ein gesprochenes Kommando, die Verweildauer des Blicks des Benutzers oder die Länge der Betätigung eines Tasters bestimmt werden. Die Fokussierung kann dadurch erfolgen, dass in dem ausgewählten Bereich ein Fokusmaß (z. B. lokaler Kontrast) bestimmt wird und die Fokussiereinrichtung des Mikroskops solange betätigt wird, bis eine hinreichend korrekte Fokussierung in diesem Bereich erreicht ist.
-
Als weiteres erfindungsgemäßes Beispiel kann die Erstellung eines synthetischen Bildes, das einen Bereich an allen Stellen scharf abbildet, dienen (auch hier ist die Inspektionseinheit ein Mikroskop und der Bildumsetzer eine elektronische Kamera): Eine überall scharfe Abbildung ist in der Mikroskopie auf optischem Weg oft nicht erreichbar, wenn der abzubildende Bereich unterschiedlich hohe Erhebungen (in Richtung der Optik = z-Achse des Mikroskops) enthält und die Schärfentiefe der Abbildungsoptik des Mikroskops kleiner ist als die Distanz in z-Richtung zwischen dem tiefsten und dem höchsten Punkt in diesem Bereich. In diesem Fall kann mittels der vorangehend dargestellten Methodik zur Auswahl eines Bereichs zunächst der betreffende Bereich berührungsfrei oder zumindest berührungsarm (beispielsweise mittels Blickerfassung) ausgewählt werden. Anschließend wird unter systematischer Variation der Fokuseinstellung des Mikroskops (z. B. Einstellung der z-Achse) eine Serie von Bildern derart erfasst, dass jeder Punkt in dem ausgewählten Bereich mindestens einmal mit hinreichender Schärfe erfasst wird. Dies setzt voraus, dass die Abtastung der Fokussierung (also die Differenz zwischen zwei benachbarten Einstellungen für die z-Achse) kleiner ist als die Schärfentiefe der Mikroskop-Optik.
-
In einer alternativen Vorgehensweise können die Bildbereiche, für die unterschiedliche Fokuseinstellungen erforderlich sind, mittels Blickerfassung nacheinander scharfgestellt werden. In jeder Fokuseinstellung kann eine Bilderfassung erfolgen. Die erfasste Bildserie kann mittels Verfahren der Bildfusion zusammengefügt werden, beispielsweise indem aus den Bildern der Serie solche Regionen ausgeschnitten werden, die scharf abgebildet sind, und anschließend zu einem Ergebnisbild zusammengefügt werden. Zusätzlich können dabei die Schnittkanten der einzelnen Regionen geglättet werden (entsprechende Bildverarbeitungsverfahren sind bekannt), so dass keine sichtbaren Übergänge zwischen den einzelnen ausgeschnittenen Regionen entstehen.
-
Die erfindungsgemäße Anordnung und das erfindungsgemäße Verfahren zeichnen sich gegenüber den aus dem Stand der Technik bekannten Anordnungen bzw. Verfahren insbesondere durch die folgenden Vorteile aus:
- • Die Einstellung bzw. Variation der Abtasteinstellungen (also Aufnahmeeinstellungen) bzw. Erfassungsparameter (also Aufnahmeparameter) der Inspektionseinheit(en) ist erfindungsgemäß deutlich erleichtert. Insbesondere ist für die Einstellung der wichtigsten Parameter eines Mikroskops (beispielsweise Fokussierung, Blendeneinstellung, Belichtungseinstellung und Beleuchtungseinstellung) keine oder nur eine geringe manuelle Interaktion erforderlich.
- • Die Interaktion für die wichtigsten Erfassungsparameter kann vielmehr berührungsfrei mit einer oder mehreren flächigen Anzeigeeinheit(en) (dies ist/sind beispielsweise ein/mehrere Monitor(e) oder Schirm(e), auf den/die ein oder mehrere Beamer ein oder mehrere Bild(er) projizieren) erfolgen.
- • Durch die Erfassung von Bildserien, deren Erfassungsparameter dergestalt berührungsfrei bzw. berührungsarm vom Bediener gewählt werden, und die Fusion solcher Bildserien können außerdem Beobachtungsdaten verfügbar werden, die alleine auf optischem Weg nicht erfasst werden können, so dass eine erheblich gesteigerte Bildqualität verwirklicht werden kann.
- • Die Bedienung der Inspektionseinheit ist mittels der beschriebenen Interaktion insbesondere im Vergleich zur Bedienung üblicher Mikroskope mittels mechanischer Stellelemente, der Maus oder der Tastatur deutlich weniger anstrengend für den Benutzer.
- • Durch die berührungsfreie bzw. berührungsarme Interaktion ist nicht für jede einzelne Inspektionseinheit eine eigene spezielle Einrichtung erforderlich, sondern die Interaktion kann mittels flächiger Anzeigeeinheiten erfolgen, die Bilder von unterschiedlichen und gegebenenfalls mehreren Inspektionseinheiten simultan oder nacheinander anzeigen können.
- • Die erfindungsgemäße Erzeugung synthetisch generierter Bilddatensätze bzw. Bilder aus Flächendaten der Inspektionseinheit(en) bietet außerdem den Vorteil, dass Bilder angezeigt und für die Inspektion verwendet werden können, die auf rein optischem Wege nicht erzeugbar sind. Solche Bilder lassen sich beispielsweise durch Fusion von Bildserien gewinnen, wobei systematisch Erfassungsparameter bzw. Abtasteinstellungen der verwendeten Inspektionseinheit(en) variiert werden können.
- • Insbesondere ermöglicht die Anwendung der erfindungsgemäßen Kombination von berührungsfreier bzw. berührungsarmer Interaktion und Mikroskopie, dass die Erfassung der Bilddaten am Mikroskop und die Auswahl von Bereichen für die Fusion von Bilddaten schneller und für den Benutzer einfacher (z. B. geringere kognitive und motorische Beanspruchung) erfolgen kann als es bisher möglich war.
-
Nachfolgend wird die vorliegende Erfindung anhand eines Ausführungsbeispiels dargestellt.
-
1 zeigt dieses Ausführungsbeispiel.
-
Die in 1 gezeigte Anordnung zum Abtasten, also zur Datenaufnahme der Probenfläche P einer optisch zu mikroskopierenden Probe umfasst ein Auflichtmikroskop als Inspektionseinheit 1. Die Probenfläche P bzw. die Probe ist in der üblichen Weise auf dem Objektträger (Probenträger) 9 des Auflichtmikroskops 1 positioniert.
-
Die Optik des Auflichtmikroskops 1 ist mit einem Revolver zum Objektivwechsel 12 ausgebildet, wobei jedoch das Okular entfernt ist und anstelle des Okulars als Bildumsetzer 3 eine Digitalkamera in Form einer CCD-Kamera positioniert ist. Das beim lichtoptischen Abtasten bzw. Aufnehmen (hier also Abbilden) der Probenfläche P erzeugte Zwischenbild 2 (das hier die die Probenfläche P kennzeichnenden Flächendaten der Inspektionseinheit 1 darstellt) wird somit vom gerade gewählten Objektiv 12 des Mikroskops 1 derart in das optische System der Kamera 3 abgebildet, dass das Zwischenbild 2 in einen einer scharfen Abbildung der Probenfläche P entsprechenden digitalen Bilddatensatz 4 der Kamera 3 umgesetzt wird. Dieser Bilddatensatz 4 wird der hier als Flachbildschirm ausgebildeten flächigen Anzeigeeinheit 5 (über die Datenleitung 21) übermittelt, um auf der Anzeigenfläche der Anzeigeeinheit 5 visuell als vergrößertes Abbild der Probenfläche P dargestellt zu werden 6.
-
Das Mikroskop 1 weist darüber hinaus eine den Probenträger 9 in Auflicht beleuchtende Lampe 10 und in seinem Strahlengang eine Blende 11 auf.
-
Die Anordnung umfasst des Weiteren eine hier mit einem Rechnersystem (PC) mit mehreren Sensoreinheiten 71, 72 und 73 sowie mit einer Steuervorrichtung 74 versehene Interaktionseinheit 7 auf. Die Interaktionseinheit 7, die in einem Speicher über geeignete Auswerte- und Steuerprogramme verfügt, ist über ihre Steuervorrichtung 74 vermittels einer bidirektionalen Daten- und Steuerleitung 20 mit der Steuereinrichtung des Mikroskops 1 verbunden. Somit vermag die Interaktionseinheit 7 das Mikroskop 1 bzw. die Abtasteinstellungen 8a bis 8f (siehe nachfolgend) als die wesentlichen Abbildungsparameter (Abtasteinstellungen) desselben anzusteuern und zu verändern. Bestätigungssignale des Mikroskops 1, dass solche Veränderungen erfolgreich vorgenommen wurden, können über die Leitung 20 zurück an die Steuervorrichtung 74 bzw. die Interaktionseinheit 7 übermittelt werden.
-
Die Interaktionseinheit 7 ist über bidirektionale Daten- und Steuerleitungen 71b, 72a und 73a mit ihren Sensoreinheiten 71, 72 und 73 verbunden. Die Sensoreinheit 71 ist eine Blickbestimmungseinrichtung, die von der Interaktionseinheit 7 über die Leitung 71b angesteuert werden kann und die die am Benutzer B erfassten Blickdaten R und BP (siehe nachfolgend) über die Leitung 71b zur Auswertung in der Interaktionseinheit 7 an letztere übermitteln kann. Die Blickbestimmungseinrichtung 71 umfasst dazu eine Infrarot-Lichtquelle und eine Kamera, die die Augen des Benutzers B im infraroten Spektralbereich aufnimmt. Das Bild der Augen wird der Interaktionseinheit 7 zur Auswertung der Blickrichtung R und des Blickpunktes BP zugeleitet. Bei der Auswertung wird die Blickposition (BP) des Benutzers B ermittelt. Dies basiert z. B. auf dem Abbild der Pupille, den auftretenden Reflexion 71a der Infrarot-Lichtquelle, die sich an bekannten Positionen im Raum befinden, sowie einem geometrischen Modell, welches basierend auf einem Kalibriervorgang zwischen Auge und Display berechnet wurde.
-
Die Sensoreinheit 72 der Interaktionseinheit 7 ist eine Gestenerfassungseinrichtung, die mit einer nicht gezeigten Kamera von den Händen des Benutzers B durchgeführte Gesten G optisch aufzeichnet und mithilfe geeigneter Bildverarbeitungsprogramme in der Interaktionseinheit 7 auswerten lässt. Die aufgenommenen Bilddaten werden dazu über die Leitung 72a von der Kamera der Gestenerfassungseinrichtung 72 an das Rechnersystem der Interaktionseinheit 7 zur Auswertung übertragen. Die Kamera 72 wird durch über die Leitung 72a von der Interaktionseinheit 7 an die Gestenerfassungseinrichtung 72 übertragene Steuersignale gesteuert.
-
Die dritte Sensoreinheit 73 der Interaktionseinheit 7 ist eine Sprachsteuereinrichtung, die ein hier nicht gezeigtes Mikrofon umfasst. Sprachliche Äußerungen und/oder Lautäußerungen SL des Benutzers B werden vom Mikrofon aufgenommen und über die Leitung 73a zur Auswertung an die Interaktionseinheit 7 übertragen. Die Ansteuerung der Sprachsteuereinrichtung 73 erfolgt ebenfalls über die Leitung 73a. Der Rechner der Interaktionseinheit 7 weist zur Auswertung der erfassten Äußerungen SL des Benutzers B geeignete Spracherkennungs- oder Lauterkennungsprogramme auf.
-
Somit werden die Flächendaten 2 durch die Kamera 3 in digitale Bilddaten 4 gewandelt, auf der Anzeigeeinheit 5 visuell dargestellt 6 und vom Benutzer B betrachtet. Bei der Betrachtung ruht der Blick des Benutzers B auf dem Blickpunkt BP auf der Oberfläche der flächigen Anzeigeeinheit 5 bzw. der visuellen Darstellung 6 derselben. Die momentane Blickrichtung des Benutzers beim Blick auf den Punkt BP ist durch das Bezugszeichen R bezeichnet.
-
Ist der Benutzer B mit dem momentan gezeigten Abbild 6 des Probenbereiches P nicht zufrieden, so stehen ihm unterschiedliche Möglichkeiten zur Verfügung.
-
Beispielsweise kann (durch eine Steuereinheit des Mikroskops 1) ständig ein Bedienfeld (hier nicht gezeigt) in den Strahlengang des Mikroskops 1 und somit in die Anzeige 6 eingeblendet werden, mit dessen Hilfe eine Abtasteinstellung 8 wie beispielsweise die Fokussiereinstellung 8a des Mikroskops 1 geändert werden kann. Ruht beispielsweise der Blick des Benutzers (was durch die Lage von BP und/oder die Richtung R vermittels der Blickbestimmungseinrichtung 71 erfasst werden kann) für eine vorbestimmte Mindestzeitdauer auf dem eingeblendeten Bedienfeld der Fokussiereinstellung 8a, so vermag die entsprechende Signalverarbeitung und Signalweiterleitung über den Weg 71, 71b, 7, 74 und 20 sowie die zuständige Fokussteuereinheit im Mikroskop 1 die Fokussierung 8a des Mikroskops 1 entsprechend zu verändern.
-
Ebenso ist es denkbar, dass der Benutzer B eine Veränderung der Fokussierung 8a als Abtasteinstellung über einen Sprachbefehl SL wie beispielsweise „Fokusebene näher zum Objektiv des Mikroskops 1 verschieben” vornimmt. Eine entsprechende Veränderung kann dabei schrittweise solange durchgeführt werden, bis der Benutzer B durch einen erneuten Befehl SL wie beispielsweise „stopp” diese Veränderung beendet. In diesem Fall erfasst die Sensoreinheit 73 das Signal, sendet es 73a an die Sprachauswertung der Interaktionseinheit 7 weiter, die den entsprechenden Befehl in Steuersignale umsetzt und diese über die Steuervorrichtung 74 und die Leitung 20 an die zuständige Fokussteuereinheit im Mikroskop 1 weiterleitet.
-
Weitere auf dieselbe Art und Weise veränderbare Abtasteinstellungen 8b bis 8f betreffen hier die Blendeneinstellung 8b im Strahlengang des Mikroskops 1, die Objektivwahl 8c am Revolver 12, die Belichtungseinstellung 8d an der Kamera 3 des Mikroskops 1, die laterale Positionierung 8e der Probenfläche P bzw. des Probenträgers 9 relativ zum gerade gewählten Objektiv des Revolvers 12 und die Beleuchtungseinstellung 8f (z. B. die Helligkeitseinstellung) der Lampe 10 des Mikroskops 1.
-
Beispielsweise kann der Benutzer B mit seinen beiden Händen eine Geste G wie folgt durchführen: Die zunächst weit auseinanderliegenden Hände werden von ihm auf die Hälfte ihres bisherigen Abstands zusammengeführt. Die Kamera 72 der Gestenerfassungseinrichtung 72 nimmt diese Bewegungsgeste G auf und übermittelt 72a die aufgenommenen Videobilddaten an die Interaktionseinheit 7. Die Videobilddaten werden durch eine geeignete Gesten-Erkennungssoftware der Interaktionseinheit 7 (oder der Kamera 72) ausgewertet und über die Steuervorrichtung 74 und die Leitung 20 an das Mikroskop 1 zur Veränderung der Abtasteinstellung 8f, hier also beispielsweise der Lampenhelligkeit übermittelt. Dabei kann die Reduktion des Handabstandes um 50% einem Dimmen der Lampenhelligkeit um 50% entsprechen.
-
Nach dem Verändern einer Abtasteinstellung 8a bis 8f wird schließlich der Probenbereich unter den veränderten Bedingungen erfasst und gewandelt 2, 3, 4, so dass der Benutzer B den Erfolg der veränderten Einstellung am Bild 6 unmittelbar überprüfen kann.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
-
Zitierte Nicht-Patentliteratur
-
- Rötting, Matthias: Parametersystematik der Augen- und Blickbewegungen für arbeitswissenschaftliche Untersuchungen, Shaker Verlag 2001 oder Holmqvist, Kenneth et. al.: Eye tracking: A comprehensive guide to methods and measures, Oxford Verlag [0019]
- Bader, Thomas: Multimodale Interaktion in Multi-Display-Umgebungen, KIT Scientific Publishing, 2011 [0020]
- Jähne, Berndt: Digitale Bildverarbeitung, Springer-Verlag, 2005 [0039]
