All-Optical Selective Target Highlighting for Augmented Reality Microscopy

Maha Sahloul1,2, Kaan Akşit3 ve M. Fatih Toy1,2

1 İstanbul Medipol Üniversitesi
2 Biyofotonik ve Hesaplamalı Görüntüleme Laboratuvarı (Phi-X), Sağlık Bilimleri ve Teknolojileri Araştırma Enstitüsü (SABİTA)
3 University College London

Kaynaklar

📄 Makale     📑 Ek materyal

Video

Özet

Artırılmış gerçeklik (AR) mikroskopisi belirli hedefleri vurgulayarak mikroskobik gözlemi zenginleştirebilir, ancak hesaplamalı işlem gerçek zamanlı kullanımını sınırlayabilir. Nesneleri şekillerine ya da boyutlarına göre seçici olarak vurgulayan, önceden hesaplanmış SLM faz maskelerine dayalı tamamen optik bir çözüm sunuyoruz. Yaklaşım, sürekli görüntü işleme ya da izleme gerektirmeden, nesneler görüş alanı içinde hareket ederken de vurgulamayı sürdürür.

Yöntemler

Optik düzenek

Zeiss Axio Observer 7 mikroskobuna yerleştirilen örneği aydınlatmak için L1 ile kolime edilen 655 nm’lik bir lazer kullanıyoruz. Demet, SLM’nin faz modülasyon eksenine hizalanmış doğrusal bir polarizörden geçer ve örneği 10×/0,45 NA’lı bir objektif üzerinden aydınlatır. İletilen görüntü bir 4f optik sistemiyle ara görüntü düzlemine aktarılır; ardından bir ışın bölücü ve SLM’yi Fourier düzlemine yerleştiren 300 mm odak uzaklıklı bir mercek gelir. SLM faz desenine bir blaze ızgara fazı ekleyerek ve SLM’ye 1,16°’lik fiziksel bir eğim vererek istenmeyen sıfırıncı mertebe yansımasını bastırıyor ve birinci kırınım mertebesini seçiyoruz. Bu düzen, istenen birinci kırınım mertebesini kameranın ilgi bölgesine (ROI) kaydırırken sıfırıncı mertebeyi algılama bölgesinin dışına taşır.

Optik düzenek

Şekil 1. a) Optik düzeneğimizin şeması. L1: Kolimasyon merceği, P1: Polarizör, MO: Mikroskop objektifi, L2: Tüp merceği, BS: Işın bölücü, L3: Fourier merceği, SLM: Uzamsal ışık modülatörü, ϕ(x, y): Uyarlanabilir faz, ψ(x, y): Blaze ızgara fazı, M(x, y): SLM fazı. b) Deney düzeneğinin fotoğrafı.

İleri model

Optik sistem sayısal olarak bir 4f sistemi şeklinde modellenmiştir; giriş alanı \(U_{in}(x,y)\) ara görüntü düzleminden SLM düzlemine açısal spektrum yöntemiyle (ASM) yayılır:

\[ U_{p1}(x,y;z)=\mathcal{F}^{-1} \left\{ \mathcal{F}\left(U_{in}(x,y,0)\right) H(f_x,f_y;z) \right\} \]

\[ H(f_x,f_y;z)= \exp\left[ ikz\sqrt{1-(\lambda f_x)^2-(\lambda f_y)^2} \right]. \]

Yayılan alan mercek tarafından modüle edilir ve ardından optimize edilmiş faz maskesinin uygulandığı SLM’ye ulaşır:

\[ M(x,y)=\exp\left[i\left(\phi(x,y)+\psi(x,y)\right)\right]. \]

Burada \(\phi(x,y)\) uyarlanabilir faz, \(\psi(x,y)\) ise blaze ızgara fazıdır. Ortaya çıkan alan, çıkış yoğunluğu \(I(x,y)\) elde edilmek üzere kamera düzlemine yayılır. Faz maskesi, ortalama karesel hata (MSE) ve toplam varyasyon (TV) kayıplarının birleşimi en aza indirilerek optimize edilir:

\[ \mathcal{L}=\mathcal{L}_{MSE}+\mathcal{L}_{TV}. \]

İleri model

Optimizasyon yöntemleri

Tek bir sahneden tek tek nesnelere ve sayısal olarak kaydırılmış görüntü veri kümelerine doğru, girdi verisinin çeşitliliğini kademeli olarak artıran üç optimizasyon stratejisini değerlendiriyoruz. Tüm yöntemler faz maskesini optimize etmek için aynı ileri modeli kullanır; bu da girdi çeşitliliğinin hedef vurgulama, yeni sahnelere karşı dayanıklılık ve hesaplama maliyeti üzerindeki etkilerini incelememizi sağlar.

Yöntem 1: Tek sahne optimizasyonu. Faz maskesi, birden çok nesne içeren tek bir sahne kullanılarak optimize edilir; hedef dağılımda yalnızca istenen nesne vurgulanır.

Yöntem 2: Nesnelerin tek tek sunulması. Optimizasyon sırasında nesneleri tek tek sunarak faz maskesinin hedefe özgü desenleri kodlamasını sağlıyoruz. Bu yaklaşım optimize edilen sahneye bağımlılığı azaltır ve hedefin çevresindeki nesnelerden daha bağımsız biçimde vurgulanmasına olanak tanır.

Yöntem 3: Sayısal olarak kaydırılmış görüntü veri kümesi. Giriş sahnesi, ek görüntü kaydı gerektirmeden çeşitli uzamsal düzenler üretmek için sayısal olarak kaydırılır. İstenen güçlendirmenin farklı nesne konumlarında korunması için hedef de buna göre kaydırılır.

Optimizasyon yöntemleri

Sonuçlar

Senaryo 1: Nesne vurgulama

Çevrim dışı aşamada (I), faz maskesi hedef olarak 30 µm çaplı bir daire kullanılarak optimize edilir ve önceden hesaplanmış SLM faz deseni (SLM-P) üretilir. Gerçek zamanlı güçlendirme aşamasında (II), önceden hesaplanmış SLM-P hedef nesneleri seçici olarak vurgulamak için yeni sahnelere uygulanır. 45 yeni sahnede deneysel ve benzetim çıktıları ortalama 0,75 ± 0,03 CC ve 27,60 ± 0,61 dB PSNR değerlerine ulaşmıştır.

Senaryo 1 sonuçları

Senaryo 2: Boyuta göre seçici nesne vurgulama

Faz maskesini 40 µm çaplı dairesel nesneleri vurgulayacak biçimde optimize ediyoruz. Yöntem 1 optimizasyon sahnesinde ve ona çok benzeyen sahnelerde etkili çalışıyor, ancak giriş sahnesi optimize edilen sahneden farklılaştıkça performansı düşüyor. Yöntem 2 ve Yöntem 3 yeni sahnelerde daha tutarlı hedef vurgulama sağlıyor. Yöntem 2 0,68 CC ve 24,07 dB PSNR ile en yüksek değerlere ulaşıyor; onu Yöntem 3 0,65 CC ve 23,76 dB PSNR ile izliyor; Yöntem 1 ise 0,60 CC ve 23,77 dB PSNR elde ediyor.

Senaryo 2 sonuçları

Senaryo 3: Morfolojiye göre seçici nesne vurgulama

Bu senaryo, yaklaşık 40 µm boyutundaki daire, kare ve üçgen nesneler arasından kare nesneyi seçici olarak vurgulayarak morfolojiye dayalı hedef güçlendirmeyi değerlendiriyor. Nicel olarak, Yöntem 1 0,59 CC ve 25,01 dB PSNR elde ederken, Yöntem 2 0,71 CC ve 25,84 dB PSNR ile en yüksek değerlere ulaşıyor. Yöntem 3 0,70 CC ve 25,57 dB PSNR elde ediyor. Bu sonuçlara göre Yöntem 2 ve Yöntem 3 farklı morfolojik sahnelerde daha tutarlı hedef vurgulama sağlıyor.

Senaryo 3 sonuçları

YöntemBoyuta göreMorfolojiye göre
CC ↑PSNR ↑CC ↑PSNR ↑
Yöntem 10,6023,770,5925,01
Yöntem 20,6824,070,7125,84
Yöntem 30,6523,760,7025,57

Teşekkür

Bu çalışma TÜBİTAK tarafından 123N774 numaralı proje kapsamında desteklenmiştir. M. F. Toy, Türkiye Bilimler Akademisi Üstün Başarılı Genç Bilim İnsanı Ödülü Programı’nın (TÜBA-GEBİP) desteğine teşekkür eder. Bu çalışmanın açık erişimli yayımı, UCL ile Optica arasındaki kurumsal anlaşma kapsamında desteklenmiştir.