基于人工智能的工作流程通過aivia驅(qū)動(dòng)的自主顯微鏡快速檢測(cè)活生物樣本中的稀有事件
對(duì)稀有事件進(jìn)行定位和選擇性成像是許多生物樣本研究過程的關(guān)鍵。然而，由于時(shí)間限制和高度的復(fù)雜性，有些實(shí)驗(yàn)無法做到，從而限制了獲得新發(fā)現(xiàn)的前景。
基于人工智能顯微成像的
稀有事件檢測(cè)工作流程
通過基于人工智能的顯微成像檢測(cè)稀有事件，這種工作流程將智能樣本導(dǎo)航、圖像采集工具和人工智能驅(qū)動(dòng)的圖像分析等不同功能融合起來共同協(xié)作，能夠克服上述局限性。
stellaris上aivia驅(qū)動(dòng)的自主顯微鏡為日常實(shí)驗(yàn)室工作提供了非常高效的運(yùn)行方式，包括執(zhí)行那些沒有自動(dòng)程序或大量人工操作就無法完成的高級(jí)實(shí)驗(yàn)。
為什么使用人工智能顯微成像？
在生命科學(xué)領(lǐng)域使用成像技術(shù)的根本原因是能夠生成數(shù)據(jù)來回答生物學(xué)問題。通常會(huì)將圖像采集與高級(jí)圖像分析結(jié)合起來實(shí)現(xiàn)這個(gè)目標(biāo)。
常規(guī)成像方法需要操作人員不斷進(jìn)行人機(jī)交互，使用顯微鏡系統(tǒng)在樣本上搜索合適的對(duì)象或感興趣區(qū)域（roi），進(jìn)行適當(dāng)?shù)淖罴褕D像采集設(shè)置，然后決定掃描這些roi。這種人工決策的實(shí)驗(yàn)工作流程的性質(zhì)決定了只有容易控制的少數(shù)roi能被精確定位，而且采集roi圖像需要大量時(shí)間。使用由aivia驅(qū)動(dòng)的自主顯微鏡，則能夠在實(shí)驗(yàn)一開始完成設(shè)置后就自動(dòng)進(jìn)行稀有事件檢測(cè)工作流程。
實(shí)驗(yàn)開始后，就會(huì)立即進(jìn)行低分辨率預(yù)掃描、檢測(cè)稀有事件以及采集和存儲(chǔ)高分辨率3d圖像，無需任何人工干預(yù)。這種方法的顯著優(yōu)勢(shì)在于整個(gè)過程高速進(jìn)行，并能在實(shí)驗(yàn)過程中檢測(cè)到大量稀有事件。
如何使用aivia驅(qū)動(dòng)的自主顯微鏡
檢測(cè)稀有事件
自主顯微鏡可自動(dòng)檢測(cè)這類roi或稀有事件（re），無需人工干預(yù)，因此能使復(fù)雜的顯微鏡工作流程自動(dòng)化。
在這個(gè)自主工作流程中，第一步先生成低分辨率二維（2d）概覽圖像，并立即將其傳輸?shù)剿B接的基于人工智能的圖像處理（aivia）系統(tǒng)。該系統(tǒng)通過像素分類器檢測(cè)由操作人員預(yù)先定義好的稀有事件，并將稀有事件坐標(biāo)發(fā)回成像系統(tǒng)，系統(tǒng)再根據(jù)操作人員的要求（例如高分辨率和三維（3d）數(shù)據(jù)堆棧）掃描這些稀有事件。通過這種方式生成的數(shù)據(jù)：
與感興趣對(duì)象密切相關(guān)
因?yàn)椴捎昧俗詣?dòng)化拍攝，所得數(shù)據(jù)具有統(tǒng)計(jì)相關(guān)性
圖1：稀有事件檢測(cè)工作流程
使用人工智能驅(qū)動(dòng)的顯微成像發(fā)現(xiàn)稀有事件，提高數(shù)據(jù)質(zhì)量
對(duì)稀有事件進(jìn)行高度特異性掃描可大幅提高所采集數(shù)據(jù)的整體質(zhì)量，因?yàn)楂@得的都是真正感興趣的數(shù)據(jù)。這種方法可確保有針對(duì)性地掃描，至多獲得到90%的稀有事件。同時(shí)，不再因?qū)ο∮惺录M(jìn)行耗時(shí)且高成本的人工搜索而造成很長(zhǎng)的“閑置時(shí)間”，因此顯微鏡系統(tǒng)可實(shí)現(xiàn)高效運(yùn)行。
圖2：通過約5個(gè)多小時(shí)自動(dòng)圖像采集獲取的50微米厚的人腦切片（阿爾茨海默病供體）圖像，所標(biāo)記的感興趣對(duì)象顯示了3d高分辨率圖像堆棧，檢測(cè)到516個(gè)稀有事件。
樣本由德國(guó)慕尼黑路德維希-馬克西米利安大學(xué)病理學(xué)和大腦研究中心 jochen herms 教授提供。
更快地得到結(jié)果，節(jié)省圖像采集時(shí)間和磁盤空間 - “擺脫無效數(shù)據(jù)！”
除了對(duì)稀有事件進(jìn)行高度特異性掃描外，自主顯微成像還能采集與稀有事件目標(biāo)無關(guān)的數(shù)據(jù)。可通過以目標(biāo)為導(dǎo)向的方式掃描感興趣的對(duì)象，這一方面可以在很大程度上防止生成無效數(shù)據(jù)，另一方面能以高度定性的方式提供所采集的數(shù)據(jù)，便于后續(xù)圖像分析。所采集的對(duì)象始終位于掃描區(qū)域的視野（fov）中心，因此可以實(shí)現(xiàn)上述優(yōu)點(diǎn)。
圖3：通過約3個(gè)多小時(shí)自動(dòng)圖像采集獲得的細(xì)胞有絲分裂圖像。只采集感興趣的對(duì)象。感興趣對(duì)象顯示了116個(gè)檢測(cè)到的分裂中期的3d高分辨率圖像堆棧。
提高可重復(fù)性，有助于先進(jìn)的實(shí)驗(yàn)
可重復(fù)性是進(jìn)行可信的生命科學(xué)研究的關(guān)鍵要素之一。自主執(zhí)行的實(shí)驗(yàn)順序可隨時(shí)得到恢復(fù)，裝配適當(dāng)?shù)能浖姹荆⒁韵嗤脑O(shè)置重新運(yùn)行。這個(gè)過程能確?？芍貜?fù)性，而手動(dòng)設(shè)置實(shí)驗(yàn)中的成像程序無法做到這一點(diǎn)。此外還可建立高度復(fù)雜的顯微成像工作流程并使其自動(dòng)化，使高級(jí)應(yīng)用更易于使用，而這類應(yīng)用以前根本無法做到，或者必須依靠大量人工操作。
las x navigator expert：
aivia驅(qū)動(dòng)的自主顯微鏡的關(guān)鍵組分
las x navigator是一款強(qiáng)大的導(dǎo)航和圖像采集工具，用戶可以從逐個(gè)圖像搜索方式切換到快速查看完整的樣本概覽，并能立即識(shí)別重要的樣本細(xì)節(jié)。它能夠使用玻片、培養(yǎng)皿和多孔板的模板自動(dòng)設(shè)置高分辨率圖像采集。它就像一個(gè)用于樣本細(xì)胞的gps定位系統(tǒng)，用戶始終都可通過一條清晰的路徑來獲得高質(zhì)量數(shù)據(jù)、在樣本中導(dǎo)航、創(chuàng)建快速概覽、立即識(shí)別細(xì)節(jié)，還可以使用玻片、培養(yǎng)皿和多孔板的模板進(jìn)行高分辨率圖像采集。
在導(dǎo)航中添加智能功能：las x navigator expert
navigator expert基于navigator，融合了提供稀有事件處理工作流程的aivia人工智能圖像處理功能。此外，使用navigator expert還可以定義多個(gè)掃描任務(wù)，將其分配給需要掃描的任意幾何形狀/掃描區(qū)域，用于復(fù)雜的成像程序和實(shí)驗(yàn)設(shè)置。
圖4：las x navigator expert（右）和aivia
navigator expert包含兩個(gè)模塊：“jobs”（任務(wù)）和“experiment”（實(shí)驗(yàn)）。在“jobs”模塊中，可通過普通的stellaris las x用戶界面設(shè)置任何掃描任務(wù)。例如，該模塊包括定義自動(dòng)對(duì)焦（af）任務(wù)、低分辨率2d快速概覽掃描任務(wù)以及實(shí)際稀有事件任務(wù)，后者可以進(jìn)行高分辨率3d掃描。
圖5：navigator expert的“jobs”和“experiment”兩個(gè)模塊與aivia共同定義了一個(gè)檢測(cè)稀有事件的自動(dòng)化工作流程。
設(shè)置稀有事件檢測(cè)工作流程
稀有事件檢測(cè)工作流程的創(chuàng)建十分簡(jiǎn)單。定義了需完成的任務(wù)后，“experiment”模塊就會(huì)直觀地引導(dǎo)用戶完成各個(gè)工作流程步驟：
1
確定載體（玻片、腔室、多孔板）；
2
確定掃描區(qū)域（可基于載體預(yù)定義，也可任意定義）；
3
確定焦點(diǎn)位置，分配af任務(wù)；
4
將概覽任務(wù)分配給掃描區(qū)域；
5
分配aivia稀有事件處理程序和稀有事件任務(wù)。
最后，像素位置中會(huì)列出aivia稀有事件處理程序檢測(cè)到的稀有事件位置。
圖6：設(shè)置工作流程
要?jiǎng)?chuàng)建aivia稀有事件處理程序，只需使用事先通過概覽掃描任務(wù)采集的一些圖像對(duì)aivia像素分類器進(jìn)行訓(xùn)練。使用簡(jiǎn)單的繪圖工具，對(duì)需要的稀有事件進(jìn)行標(biāo)注，并確定圖像的背景。這樣，像素分類器就可以從概覽掃描圖像中獨(dú)立檢測(cè)到稀有事件。
圖7：在aivia像素分類器訓(xùn)練中使用簡(jiǎn)單的繪圖工具確定稀有事件和背景。
啟動(dòng)稀有事件檢測(cè)工作流程后，概覽掃描圖像會(huì)立即傳輸?shù)絘ivia，后者將檢測(cè)到的稀有事件的像素坐標(biāo)送回到navigator expert，以便進(jìn)行稀有事件掃描。
圖8：概覽圖像和使用navigator expert進(jìn)行稀有事件掃描。
aivia驅(qū)動(dòng)的自主顯微鏡的優(yōu)勢(shì)
除了上述特點(diǎn)之外，基于人工智能的自動(dòng)顯微鏡還可大幅改進(jìn)和優(yōu)化實(shí)驗(yàn)。
坐在顯微鏡前的總時(shí)間和工作量最多減少75%
高價(jià)值數(shù)據(jù)的采集時(shí)間最多可大幅縮短70%
低質(zhì)量數(shù)據(jù)的存儲(chǔ)需求最多可減少90%
提高稀有事件檢測(cè)的可重復(fù)性
利用人工智能提高數(shù)據(jù)質(zhì)量
稀有事件工作流程行之有效：檢測(cè)到高達(dá)90%的稀有事件