▲ TTC鏡頭模組設備。左圖未含電腦、電池設備;右圖包含3S 5000mah、Pi5等電力系統。
▲ TTC 鏡頭設備
自帶電腦能夠進行本地計算分享資訊
▲ TTC鏡頭模組
需外接電腦的設備連結進行影像辨識計算
▲ 白羽雞影像辨識影片
▲ TTC 多模影像重疊成果圖
透過影像辨識框選的辨識物,將熱成像與TOF數值進行「畸變處理」與「鄰近插值」進行放大,並透過可見光
圖像邊緣與熱成像與TOF進行圖像邊緣「相似函數對齊」的方式,將溫度與距離資料和可見光圖像找尋Euclidean Distance
計算求出R^2最小的數值作為重疊影像的基準,同時重疊可見光鏡頭的光軸,使的調整只需要一維的變化。使的重疊效果如左圖所示。
Windows與Linux上的程式操作界面透過Qt Creator 進行開發,並且設計加入多種方式分享資料(UART、CANbus、TCP/IP),並
建立虛擬IP的方式使用TCP、UDP的方式交換熱成像、TOF與鏡頭影像,並結合.pt影像權重模型使用回傳辨識框和溫度、距離資料進行讀取,
將框內的最高溫度與最近距離提取出進行後續開發使用。
▲ TTC 鏡頭系統架構圖
透過上述描述的架構設計,結合RTX 4090 Laptop 筆電設備進行影像辨識節點運算,設計主要是實驗當下還未有這種對應生物辨識是用的多模鏡頭設備
透過結合其他不同影像辨識模型,還能夠應用到不同領域,但設計之初是以「動物生理狀態進行開發」,為來還能夠結合動物病理影像模型,增加該設備應用深度範圍,
或是不同動物增加應用的廣度。透過這樣節點設計傳輸影像延遲控制在60ms以內,並且實驗使用RTX 4090 Laptop 筆電使用 yolo_v11 完整模型平均推論延遲
在 16.05ms(62FPS) 最快能夠達到 8.37ms(119.49FPS) 的時間,因此平均能夠在80ms左右獲得推論資料。
▲ TTC鏡頭模組程式界面
▲ 手持式TTC鏡頭設備使用界面
設備精簡保留IP進行資料分享,使用Pi5上網路孔進行分享
並分別在三個場域進行實驗,包括:中興大學溪心霸農場、苗栗誠懇友雞農場、台南農業部畜產試驗所,在這三個實際場域進行實驗,並且除了開發的TTC鏡頭設備之外,
還接續設計平飼機器人開發。巡場機器人開發順序如〈下圖〉,從原先固定定斜下60度角度⇨使用20框步進馬達結合1:10傘齒輪與IMU控制攝影角度⇨結合設計的TTC鏡頭模組平行排列兩台⇨整合安裝前方左右兩旁的方式進行最終應用。
▲ 巡場機器人演化
⬇
感測器從原先多目視差的方式推估距離,同時還未設想整合成模組設備到,到整合成模組設備能夠手持,並最後整合自帶小型電腦的邊緣裝置。在硬體結構上使用光軸對齊的的方式進行排列
,並透過上述開發的TTC鏡頭模組程式界面,整合進機器人控制系統當中。
▲ 機器人簡單自動避障程式介面
A 為設備通道選擇以及紀錄;B 為鏡頭、TOF預覽畫面;
C 為IMU資訊;D 為機器人運動狀態及位置。
計畫期末機器人設計則是委託外面公司簡單設計的產品,但因為內部的電腦以及主控設備等等並不符合本次實驗是用,因此將重新設計與編寫車輛的的主控以及新增各式元件,電腦從Jetson nano 替換成擁有157 tops 的Jetson
orin NX(16GB),並重新設計發包蓋板板金,加入了觸控21:9顯示螢幕,對機器人的平面平整化處理與使用快拆鉸鍊,因應未來設備加裝空間與加工需求。
透過ROS2系統進行快速的開發,替換掉UWB轉而使用光達進行定位,透過光達距離資料與IMU加速度、角度與機器人角、線速度透過EKF(拓增卡爾曼濾波計算)求出odom(里程計),
使用Nav2設置虛擬牆、動態障礙物避障距離等等參數完成尋場任務。進行回充單靠光達無法每次都順利無線充電定點,因次有後加上了倒車使用鏡頭,未來能夠結合影像辨識技術,辨識台達無線充電模組 MOOVair ,達到更準的充電定位。
雞蛋夾取則是使用六軸機械手臂,結合上視圖固定可見光鏡頭,判斷雞蛋位置透過負壓方式完成雞蛋的收集的功能。
▲ 雷射 SLAM 建圖與 Nav2 路線規劃成果
藍點路徑定位點
▲ 落地蛋影像模型辨識定位
淨零碳排:永續環境物聯網 (2026 執行中)
自動水質檢測設備 | AI 植物覆蓋率影像模型 | 時間序列預測沼氣產量
▲ 厭氧共消化沼氣發電概念圖
目前正在執行國立台灣大學 生物機電工程學系 「厭氧共消化永續環境物聯網」 專案,是透過智能化數據分析優化沼氣產能,幫助淨零碳排。
我在專案中的核心貢獻包含:
物聯網與邊緣運算:獨立設計並開發自動化監測設備,實現水質數據與水生植物影像的自動蒐集與遠端回傳。
電腦視覺分析:訓練深度學習影像分割模型,精準量化水生植物覆蓋率,並分析其對水質變化的影響。
時間序列預測:厭氧共消化反應槽中,導入時間序列演算法建立沼氣產量預測模型,以實現產能的最佳化管理。
▲ 系統架構與資料流向圖 👉 在圖表上左右滑動以查看完整架構
厭氧共消化技術藉由混合多源有機廢棄物,可有效提升沼氣產量並優化處理效率;
而消化後的放流水則導入生態淨化池,利用浮萍等漂浮性水生植物吸收營養鹽,進行二次淨化。
專案透過物聯網設備即時監測水質數據,並運用電腦視覺技術量化植物覆蓋率對水質變化的影響。
此外,結合時間序列演算法預測沼氣產能,實現系統的最佳化管理,具體落實淨零碳排與永續循環目標。
在專案從實驗室驗證走向實地落地(Scaling
up)的關鍵階段,我們面臨了設備架設的諸多挑戰,包括選擇場域適合的感測器、確保設備在厭氧或戶外環境中的穩定運行,以及實現數據的可靠傳輸。
為此,我們進行了多次迭代,從初期的設備架設到後續的牆壁加工與廢水調配,每一步都經過細緻的規劃與實驗,
以確保系統的整體性能和數據的準確性。
目前專案仍在執行中,未來將持續優化設備性能與預測模型的準確度,並探索更多數據分析方法以提升沼氣產能。
透過AutoGluon 並接入厭氧的MySQL的資料,同時對12種模型進行單變量的訓練以及預測比較,分析主要GPR(總體產氣量)與
CH4(氣體甲烷含量)使用LightGBM 與 XGBoost 的模型訓練集與測試集資料量,相近並未產生過擬、欠擬合的情形,並且重合指數R^2超過0.97以上
,但是此資料筆數僅為單次實驗的數據,無法氾用在不同的情境,所以在準確率高也是可見的。
目前新的實驗設備已於近期順利安裝完成,不僅重新配置了全新的配電系統與控制線路,也將所有軟體系統進行升級。我們規劃將最新的監測數據整合至後續開發的網站平台,並導入 Google Gemini
API 進行大型語言模型 (LLM) 分析,將複雜的未來變化預測結果轉譯為使用者容易理解的資訊。
▲ 單變量厭氧預測結果。左CH4;右GPR
由於設備已全面上線,實驗正穩定運行中。後續將進行多變量特徵的結合預測,分析植物辨識面積與水質(如
pH、EC、溫度)等變化的關聯性。透過這套完整的配電系統及遠端物聯網架構,將可進行長時間的高頻率資料收集。未來建置的網站也將提供持續更新的
API,便於實時接收數據,達到即時預測提醒的功能,例如預測未來一個月的沼氣產氣量與水生植物對廢水營養鹽的吸收變化。系統同時也記錄了 7
座水箱的廢水水質、植物覆蓋影像,以及厭氧消化槽的產氣狀況與進出流水質的長期數據。
水質檢測主要是透過RS485 讀取Modbus
RTU的資料,同時以每分鐘進行數據的紀錄,以及GOPRO拍則是透過外接的4張網卡進行影像傳輸以及API命令控制,並以每小時6張照片的方式進行紀錄。
同時加入兩顆電磁接觸器因應實驗設備的幫浦地下水與廢水的啟動與停止,以及額外14路的常閉電磁水閥,用於控制進排水使用,能夠因應計畫第三期完成全自動的實驗流程,使得水質始終保持水生植物最佳的吸收狀態。
❮
❯
▲
水質檢測設備與配電箱安裝
❮
❯
▲
實驗場域空拍紀錄