-
+86-551-62240026
- leonnn410@gmail.com
+86-551-62240026
2026-09-04
Гіперспектральне зображення, яке спочатку використовувалося в середині 1980-х років для дистанційного зондування, за останні два десятиліття поширилося на численні галузі досліджень, особливо в сільському господарстві та харчових науках, де воно використовується для збору додаткових даних про візуальні та хімічні властивості досліджуваних об’єктів. Гіперспектральне зображення поєднує традиційне зображення зі спектральними технологіями, такими як інфрачервона спектроскопія, рамановська спектроскопія та флуоресценція, щоб сформувати тривимірну структуру даних під назвою гіперкуб, яка об’єднує двовимірне цифрове зображення та спектральний вимір даних. Кожен піксель асоціюється зі спектром, що відображає оптичні характеристики області, яку він представляє; хоча на нього впливають сусідні пікселі, спектр може служити унікальною ознакою для ідентифікації речовин. У сфері оцінки якості фруктів, овочів і грибів гіперспектральне зображення стикається з такими проблемами, як доступність даних і надійність моделі. Існуючі дослідження здебільшого не мають практичного застосування, тому необхідно звернути увагу на відтворюваність та переведення дослідницьких параметрів у промислові параметри для досягнення неруйнівної оцінки якості, зменшення харчових відходів та забезпечення безпеки харчових продуктів.
Інтеграція штучного інтелекту та гіперспектрального зображення є критично важливою. Алгоритми штучного інтелекту, в основному технології машинного та глибокого навчання, здатні ефективно обробляти високовимірні та великомасштабні дані гіперспектрального зображення, забезпечуючи точне виділення ознак і класифікацію. Вони демонструють надзвичайну продуктивність в обробці великих наборів даних, усуненні шумів, аналізі в реальному часі та підвищенні точності завдань, що робить їх безцінними для додатків, що залежать від гіперспектральних даних, таких як сільське господарство та дистанційне зондування. У міру розвитку технології штучного інтелекту її інтеграція з гіперспектральним зображенням стане ще тіснішою, буде реалізована обробка в реальному часі, а поєднання з новими технологіями розширить сферу застосування та стимулюватиме інновації в галузі. Незважаючи на проблеми, пов’язані з даними та обчисленнями, перспективи залишаються оптимістичними. У цьому огляді буде детально розглянуто ключову роль штучного інтелекту в застосуванні гіперспектральних зображень, існуючі проблеми та перспективи майбутнього розвитку.
Механізм гіперспектрального зображення та пов'язані з ним проблеми
Гіперспектральне зображення працює шляхом захоплення та обробки спектральної інформації, долаючи обмеження традиційного зображення, яке збирає дані лише в кількох спектральних діапазонах. Процес починається з освітлення цільової сцени джерелом світла. Після того, як світло взаємодіє з матеріалами в сцені, гіперспектральний датчик за допомогою оптичних елементів, таких як призма або дифракційна решітка, розкладає зібране світло на різні довжини хвилі, потім матриця датчиків записує інтенсивність світла на кожній довжині хвилі, таким чином формуючи гіперспектральний куб даних із багатою спектральною інформацією, що охоплює два просторові виміри та один спектральний вимір. Методи збору даних включають точкове сканування, лінійне сканування, спектральне сканування та камери для знімків. Після збору даних потрібне калібрування для корекції реакції датчика, освітлення та атмосферних впливів, а потім передові методи обробки даних, такі як спектральна декомпозиція, класифікація, виділення ознак і зменшення розмірності.
Дані гіперспектрального зображення характеризуються високою розмірністю та складністю: кожен піксель містить сотні спектральних смуг, що призводить до величезних наборів даних, високих вимог до обчислення та зберігання, а також до проблеми надмірності даних. У той же час дані піддаються впливу шуму та чутливі до умов навколишнього середовища, що вимагає складних методів попередньої обробки, таких як зменшення шуму, атмосферна корекція та калібрування. Штучний інтелект може вирішити ці проблеми: його технології машинного та глибокого навчання чудово справляються з обробкою складних даних, можуть автоматично вивчати спектральні характеристики, зменшуючи кількість ручного конструювання функцій, і мають значні переваги в обробці багатовимірних даних, усуненні шуму, аналізі в реальному часі та покращенні точності завдань, відіграючи важливу роль у гіперспектральному аналізі даних.
Рисунок 1. Діаграма основних компонентів системи гіперспектрального зображення
Типи гіперспектральних зображень
Точкове сканування: захоплюється один піксель за раз, камера поступово створює зображення під час сканування зразка, кожен піксель містить повну спектральну інформацію, спектральна роздільна здатність висока, але отримання зображення займає багато часу, що не підходить для сценаріїв швидкого збору даних; Зазвичай використовується для лабораторного спектрального аналізу.
Лінійне сканування: построчне вимірювання безперервного спектру, широко використовується в промисловому контролі та моніторингу якості. Незважаючи на втрату світла через вхідну щілину спектрометра, досягається баланс між швидкістю та спектральною роздільною здатністю, який підходить для моніторингу та аналізу в реальному часі.
Спектроскопія з перетворенням Фур’є: може вимірювати безперервний спектр, поєднує датчик монохроматичного зображення та інтерферометр, вихід світла вищий, ніж у двотактних скануючих систем, висока ефективність і точність збору спектральних даних, підходить для програм із високими вимогами до чутливості та точності, здатний працювати в широкому діапазоні довжин хвиль, широко використовується в таких областях, як хімічний аналіз.
Спектральне сканування: дозволяє збирати всю просторову інформацію на певних довжинах хвиль, обробка здійснюється послідовно для кожної довжини хвилі. Хоча збір одного зображення відбувається відносно швидко, загальний процес сповільнюється через необхідність перемикати довжини хвилі. Відіграє важливу роль у програмах, які вимагають високої просторової роздільної здатності на певних довжинах хвиль, таких як флуоресцентна мікроскопія, а також може бути оптимізована для зосередження на конкретних областях інтересу.
Гіперспектральні фотокамери: здатні знімати гіперспектральне відео, придатні для зйомки рухомих об’єктів, збір даних є швидким і ефективним, але спектральна та просторова роздільна здатність обмежена порівняно з іншими технологіями. Вони мають важливе застосування в гіперспектральних зображеннях у реальному часі, наприклад, у медичній діагностиці.
Гіперспектральне зображення високої роздільної здатності має вирішальне значення для виявлення спектральних змін у складних цілях, але висока вартість існуючого обладнання високої роздільної здатності обмежує його застосування та поширення. Недорогий пристрій, розроблений Стюартом та іншими дослідниками, відкриває новий шлях вирішення цієї проблеми та демонструє хороші результати в мінералогічному моніторингу навколишнього середовища.
Таблиця 1. Характеристики методів сканування, які використовуються в гіперспектральних зображеннях.
Синергічна взаємодія між штучним інтелектом і гіперспектральним зображенням
Гіперспектральне зображення містить сотні спектральних смуг, дані мають високу розмірність, і існують проблеми надмірності, шуму та «прокляття розмірності», з якими традиційні методи аналізу важко впоратися. Алгоритми штучного інтелекту, особливо моделі машинного та глибокого навчання, можуть ефективно вирішити ці проблеми.
Алгоритми керованого навчання використовують мічені дані для навчання моделям класифікації або аналізу, наприклад, опорні векторні машини підходять для класифікації даних великої розмірності та невеликих навчальних наборів; випадкові ліси дуже надійні та здатні обробляти зашумлені дані; метод k-найближчих сусідів виконує класифікацію на основі близькості піксельного спектру до мічених даних; нейронні мережі, такі як багатошарові перцептрони, можна використовувати для попіксельної класифікації.
Алгоритми неконтрольованого навчання здатні виявляти приховані закономірності в даних без попередньо визначених міток, наприклад, кластеризація k-середніх, аналіз головних компонент та інші; Згорткові нейронні мережі та рекурентні нейронні мережі серед нейронних мереж можуть вивчати представлення складних даних; Алгоритми навчання з підкріпленням підходять для динамічних середовищ; незалежний компонентний аналіз використовується для сліпого розділення джерел; Автокодери використовуються для неконтрольованого виділення ознак і зменшення розмірності. Існують також нові методи, такі як DiffSpectralNet, які об’єднують різні технології для покращення ефективності класифікації.
Технології глибокого навчання використовують глибокі нейронні мережі для автоматичного вивчення функцій, уникаючи їх створення вручну. Генеративні змагальні мережі можна використовувати для збільшення даних та інших цілей. У згорткових нейронних мережах згорткові шари витягують ознаки через з’єднання локальних рецептивних полів, а в поєднанні з такими технологіями, як шари об’єднання, вони покращують здатність моделі до узагальнення, демонструючи видатні результати при обробці складних даних великої розмірності.
Спектральна декомпозиція часто використовує факторизацію невід’ємної матриці та методи розрідженого кодування. Гібридні моделі, які поєднують просторову та спектральну інформацію, покращують продуктивність таких завдань, як класифікація, як-от просторово-спектральні згорткові нейронні мережі та графові згорткові мережі. Алгоритми обробки природної мови також допомагають штучному інтелекту розуміти та генерувати мову, сприяючи розробці інтелектуальних завдань у багатьох сферах.
У практичних застосуваннях гіперспектральні камери зі штучним інтелектом можуть підвищити швидкість обробки сигналу та завадостійкість, забезпечуючи точну спектральну реконструкцію. Алгоритми високої роздільної здатності, керовані штучним інтелектом, можуть підвищити просторову роздільну здатність зображень, полегшуючи точне відображення та виявлення. У задачах класифікації технології машинного та глибокого навчання здатні обробляти багатовимірні спектральні дані, реалізуючи класифікацію матеріалів або об’єктів. Алгоритми ШІ можуть зберігати ключову інформацію під час усунення шумів, заповнювати відсутні частини під час реконструкції зображення та використовувати спектральну інформацію для підвищення точності виявлення об’єктів і сегментації зображення, відіграючи важливу роль у різних сферах.
Рисунок 3. a) Спрощена схема камери гіперспектрального випадкового широкосмугового кодування на основі глибокого навчання: камера працює в активному режимі (вгорі) або пасивному режимі (внизу) залежно від положення спектрального кодування. b) Огляд спектральної реконструкції на основі глибокої нейронної мережі: глибока нейронна мережа обробляє необроблені монохроматичні дані камери для створення реконструйованого тривимірного куба гіперспектральних даних. c, d) Спектральні профілі вузькосмугового лазерного променя: у випадку c глибока нейронна мережа навчається на «точних» даних, а у випадку d — на «загальних». д) Спектральні профілі двох піків на довжинах хвиль 598,0 нм і 603,2 нм, відстань між піками показано чорним кольором.
Таблиця 2. Характеристики різних алгоритмів, що використовуються у взаємодії штучного інтелекту та гіперспектрального зображення.
Застосування синергетичної взаємодії штучного інтелекту та гіперспектрального зображення в сільському господарстві
Моніторинг росту культур: за допомогою штучного інтелекту та гіперспектральних зображень можна точно аналізувати гіперспектральні зображення культур на різних стадіях росту. Розпізнаючи тонкі зміни в спектральних характеристиках сільськогосподарських культур, визначають їх стан здоров'я, наприклад, чи були вони уражені шкідниками та хворобами, чи є дефіцит поживних речовин і так далі. Наприклад, моделі глибокого навчання можуть аналізувати спектральний коефіцієнт відбиття листя культур на гіперспектральних зображеннях, розрізняти здорове та хворе листя, допомагаючи фермерам вживати профілактичних заходів і заходів контролю для підвищення врожайності та якості.
Оцінка якості сільськогосподарської продукції: проводиться неруйнівний контроль фруктів, овочів та іншої сільськогосподарської продукції. На основі його унікальних спектральних відбитків у поєднанні з алгоритмами штучного інтелекту точно визначаються такі показники, як стиглість, солодкість і внутрішня якість сільськогосподарської продукції, що полегшує сортування, відбір і точний маркетинг сільськогосподарської продукції.
Рисунок 4. Штучний інтелект і гіперспектральне зображення, що використовується для аналізу якості їжі
Зона дистанційного зондування
Класифікація ґрунтового покриву та моніторинг: можливе гіперспектральне зображення великих ділянок земної поверхні. Алгоритми штучного інтелекту обробляють дані, щоб точно розрізняти різні типи земельного покриву, такі як ліси, луки, орні угіддя, водойми, міські споруди тощо, і дозволяють у режимі реального часу відстежувати зміни у землекористуванні, такі як розширення міст, вирубка лісів і зменшення заболочених угідь, забезпечуючи надійну інформаційну підтримку для управління земельними ресурсами та захисту навколишнього середовища.
Розвідка мінеральних ресурсів: оскільки різні мінерали мають специфічні характеристики спектрального поглинання та відбиття, поєднання штучного інтелекту та технології гіперспектральних зображень може ідентифікувати потенційні зони розподілу корисних копалин на зображеннях дистанційного зондування, підвищуючи ефективність розвідки та знижуючи витрати на розвідку.
Обсяг екологічного моніторингу
Моніторинг забруднення води: Шляхом аналізу гіперспектральних даних водойм штучний інтелект здатний визначати типи та концентрації забруднюючих речовин у воді, наприклад, розпізнавати, чи перевищує вміст важких металів у воді встановлені норми, наявність органічних забруднювачів тощо, забезпечуючи динамічний моніторинг якості водного середовища.
Малюнок 5. Дистанційна гіперспектральна система візуалізації, встановлена на безпілотному літальному апараті під назвою «робот-медуза», який може бути оснащений сіткою для збору великого пластику або мікропластику з різних водних поверхонь.
Аналіз складу атмосфери. Гіперспектральне зображення фіксує спектральні сигнатури різних молекул газу в атмосфері та застосовує алгоритми штучного інтелекту для визначення вмісту та розподілу парникових газів, забруднюючих речовин та інших компонентів в атмосфері, що допомагає боротися із забрудненням повітря та дослідженням зміни клімату.
Медична сфера
Діагностика захворювань: наприклад, у сфері діагностики шкірних захворювань гіперспектральне зображення використовується для отримання спектральних зображень уражених ділянок шкіри, моделі штучного інтелекту аналізують ці зображення, допомагаючи лікарям визначити тип і тяжкість ураження тощо, підвищуючи точність і ефективність діагностики.
Малюнок 9. Діаграма периферичної гемодинаміки здорової дорослої людини в спокої, що показує оксигемоглобін, гемоглобін і насичення крові киснем.
Гістопатологічний аналіз: виконується гіперспектральне зображення патологічних ділянок на основі алгоритмів штучного інтелекту, спектральна інформація, вбудована в них, витягується, що допомагає розпізнавати мікроструктурні особливості, такі як ракові клітини та уражені тканини, забезпечуючи еталонну основу для точного лікування захворювань.
Промислова зона
Контроль якості продукції: у виробничій промисловості здійснюється гіперспектральне зображення продуктів на виробничій лінії, алгоритми штучного інтелекту можуть швидко виявляти дефекти поверхні продукту, внутрішні структурні дефекти та інші проблеми якості, забезпечуючи автоматизований і високоточний контроль якості.
Ідентифікація та аналіз матеріалів: для різноманітних промислових матеріалів гіперспектральне зображення в поєднанні зі штучним інтелектом дозволяє швидко та точно визначити тип та склад матеріалів, а також оцінити відповідність їх характеристик встановленим вимогам, що полегшує вибір сировини та контроль якості продукції.
Синергічна взаємодія штучного інтелекту та гіперспектрального зображення є значним прогресом у технологіях обробки даних та ідентифікації матеріалів. Оскільки технології постійно розвиваються, їх перетин має потенціал для стимулювання подальших інновацій, постійно розширюючи сферу їх застосування в дослідницьких і практичних сценаріях. Майбутнє цієї синергетичної взаємодії має потенціал для революції в багатьох галузях, розсуваючи межі існуючих технологій, забезпечуючи точні, ефективні та універсальні рішення, недосяжні традиційними методами, і відкриваючи абсолютно нові можливості для розвитку та трансформації для різних галузей.
