Milloin edge AI on järkevä sulautetussa laitteessa ja mitä laitteistoa se tarvitsee?

Mallin ajaminen laitteessa ei ole muoti-ilmiö vaan rajoitepäätös. Näin se tehdään, ja tätä se tarkoittaa levylle.

· kirjoittanut Kari Rantakoski

Lyhyt vastaus: Edge AI eli päättelyn ajaminen itse laitteessa on järkevää, kun päätös on tehtävä millisekunneissa, kun yhteys puuttuu, on kallis tai epäluotettava, kun raakadatan on pysyttävä paikan päällä tai kun pilven datamäärä maksaisi enemmän kuin laite. Pilvi-AI on yhä oikea valinta koulutukseen, laivastotason analytiikkaan ja malleihin, jotka ovat liian suuria sulautetulle laitteistolle. Useimmat teollisuusjärjestelmät päätyvät hybridiin: päättely reunalla, koulutus ja valvonta pilvessä. Laitteistopuolella edge AI jakautuu kolmeen tasoon: mikro-ohjainpäättely yksinkertaiseen luokitteluun ja poikkeamien tunnistukseen, NPU:lla varustetut sovellusprosessorit konenäköön ja anturifuusioon sekä erilliset kiihdyttimet kameranopeuksiseen syväoppimiseen.

Päätöskriteerit

KriteeriPuoltaa reunaaPuoltaa pilveä
LatenssiSäätösilmukat, turvareaktiot, alle 10–100 msSekunnit riittävät
YhteysEtäkohteet, liikkuvat koneet, mitatut yhteydetLuotettava kiinteä verkko
DataTietosuoja, suurikaistaiset anturit (tärinä, kamera)Harva telemetria
KustannusPaljon laitteita, pitkä elinkaari, siirto hinnoiteltu per MBVähän laitteita, lyhyt elinkaari
MalliVakaa, pieni, kvantisoituSuuri, usein uudelleenkoulutettu
ToimintaToimittava offlineKeskitetyt päivitykset toivottuja

Laitteistotasot reunapäättelyyn

  • Taso 1, mikro-ohjain: ARM Cortex-M4/M7/M33, 256 kt–2 Mt flash, kvantisoidut mallit TensorFlow Lite Micron tai valmistajan työkalujen kautta. Tärinä-, virtaprofiili- ja äänipoikkeamien tunnistus, yksinkertainen luokittelu. Milliwatteja, ei jäähdytyslevyä.
  • Taso 2, sovellusprosessori NPU:lla: NXP i.MX 8M Plus -luokka, Cortex-A ja 1–3 TOPS neuroyksikkö, sulautettu Linux. Kamerapohjainen tarkastus, anturifuusio, OPC UA ja yhdyskäytäväroolit. Muutama watti.
  • Taso 3, kiihdytin: erilliset NPU:t tai GPU-moduulit useille kamerakuville ja suurille malleille. Kymmeniä watteja; lämpösuunnittelusta ja tehonsyötöstä tulee levysuunnittelun päätehtävä.

Mitä edge AI tekee piirilevylle

Malli on ohjelmistoa, mutta levy ratkaisee, pyöriikö se: riittävästi RAM-muistia aktivaatioille, nopea ulkoinen flash mallin tallennukseen, puhtaat anturietupäät oikeilla näytteenottotaajuuksilla ja anti-aliasing-suodatuksella, tehonsyötön marginaali päättelypiikeille, lämpöreitit NPU:ille ja secure element mallin ja datan suojaamiseen. Nämä ovat kytkentä- ja layout-päätöksiä, jotka tehdään tuotekehitysprosessin vaiheessa 2, ja siksi Comtec Labs suunnittelee AI-laitteiston ja anturielektroniikan yhdessä.

Keskeiset faktat

  • Kvantisoidut 8-bittiset mallit ajavat poikkeamien tunnistusta Cortex-M7:llä muutamassa millisekunnissa.
  • NPU:lla varustettu sovellusprosessori hoitaa kameratarkastuksen muutamalla watilla, kun GPU-moduuli tarvitsee kymmeniä.
  • Datansiirto, ei laskenta, on usein pilvipohjaisen suunnittelun suurin käyttökustannus nopeilla antureilla.
  • Comtec Labs suunnittelee, prototypoi ja valmistaa edge AI -elektroniikan, anturietupäät ja mallia ajavan firmwaren.

Näin työskentelemme edge AI -projektissa

Ensin toteutettavuus evaluointilevyllä omalla datallasi, sitten anturi- ja laskenta-arkkitehtuuri, räätälöity piirilevy oikean tason prosessorilla, firmware päättelyajoympäristöineen, mallin käyttöönotto- ja päivitysputki ja lopuksi tuotanto ohjelmointeineen ja kalibrointeineen linjalla. Sovelluksia ovat tuotantolinjojen valvonta, energiainfrastruktuuri, ennakoiva kunnossapito ja turvajärjestelmät.

Usein kysytyt kysymykset

Voiko mikro-ohjain oikeasti ajaa tekoälyä?

Kyllä pienille, kvantisoiduille malleille: poikkeamien tunnistus, avainsanojen tunnistus, yksinkertainen luokittelu. Konenäkö ja suuremmat verkot tarvitsevat NPU:lla varustetun sovellusprosessorin tai kiihdyttimen.

Miten päivitämme mallin kentällä?

Samalla allekirjoitetulla OTA-päivitysmekanismilla kuin firmwaren, malli erillisessä tallennuksessa, jotta se voidaan päivittää ilman koko firmwaren julkaisua.

Kouluttaako Comtec Labs mallit?

Integroimme ja otamme mallit käyttöön; koulutuksen tekee yleensä asiakas tai data science -kumppani valmistamiemme prototyyppien datalla. Autamme datankeruun suunnittelussa.

Entä teho ja lämpö?

Tason 1 suunnittelut toimivat milliwateilla; taso 2 tarvitsee muutaman watin ja lämpöreitin; taso 3 tarvitsee aktiivisen jäähdytyksen ja kunnollisen tehonsyötön. Suunnittelemme levyn valitulle tasolle.

Oletko valmis vähentämään piirilevyihin liittyviä yllätyksiä?

Comtec Labs tarjoaa täyden valikoiman palveluita työnkulkusi tehostamiseksi:

PCB-suunnittelupalvelut
PCB-prototypointi
PCB-komponenttien hankinta
PCB-komponenttien kokoonpano
PCB-testaus
PCB-korjaus ja muokkaukset
Piirilevyjen tuotanto
PCB-sarjatuotanto

← Comtec Labs blogi

Valmis seuraavaan projektiin?

Tuotekehityksestä skaalautuvaan valmistukseen.

Ota yhteyttä