Reklamy

Sony IMX500 i IMX501 – inteligentne czujniki wizyjne opartee na sztucznej inteligencji

Możliwość wprowadzania szybkiego przetwarzania Edge AI i krok ku budowie optymalnych systemów powiązanych z chmurą.


Inteligentne czujniki wizyjne Z lewej: IMX500, z prawej: IMX501

Sony Corporation zapowiedziało wprowadzenie dwóch modeli inteligentnych czujników wizyjnych, będących pierwszymi na świecie przetwornikami obrazu z funkcją przetwarzania opartego na sztucznej inteligencji (AI)*1 Wprowadzenie funkcji przetwarzania AI w samym przetworniku obrazu umożliwia szybkie przetwarzanie Edge AI i selekcjonowanie tylko potrzebnych danych, co w przypadku użycia serwisów chmurowych oznacza mniejsze opóźnienia w transmisji, lepszą ochronę prywatności oraz niższe zużycie energii i koszty łączności.

*1 Wśród przetworników obrazu. Na podstawie badań przeprowadzonych przez firmę Sony (stan na dzień ogłoszenia — 14 maja 2020 r.).

Nowe produkty zwiększą możliwości opracowywania kamer i aparatów wyposażonych w sztuczną inteligencję. Stworzą szereg nowych zastosowań w handlu detalicznym i sektorze urządzeń przemysłowych, przyczyniając się do budowy optymalnych systemów łączących z chmurą.

Nazwa modelu Data dostawy egzemplarza próbnego Cena egzemplarza próbnego (bez podatku)
IMX500: inteligentny czujnik wizyjny typu 1/2,3″ (przekątna 7,857 mm), efektywnie około 12,3 megapiksela (sam układ) Kwiecień 2020 r. około 10 000 jenów japońskich
IMX501: inteligentny czujnik wizyjny typu 1/2,3″ (przekątna 7,857 mm), efektywnie około 12,3 megapiksela (w obudowie) Czerwiec 2020 r. (planowana) około 20 000 jenów japońskich

Rozwój Internetu rzeczy (IoT) spowodował powstanie najróżniejszych urządzeń połączonych z chmurą, w wyniku czego powszechne stały się systemy do przetwarzania informacji, w których dane pochodzące z takich urządzeń są przetwarzane przez sztuczną inteligencję w chmurze. Wzrost ilości informacji obsługiwanych przez chmurę rodzi jednak różne problemy: większe opóźnienia w transmisji danych utrudniające przetwarzanie w czasie rzeczywistym, obawy o bezpieczeństwo w przypadku użytkowników o których sądzi się, że przechowują w chmurze dane umożliwiające identyfikację osób, a także większy pobór mocy i wyższe koszty transmisji danych generowane przez usługi chmurowe.

Nowe przetworniki mają konfigurację warstwową i składają się bloku pikseli i bloku układów logicznych. Są pierwszymi na świecie przetwornikami obrazu, w których funkcje analizy i przetwarzania obrazu z użyciem sztucznej inteligencji są realizowane przez sam blok układów logicznych. Sygnał rejestrowany przez blok pikseli jest przetwarzany z użyciem sztucznej inteligencji w samym przetworniku. Eliminuje to zapotrzebowanie na wydajne procesory i zewnętrzną pamięć, umożliwiając rozwój systemów Edge AI. Wyjściowymi danymi z przetwornika nie są informacje o obrazie, tylko metadane (informacje semantyczne należące do danych o obrazie), co pomaga rozwiązać problem dużej ilości danych i ochrony prywatności. Co więcej, sztuczna inteligencja pozwala zapewnić różnorodne funkcje o uniwersalnych zastosowaniach, takie jak śledzenie obiektów w czasie rzeczywistym z szybkim przetwarzaniem AI. Możliwość zastępowania danych w wewnętrznej pamięci pozwala wybierać różne modele AI, dostosowane do wymagań użytkownika lub warunków w miejscu, w których używany jest system.

Główne cechy

■ Pierwszy na świecie przetwornik obrazu z funkcją przetwarzania opartego na sztucznej inteligencji (AI)

Blok pikseli jest wykonany w technologii BSI. Jego efektywna rozdzielczość wynosi około 12,3 megapiksela, co umożliwia rejestrację informacji przy szerokim kącie widzenia. Z kolei blok układów logicznych zawiera nie tylko standardowe obwody przetwornika obrazu, lecz także pamięć modelu AI oraz firmowy procesor sygnałowy (DSP) Sony przeznaczony do przetwarzania sygnału z użyciem sztucznej inteligencji. Taka konfiguracja eliminuje zapotrzebowanie na wydajne procesory i zewnętrzną pamięć, dzięki czemu idealnie sprawdza się w systemach Edge AI.

■ Wyjściowe metadane

Sygnały rejestrowane przez blok pikseli przechodzą przez procesor obrazu (ISP), a przetwarzanie z użyciem sztucznej inteligencji odbywa się w bloku układów logicznych. Wyselekcjonowane informacje pojawiają się na wyjściu jako metadane, zmniejszając ilość obsługiwanych danych. Ponieważ na wyjściu układu nie muszą pojawiać się informacje o obrazie, maleje zagrożenie dla bezpieczeństwa i obawy o prywatność. Oprócz rejestracji obrazu przez standardowy przetwornik obrazu użytkownicy mogą wybrać format danych wyjściowych dostosowany do własnych potrzeb i zastosowań. Ustawienia obejmują wyjściowy format obrazu z procesora ISP (YUV/RGB) oraz obrazy z wyselekcjonowanym określonym obszarem (region zainteresowania — Region of Interest).

■ Szybkie przetwarzanie z użyciem AI

Kiedy do nagrywania materiału wideo służy standardowy przetwornik obrazu, do systemu przetwarzania AI trzeba przesłać informacje o każdej klatce wyjściowego obrazu, co zwiększa ilość przesyłanych danych i utrudnia uzyskanie działania w czasie rzeczywistym. Nowe przetworniki Sony wykonują przetwarzanie obrazu i szybkie przetwarzanie z użyciem AI (3,1 milisekundy dla architektury MobileNet V1*2) na poziomie bloku układów logicznych, realizując cały proces w jednej klatce obrazu wideo. Taki system pozwala zapewnić dokładne śledzenie obiektów w czasie rzeczywistym przy nagrywaniu filmów.

*2 MobileNet V1: model sztucznej inteligencji do analizy obrazu na urządzeniach mobilnych, służący do rozpoznawania obiektów.

■ Możliwość wyboru modelu AI

Użytkownik może zapisywać w wewnętrznej pamięci wybrane przez siebie modele AI oraz zastępować je i aktualizować odpowiednio do własnych wymagań lub warunków w miejscu, w których używany jest system. Przykładowo, jeśli w miejscu sprzedaży detalicznej zainstalowanych jest wiele kamer wykorzystujących ten produkt, można używać jednego rodzaju kamery, uzyskując uniwersalność w różnych miejscach, okolicznościach, godzinach lub zastosowaniach. Kamera znajdująca się w wejściu do obiektu umożliwi zliczanie wchodzących klientów, zainstalowana na półce — wykrywanie braków towaru, a pod sufitem — tworzenie map ciepła (wykrywanie miejsc, w których gromadzi się dużo osób). Co więcej, model AI w danej kamerze będzie można zmienić, by na przykład zastąpić tworzenie map ciepła identyfikacją zachowań konsumentów

Najważniejsze cechy

Nazwa modelu IMX500 (sam układ) IMX501 (produkt w obudowie)
Efektywna liczba pikseli 4056 (poziomo) x 3040 (pionowo), około 12,3 megapiksela
Rozmiar obrazu Przekątna 7,857 mm (typ 1/2,3″)
Rozmiar piksela 1,55 μm (poziomo) × 1,55 μm (pionowo)
Liczba klatek na sekundę Wszystkie piksele 60 kl./s
Obraz filmowy 4K (4056 × 2288) 60 kl./s
1080p 240 kl/s
Wszystkie piksele / obraz filmowy + przetwarzanie AI 30 kl./s
Wyjście metadanych 30 kl./s
Czułość (wartość standardowa F5.6) Około 250 LSB
Poziom sygnału przy nasyceniu przetwornika (wartość minimalna) Około 9610e-
Zasilanie Analogowe 2,7 V
Cyfrowe 0,84 V
Interfejs 1,8 V
Główne funkcje Funkcja przetwarzania z użyciem AI, procesor obrazu (ISP), zdjęcia HDR
Wyjście MIPI D-PHY 1.2 (4 kanały) / SPI
Matryca filtra barw Matryca Bayera
Format wyjściowy Obraz (Bayer RAW), wyjście z procesora obrazu (YUV/RGB), region zainteresowania (Region of Interest), metadane
Obudowa Ceramiczna LGA 12,5 mm (poziomo) × 15,0 mm (pionowo)

źródło: Sony

Reklamy


Categories: Rynek, Gadżety, Newsy, Technologia, Urządzenia sieciowe

Tags: ,

Dodaj komentarz

%d bloggers like this: