Jak działa skalowanie AI? [Wideo i quiz]

Krótka odpowiedź: upscaling w sztucznej inteligencji polega na trenowaniu modelu na sparowanych obrazach o niskiej i wysokiej rozdzielczości, a następnie wykorzystaniu go do przewidywania wiarygodnych dodatkowych pikseli podczas upscalingu. Jeśli model widział podobne tekstury lub twarze podczas treningu, może dodać przekonujące szczegóły; jeśli nie, może „wywoływać” artefakty, takie jak aureole, woskowata skóra lub migotanie na wideo. 

Najważniejsze wnioski:

Prognoza: Model generuje wiarygodne szczegóły, ale nie gwarantuje rekonstrukcji rzeczywistości.

Wybór modelu: Sieci CNN są z reguły bardziej stabilne; sieci GAN mogą wydawać się bardziej wyraziste, ale istnieje ryzyko wymyślania nowych funkcji.

Sprawdzanie artefaktów: Uważaj na aureole, powtarzające się tekstury, „prawie litery” i plastikowe powierzchnie.

Stabilność obrazu: Użyj metod czasowych, w przeciwnym razie zobaczysz migotanie i dryft pomiędzy klatkami.

Użycie w sytuacjach wysokiego ryzyka: jeśli dokładność ma znaczenie, ujawnij przetwarzanie i traktuj wyniki jako poglądowe.

Pewnie to widziałeś: malutki, chrupiący obrazek zmienia się w coś na tyle ostrego, że można go wydrukować, przesłać strumieniowo lub wrzucić do prezentacji bez mrugnięcia okiem. To jak oszukiwanie. I – w najlepszym tego słowa znaczeniu – trochę nim jest 😅

Tak więc, jak działa skalowanie AI, sprowadza się do czegoś bardziej szczegółowego niż „komputer uwydatnia szczegóły” (niejasne), a bliższego „model przewiduje prawdopodobną strukturę o wysokiej rozdzielczości na podstawie wzorców, które wyuczył się z wielu przykładów” (Deep Learning for Image Super-resolution: A Survey). Ten etap przewidywania to cała gra – i to właśnie dlatego skalowanie AI może wyglądać oszałamiająco… albo trochę plastikowo… albo jakby kotu wyrosły dodatkowe wąsy.

Artykuły, które mogą Ci się spodobać po przeczytaniu tego:

🔗 Jak działa sztuczna inteligencja
Poznaj podstawy modeli, danych i wnioskowania w sztucznej inteligencji.

🔗 Jak uczy się sztuczna inteligencja
Zobacz, jak dane szkoleniowe i informacje zwrotne poprawiają wydajność modelu w czasie.

🔗 Jak sztuczna inteligencja wykrywa anomalie
Poznaj wzorce zachowań i dowiedz się, w jaki sposób sztuczna inteligencja szybko sygnalizuje nietypowe zachowania.

🔗 Jak sztuczna inteligencja przewiduje trendy
Poznaj metody prognozowania, które pozwalają wykrywać sygnały i przewidywać przyszły popyt.

Jak działa skalowanie sztucznej inteligencji: główna idea, w codziennym języku 🧩

Skalowanie w górę oznacza zwiększanie rozdzielczości: więcej pikseli, większy obraz. Tradycyjne skalowanie w górę (jak interpolacja bisześcienna) zasadniczo rozciąga piksele i wygładza przejścia (interpolacja bisześcienna). Jest w porządku, ale nie potrafi tworzyć nowych szczegółów – po prostu interpoluje.

Skalowanie AI próbuje czegoś odważniejszego (znanego w świecie badań jako „superrozdzielczość”) (Głębokie uczenie się dla superrozdzielczości obrazu: przegląd):

• Sprawdza dane wejściowe o niskiej rozdzielczości

• Rozpoznaje wzory (krawędzie, faktury, rysy twarzy, kreski tekstu, sploty tkanin…)

• Przewiduje, jak powinna wyglądać wersja o wyższej rozdzielczości

• Generuje dodatkowe dane pikselowe, które pasują do tych wzorców

Nie „idealnie odtworzyć rzeczywistość”, a raczej „zrobić wysoce wiarygodne przypuszczenie” (obraz superrozdzielczości z wykorzystaniem głębokich sieci splotowych (SRCNN)). Jeśli brzmi to nieco podejrzanie, nie mylisz się – ale właśnie dlatego to działa tak dobrze 😄

I owszem, oznacza to, że skalowanie za pomocą sztucznej inteligencji jest w zasadzie kontrolowaną halucynacją… ale odbywa się w produktywny sposób, z poszanowaniem pikseli.

Co sprawia, że ​​skalowanie sztucznej inteligencji jest dobre? ✅🛠️

Jeśli oceniasz upscaler sztucznej inteligencji (lub predefiniowane ustawienia), oto co ma największe znaczenie:

• Odzyskiwanie szczegółów bez przesady
  Dobre skalowanie dodaje wyrazistości i struktury, a nie chrupkości czy sztucznych porów.

• Dyscyplina krawędzi.
  Czyste linie pozostają czyste. Złe modele powodują, że krawędzie drżą lub tworzą aureole.

• Realizm tekstury.
  Włosy nie powinny być efektem pociągnięcia pędzlem. Cegła nie powinna być powtarzającym się wzorem.

• Szum i kompresja.
  Wiele codziennych obrazów jest mocno zniekształconych w formacie JPEG. Dobry upscaler nie wzmacnia tych uszkodzeń (Real-ESRGAN).

• Świadomość twarzy i tekstu.
  Twarze i tekst to miejsca, w których najłatwiej wykryć błędy. Dobre modele traktują je delikatnie (lub mają wyspecjalizowane tryby).

• Spójność między klatkami (w przypadku wideo).
  Jeśli szczegóły migają klatka po klatce, oczy będą krzyczeć. Skalowanie wideo opiera się na stabilności czasowej (BasicVSR (CVPR 2021)).

• Sensowne sterowanie
  Potrzebujesz suwaków, które odpowiadają rzeczywistym wynikom: odszumianiu, usuwaniu rozmycia, usuwaniu artefaktów, zachowywaniu ziarna, wyostrzaniu... praktycznym rozwiązaniom.

Cicha zasada, która się sprawdza: „najlepsze” skalowanie to często to, którego prawie nie zauważasz. Wygląda po prostu tak, jakbyś od początku miał lepszy aparat 📷✨

Tabela porównawcza: popularne opcje skalowania sztucznej inteligencji (i do czego się nadają) 📊🙂

Poniżej znajduje się praktyczne porównanie. Ceny są celowo niejasne, ponieważ narzędzia różnią się w zależności od licencji, pakietów, kosztów obliczeniowych i innych tego typu ciekawostek.

Wyznanie dotyczące dziwactw formatowania: „Paid-ish” robi w tej tabeli mnóstwo roboty. Ale rozumiesz, o co chodzi 😅

Wielki sekret: modele uczą się mapowania od niskiej rozdzielczości do wysokiej rozdzielczości 🧠➡️🖼️

Podstawą większości operacji skalowania sztucznej inteligencji jest nadzorowana konfiguracja uczenia (Image Super-Resolution Using Deep Convolutional Networks (SRCNN)):

1. Zacznij od obrazów o wysokiej rozdzielczości („prawdy”)

2. Przeskaluj je do wersji o niskiej rozdzielczości („wejściowych”)

3. Wytrenuj model, aby odtworzyć oryginał w wysokiej rozdzielczości z obrazu o niskiej rozdzielczości

Z czasem model uczy się korelacji takich jak:

• „Tego rodzaju rozmycie wokół oka zwykle jest spowodowane przez rzęsy”

• „Ten klaster pikseli często wskazuje na tekst szeryfowy”

• „Ten gradient krawędzi wygląda jak linia dachu, a nie jak przypadkowy szum”

To nie jest zapamiętywanie konkretnych obrazów (w prostym sensie), to nauka struktury statystycznej (Deep Learning for Image Super-resolution: A Survey). Pomyśl o tym jak o nauce gramatyki tekstur i krawędzi. Nie gramatyki poetyckiej, raczej jak… gramatyka podręcznika IKEA 🪑📦 (niezgrabna metafora, ale wystarczająco bliska).

Podstawy: co dzieje się podczas wnioskowania (podczas skalowania) ⚙️✨

Gdy przesyłasz obraz do urządzenia skalującego AI, zazwyczaj istnieje taki proces:

• Wstępne przetwarzanie

  • Konwersja przestrzeni kolorów (czasami)

  • Normalizuj wartości pikseli

  • Podziel obraz na fragmenty, jeśli jest duży (sprawdzenie realizmu VRAM 😭) (Repozytorium Real-ESRGAN (opcje kafelkowania))

• Ekstrakcja cech

  • Wczesne warstwy wykrywają krawędzie, rogi i gradienty

  • Głębsze warstwy wykrywają wzorce: tekstury, kształty, składniki twarzy

• Rekonstrukcja

  • Model generuje mapę cech o wyższej rozdzielczości

  • Następnie konwertuje to na rzeczywisty wynik pikseli

• Postprodukcja

  • Opcjonalne ostrzenie

  • Opcjonalne odszumianie

  • Opcjonalne tłumienie artefaktów (dzwonienie, aureole, blokowanie)

Jeden subtelny szczegół: wiele narzędzi skaluje kafelki, a następnie łączy łączenia. Świetne narzędzia ukrywają granice kafelków. Słabe narzędzia pozostawiają delikatne ślady siatki, jeśli mrużysz oczy. I tak, mrużysz oczy, bo ludzie uwielbiają badać drobne niedoskonałości przy powiększeniu 300% jak małe gremliny 🧌

Główne rodziny modeli używane do skalowania sztucznej inteligencji (i dlaczego wydają się inne) 🤖📚

1) Superrozdzielczość oparta na CNN (klasyczny koń roboczy)

Sieci neuronowe splotowe świetnie sprawdzają się w przypadku lokalnych wzorców: krawędzi, tekstur i małych struktur (Image Super-Resolution Using Deep Convolutional Networks (SRCNN)).

• Zalety: dość szybki, stabilny, mniej niespodzianek

• Wady: może wyglądać trochę „przetworzonie”, jeśli się go mocno naciśnie

2) Skalowanie w oparciu o GAN (w stylu ESRGAN) 🎭

Sieci GAN (Generative Adversarial Networks) uczą generator, jak wytwarzać obrazy o wysokiej rozdzielczości, których dyskryminator nie jest w stanie odróżnić od obrazów rzeczywistych (Generative Adversarial Networks).

• Zalety: wyraziste detale, imponująca faktura

• Wady: może wymyślać szczegóły, których tam nie było – czasami błędne, czasami niesamowite (SRGAN, ESRGAN)

GAN może zapewnić Ci zapierającą dech w piersiach ostrość. Może też dodać Twojemu portretowanemu dodatkowej brwi. Więc… wybieraj swoje bitwy 😬

3) Skalowanie oparte na dyfuzji (kreatywna karta przetargowa) 🌫️➡️🖼️

Modele dyfuzyjne odszumiają dane krok po kroku i mogą być wykorzystywane do generowania szczegółów o wysokiej rozdzielczości (SR3).

• Zalety: może być niesamowicie dobry w tworzeniu wiarygodnych szczegółów, szczególnie w pracach kreatywnych

• Wady: może dojść do odejścia od oryginalnej tożsamości/struktury, jeśli ustawienia są agresywne (SR3)

To właśnie tutaj „upscaling” zaczyna mieszać się z „reinterpretacją”. Czasami jest to dokładnie to, czego chcesz. Czasami nie.

4) Skalowanie wideo z zachowaniem spójności czasowej 🎞️

Skalowanie wideo często dodaje logikę uwzględniającą ruch:

• Wykorzystuje sąsiadujące klatki do stabilizacji szczegółów (BasicVSR (CVPR 2021))

• Próbuje unikać migotania i pełzających artefaktów

• Często łączy superrozdzielczość z odszumianiem i usuwaniem przeplotu (Topaz Video)

Jeśli skalowanie obrazu jest jak renowacja obrazu, to skalowanie wideo jest jak renowacja książki z ruchomymi obrazami bez zmiany kształtu nosa postaci na każdej stronie. Co jest… trudniejsze, niż się wydaje.

Dlaczego upscaling AI czasami wygląda na fałszywy (i jak to rozpoznać) 👀🚩

Skalowanie AI zawodzi w oczywisty sposób. Gdy poznasz te wzorce, zobaczysz je wszędzie, jakbyś kupował nowy samochód i nagle zauważył ten model na każdej ulicy 😵💫

Typowe sygnały:

• Woskowanie skóry twarzy (zbyt dużo szumów + wygładzanie)

• Zbyt wyostrzone aureole wokół krawędzi (klasyczne terytorium „przekroczenia”) (interpolacja bikubiczna)

• Powtarzające się tekstury (ściany z cegieł stają się wzorami kopiuj-wklej)

• Chrupiący mikrokontrast , który krzyczy „algorytm”

• Zniekształcanie tekstu , w którym litery stają się prawie-literami (najgorszy rodzaj)

• Dryf szczegółów , w którym drobne cechy ulegają subtelnym zmianom, szczególnie w przypadku przepływów pracy dyfuzyjnych (SR3)

Problem w tym, że czasami te artefakty wydają się „lepsze” na pierwszy rzut oka. Mózg lubi ostrość. Ale po chwili wydaje się… dziwna.

Dobrą taktyką jest oddalenie i sprawdzenie, czy wygląda naturalnie z normalnej odległości oglądania. Jeśli wygląda dobrze tylko przy powiększeniu 400%, to nie jest sukces, to hobby 😅

Jak działa skalowanie sztucznej inteligencji: strona szkoleniowa, bez matematycznego bólu głowy 📉🙂

Szkolenie modeli o superrozdzielczości zwykle obejmuje:

• Sparowane zestawy danych (wejście niskiej rozdzielczości, cel wysokiej rozdzielczości) (Superrozdzielczość obrazu przy użyciu głębokich sieci splotowych (SRCNN))

• Funkcje strat karzące za błędne rekonstrukcje (SRGAN)

Typowe rodzaje strat:

• Utrata pikseli (L1/L2)
  Zwiększa dokładność. Może dawać lekko rozmyte rezultaty.

• Utrata percepcji
  Porównuje głębsze cechy (np. „czy to wygląda podobnie”), a nie dokładne piksele (Utrata percepcji (Johnson i in., 2016)).

• Straty przeciwnika (GAN)
  Zachęcają do realizmu, czasami kosztem dosłownej dokładności (SRGAN, Generative Adversarial Networks).

Trwa nieustanna walka:

• Uczyń go wiernym oryginałowi
  

• Uczyń to wizualnie przyjemnym

Różne narzędzia znajdują się w różnych miejscach tego spektrum. I możesz preferować jedno w zależności od tego, czy odnawiasz zdjęcia rodzinne, czy przygotowujesz plakat, gdzie „ładny wygląd” liczy się bardziej niż precyzja kryminalistyczna.

Praktyczne przepływy pracy: zdjęcia, stare skany, anime i wideo 📸🧾🎥

Zdjęcia (portrety, krajobrazy, zdjęcia produktów)

Najlepszą praktyką jest zazwyczaj:

• Najpierw wykonaj delikatne odszumianie (jeśli to konieczne)

• Ekskluzywny, z konserwatywnymi ustawieniami

• Jeśli ciasto wydaje się zbyt gładkie, dodaj ziarno (tak, naprawdę)

Ziarno jest jak sól. Zbyt dużo psuje obiad, ale żadne nie jest trochę mdłe 🍟

Stare skany i mocno skompresowane obrazy

Są one trudniejsze, ponieważ model może traktować bloki kompresji jako „teksturę”.
Spróbuj:

• Usuwanie lub odblokowywanie artefaktów

• Następnie ekskluzywny

• Następnie lekkie wyostrzenie (nie za dużo… wiem, każdy tak mówi, ale mimo wszystko)

Anime i grafika liniowa

Zalety grafiki liniowej:

• Modele zachowujące czyste krawędzie

• Zmniejszona halucynacja tekstur.
  Skalowanie anime często wygląda świetnie, ponieważ kształty są prostsze i spójne. (Szczęściarz.)

Wideo

Film zawiera dodatkowe kroki:

• Denoise

• Deinterlace (dla niektórych źródeł)

• Ekskluzywny

• Wygładzanie lub stabilizacja czasowa (BasicVSR (CVPR 2021))

• Opcjonalne ponowne wprowadzenie ziarna w celu zapewnienia spójności

Jeśli pominiesz spójność czasową, otrzymasz migoczące migotanie detali. Kiedy je zauważysz, nie możesz tego odzobaczyć. Jak skrzypiące krzesło w cichym pokoju 😖

Wybieranie ustawień bez zgadywania (mała ściągawka) 🎛️😵💫

Oto dobry sposób myślenia na początek:

• Jeśli twarze wyglądają sztucznie
  , zmniejsz poziom szumów, wyostrzenie, wypróbuj model lub tryb zachowujący twarz.

• Jeśli tekstury wyglądają zbyt intensywnie,
  obniż ustawienia suwaków „wzmocnienia szczegółów” lub „odzyskania szczegółów”, a następnie dodaj delikatną ziarnistość.

• Jeśli krawędzie świecą,
  zmniejsz wyostrzanie i sprawdź opcje usuwania efektu halo.

• Jeśli obraz wygląda zbyt „sztucznie”,
  postaw na bardziej zachowawcze podejście. Czasami najlepszym rozwiązaniem jest po prostu… mniej.

A tak przy okazji: nie zwiększaj rozdzielczości do 8x tylko dlatego, że możesz. Czyste 2x lub 4x to często idealny punkt. Powyżej tego, prosisz modelkę o napisanie fanfika o twoich pikselach 📖😂

Etyka, autentyczność i niezręczna kwestia „prawdy” 🧭😬

Skalowanie sztucznej inteligencji zaciera pewne granice:

• Restauracja oznacza odzyskanie tego, co było

• Ulepszanie oznacza dodawanie tego, czego nie było

W przypadku zdjęć osobistych zazwyczaj wszystko jest w porządku (i piękne). W przypadku dziennikarstwa, dowodów prawnych, obrazowania medycznego czy czegokolwiek, gdzie liczy się wierność… należy zachować ostrożność (OSAC/NIST: Standardowy przewodnik po zarządzaniu obrazami cyfrowymi w celach kryminalistycznych, Wytyczne SWGDE dotyczące analizy obrazów w celach kryminalistycznych).

Prosta zasada:

• Jeśli stawka jest wysoka, traktuj skalowanie sztucznej inteligencji jako przykład, a nie coś ostatecznego.

Ujawnianie informacji ma również znaczenie w kontekście zawodowym. Nie dlatego, że sztuczna inteligencja jest zła, ale dlatego, że odbiorcy zasługują na wiedzę, czy szczegóły zostały zrekonstruowane, czy zarejestrowane. To po prostu… szacunek.

Podsumowanie i krótkie podsumowanie 🧡✅

Skalowanie AI działa więc w następujący sposób: modele uczą się, jak szczegóły o wysokiej rozdzielczości zazwyczaj odpowiadają wzorcom o niskiej rozdzielczości, a następnie wiarygodnie przewidują dodatkowe piksele podczas skalowania ( Deep Learning for Image Super-resolution: A Survey ). W zależności od rodziny modeli (CNN, GAN, dyfuzja, wideo-czas), ta prognoza może być konserwatywna i wierna… lub śmiała, a czasem wręcz nieobliczalna 😅

Krótkie podsumowanie

• Tradycyjne skalowanie rozciąga piksele (interpolacja bisześcienna)

• Skalowanie AI przewiduje brakujące szczegóły przy użyciu wyuczonych wzorców (Superrozdzielczość obrazu przy użyciu głębokich sieci splotowych (SRCNN))

• Świetne rezultaty uzyskuje się dzięki odpowiedniemu modelowi i powściągliwości

• Zwróć uwagę na aureole, woskowe powierzchnie, powtarzające się tekstury i migotanie w nagraniach wideo (BasicVSR (CVPR 2021))

• Skalowanie w górę jest często „prawdopodobną rekonstrukcją”, a nie idealną prawdą (SRGAN, ESRGAN)

Jeśli chcesz, powiedz mi, co chcesz przeskalować (twarze, stare zdjęcia, wideo, anime, skany tekstu), a ja zasugeruję strategię ustawień, która pozwoli uniknąć typowych pułapek związanych z „wyglądem AI” 🎯🙂

Przykład z życia wzięty: Podnoszenie jakości starych zdjęć produktów z targu 📸

Scenariusz

Mały sklep z używanymi aparatami fotograficznymi ma 40 zdjęć produktów wyeksportowanych ze starej strony internetowej o szerokości 800 pikseli. Właściciel chce je ponownie wykorzystać na nowej stronie e-commerce, gdzie zalecany rozmiar zdjęcia to 1600 pikseli szerokości.

Problem: standardowa zmiana rozmiaru sprawia, że ​​aparaty wyglądają na miękkie, a agresywne skalowanie za pomocą sztucznej inteligencji może sprawić, że gumowe uchwyty, numery seryjne i oznaczenia obiektywów będą wyglądać podejrzanie fałszywie. To istotne, ponieważ kupujący zwracają uwagę na te szczegóły przed zakupem.

Celem nie jest idealne „odtworzenie” brakujących informacji. Chodzi o stworzenie czystszych obrazów list, przy jednoczesnym zachowaniu dostępności oryginalnych plików, ponieważ skalowanie AI przewiduje prawdopodobne szczegóły, a nie gwarantuje prawdziwość.

Czego potrzebuje przepływ pracy

Oryginalne zdjęcia produktów, najlepiej w najmniej skompresowanych wersjach

Docelowy rozmiar wyjściowy, np. 2× skalowanie z szerokości 800 px do 1600 px

Narzędzie lub model z oddzielnymi elementami sterującymi do usuwania szumów, wyostrzania i artefaktów

Prosta lista kontrolna do sprawdzenia tekstu, krawędzi, logo, śrub, przycisków, faktury skóry i odbić

Folder na oryginały i osobny folder na edytowane eksporty, więc nic nie zostanie nadpisane

Przykładowa instrukcja

Podczas testowania upscalera AI należy stosować następujące instrukcje:

Powiększ to zdjęcie produktu o 2x, aby umieścić je w ofercie e-commerce. Zachowaj kształt obiektu, umiejscowienie logo, oznaczenia obiektywu, krawędzie przycisków i fakturę powierzchni jak najbardziej zbliżoną do oryginału. Użyj lekkiej kompresji, niskiego wyostrzenia i unikaj tworzenia dodatkowego tekstu, rys, etykiet, numerów seryjnych i detali dekoracyjnych. Ostateczny obraz powinien wyglądać naturalnie w standardowym rozmiarze strony produktu, a nie sztucznie ostry przy powiększeniu 400%.

Jak to przetestować

Zacznij od pięciu zmiksowanych obrazów przed przetworzeniem całej partii:

Jedno czyste zdjęcie produktu z dobrym oświetleniem

Jeden obraz skompresowany w formacie JPEG z blokami

Jedno zdjęcie z drobnym nadrukiem tekstu lub oznaczeniami soczewek

Jeden ciemny obraz z szumem w cieniach

Jeden obraz z odblaskowym metalem lub szkłem

Po przeskalowaniu porównaj każdy wynik z oryginałem w skali 100% i 200%. Sprawdź, czy nazwy marek, pokrętła, śruby, porty i wzory tekstur nadal się zgadzają. Jeśli model tworzy „prawie litery” lub fałszywe ślady na powierzchni, zmniejsz ustawienie wyostrzania lub odzyskiwania szczegółów.

Wynik

Wynik poglądowy: na podstawie czasu testu pięciu obrazów przed i po zastosowaniu tego przepływu pracy.

Ręczne czyszczenie i zmiana rozmiaru zajmowały około 9 minut w przypadku każdego obrazu, a 45 minut w przypadku pięciu obrazów.

Wspomagany przez sztuczną inteligencję obieg pracy trwał około 3 minut na obraz, a 15 minut na pięć obrazów.

Szacuje się, że przy pięciu obrazach zaoszczędzimy około 30 minut, a przy partii 40 obrazów około 4 godzin.

Wynik kontroli jakości: 4 z 5 zdjęć przeszło pierwszą kontrolę. Jedno zdjęcie nie zostało zaakceptowane, ponieważ upscaler zniekształcił mały tekst w obiektywie, więc zostało przetworzone ponownie z niższym wyostrzeniem i bez poprawy tekstu.

Wartościowym wskaźnikiem w tym przypadku nie jest po prostu „wygląda ostrzej”. Chodzi o to, ile zdjęć przechodzi porównanie bez wymyślonych szczegółów?

Co może pójść nie tak

Model może zamienić kurz, bloki JPEG lub zarysowania w „prawdziwą” teksturę.

Mały tekst może stać się fałszywym tekstem, który będzie wyglądał wiarygodnie, dopóki nie powiększysz obrazu.

Zbyt mocne odszumianie może sprawić, że guma, skóra lub szczotkowany metal będą wyglądać jak wosk.

Mocne ostrzenie może powodować powstawanie aureoli wokół krawędzi produktu.

Przetwarzanie wsadowe może ukrywać błędy, dlatego przed wyeksportowaniem całości należy przejrzeć próbkę.

W przypadku handlu elektronicznego najbezpieczniejsza zasada jest prosta: nigdy nie korzystaj ze sztucznej inteligencji w celu ukrycia uszkodzeń, zmiany stanu lub sprawienia, by produkt wyglądał na nowszy, niż jest w rzeczywistości.

Praktyczne wskazówki

Skalowanie AI działa najlepiej, gdy traktujesz je jako kontrolowany etap końcowy, a nie magiczny przycisk naprawy. Używaj konserwatywnych ustawień 2x, sprawdzaj szczegóły, na których zależy kupującym, i zachowaj oryginalny obraz, aby edytowana wersja pozostała wiarygodna.

Przykład z życia wzięty: Zwiększanie rozdzielczości starego filmu szkoleniowego bez jego migotania

Scenariusz

Mała firma szkoleniowa nagrała w 2014 roku 7-minutowy film instruktażowy z zasadami bezpieczeństwa w rozdzielczości 720p. Treść nadal ma wartość, ale na nowej stronie internetowej firmy nagranie wygląda słabo, zwłaszcza na większych ekranach laptopów.

Zespół chce wyeksportować czystszą wersję 1080p bez ponownego filmowania. Ryzyko polega na tym, że agresywne skalowanie AI może sprawić, że twarze będą wyglądać jak wosk, tekst na znakach stanie się „prawie słowami” lub powstanie migocząca tekstura między klatkami.

Celem nie jest to, aby film wyglądał jak nowy. Chodzi o to, aby był wyraźniejszy, stabilniejszy i mniej skompresowany, a jednocześnie aby twarz instruktora, ostrzeżenia, ruchy rąk i szczegóły sprzętu pozostały wierne oryginałowi.

Czego potrzebuje przepływ pracy

Oryginalny plik wideo, a nie skompresowana wersja do pobrania z mediów społecznościowych, jeśli to możliwe

Docelowy rozmiar eksportu, np. z 720p na 1080p, zamiast przeskakiwania od razu do 4K

Skaler wideo z opcjami redukcji szumów, wyostrzania, naprawy kompresji i spójności czasowej

Krótki klip testowy z twarzami, ruchem, tekstem i szczegółowymi powierzchniami

Lista kontrolna przeglądu pod kątem migotania, aureoli, zniekształconego tekstu, tekstury twarzy i ruchomych krawędzi

Zapisana kopia oryginalnego filmu do porównania i ujawnienia, jeśli zajdzie taka potrzeba

Przykładowa instrukcja

Przed obejrzeniem całego filmu skorzystaj z tego typu instrukcji:

Przeskaluj ten film szkoleniowy z rozdzielczością 720p do 1080p. Priorytetem jest naturalny ruch, stabilne krawędzie, czytelny tekst i realistyczna tekstura skóry. Użyj lekkiej kompresji i niskiego wyostrzania. Nie dorabiaj brakujących tekstów, logotypów, etykiet, zadrapań, szczegółów twarzy ani oznaczeń sprzętu. Unikaj migotania między klatkami. Efekt końcowy powinien być wyraźniejszy w normalnym rozmiarze, a nie sztucznie ostry po zatrzymaniu i powiększeniu.

Jak to przetestować

Przed przetworzeniem całego 7-minutowego pliku należy wyeksportować 20-sekundową próbkę zawierającą:

Twarz instruktora podczas mówienia

Ręka poruszająca się po ramce

Etykieta ostrzegawcza lub tekst drukowany małą czcionką

Teksturowana powierzchnia, np. tkanina, beton, szczotkowany metal lub plastik

Przesunięcie kamery lub jakikolwiek niestabilny ruch

Obejrzyj próbkę dwa razy: raz w normalnej prędkości i raz w trybie pauzy klatka po klatce. Przy normalnej prędkości zwróć uwagę na migotanie, pełzającą teksturę lub nienaturalny ruch wokół krawędzi. Po pauzie porównaj wersję oryginalną i przeskalowaną, aby sprawdzić, czy tekst, przyciski, narzędzia i rysy twarzy nadal się zgadzają.

Wynik

Przykładowy wynik: na podstawie pomiaru czasu trwania jednego 20-sekundowego klipu testowego i zastosowania tych samych ustawień do 7-minutowego filmu.

Ręczna zmiana rozmiaru i wyostrzenie zajęło około 35 minut, łącznie z eksportem i przeglądem, ale efekt końcowy obejmował widoczny połysk na włosach instruktora i aureole wokół znaków bezpieczeństwa.

Wspomagany przez sztuczną inteligencję obieg pracy trwał około 55 minut, wliczając w to eksporty testowe, ale pozwolił zmniejszyć liczbę problemów z recenzją z 8 widocznych problemów podczas pierwszego eksportu do 2 drobnych problemów podczas eksportu końcowego.

Wersja ostateczna przeszła 10 z 12 kontroli na liście kontrolnej. Dwa pozostałe problemy to lekka słabość tekstu w tle i delikatny szum w jednym z ciemnych rogów. Oba zostały zaakceptowane, ponieważ instruktor, sprzęt i instrukcje bezpieczeństwa pozostały spójne wizualnie.

W tym przypadku miarodajnym wskaźnikiem nie jest „osiągnięcie 1080p”, ale: przez ile sekund filmu pojawiają się rozpraszające artefakty podczas normalnego odtwarzania?

Co może pójść nie tak

Model może wyostrzyć bloki kompresyjne i nadać im wygląd prawdziwej tekstury.

Drobny tekst może wyglądać pewniej, ale być mniej dokładny.

Jeśli poziom odszumiania będzie zbyt wysoki, twarze mogą stać się zbyt gładkie.

Ruchome krawędzie mogą migotać, jeżeli narzędzie traktuje każdą klatkę zbyt niezależnie.

Eksport w rozdzielczości 4K może wyglądać gorzej niż ograniczony eksport w rozdzielczości 1080p, ponieważ model musi wymyślić zbyt wiele szczegółów.

Największym błędem jest ocenianie tylko zatrzymanej klatki. Skalowanie wideo musi wyglądać naturalnie w ruchu, a nie tylko imponująco jako statyczny obraz.

Praktyczne wskazówki

W przypadku wideo, upscaling z wykorzystaniem sztucznej inteligencji działa najlepiej, gdy najpierw przetestujesz krótki fragment, zachowasz umiarkowany poziom upscalingu i ocenisz ruch przed ostrością. Nieco bardziej miękki, ale stabilny rezultat jest zazwyczaj lepszy niż wyraźna wersja, która migocze za każdym razem, gdy ktoś się porusza.

Często zadawane pytania

Skalowanie sztucznej inteligencji i jak to działa

Skalowanie w górę (często nazywane „superrozdzielczością”) zwiększa rozdzielczość obrazu poprzez przewidywanie brakujących szczegółów o wysokiej rozdzielczości na podstawie wzorców wyuczonych podczas treningu. Zamiast po prostu rozciągać piksele jak w interpolacji bisześciennej, model analizuje krawędzie, tekstury, twarze i obrysy przypominające tekst, a następnie generuje nowe dane pikselowe, które są spójne z wyuczonymi wzorcami. To mniej „przywracanie rzeczywistości”, a bardziej „tworzenie wiarygodnego przypuszczenia”, które brzmi naturalnie.

Skalowanie AI w porównaniu ze skalowaniem bikubicznym lub tradycyjnym

Tradycyjne metody skalowania w górę (takie jak bikubiczne) polegają głównie na interpolacji między istniejącymi pikselami, wygładzając przejścia bez tworzenia prawdziwie nowych szczegółów. Skalowanie w górę z wykorzystaniem sztucznej inteligencji (AI) ma na celu rekonstrukcję prawdopodobnej struktury poprzez rozpoznawanie sygnałów wizualnych i przewidywanie, jak będą wyglądać wersje tych sygnałów w wysokiej rozdzielczości. Dlatego wyniki uzyskane za pomocą AI mogą wydawać się znacznie ostrzejsze, a także dlatego mogą wprowadzać artefakty lub „wymyślać” szczegóły, których nie było w źródle.

Dlaczego twarze mogą wyglądać jak woskowe lub zbyt gładkie

Woskowe twarze zazwyczaj powstają w wyniku agresywnego usuwania szumów i wygładzania w połączeniu z wyostrzaniem, które usuwa naturalną teksturę skóry. Wiele narzędzi traktuje szum i delikatną teksturę w podobny sposób, więc „czyszczenie” obrazu może usunąć pory i subtelne detale. Powszechnym podejściem jest redukcja szumów i wyostrzania, użycie trybu zachowania twarzy, jeśli jest dostępny, a następnie ponowne wprowadzenie odrobiny ziarna, aby efekt był mniej plastikowy i bardziej fotograficzny.

Typowe artefakty skalowania AI, na które należy zwrócić uwagę

Typowe oznaki to aureole wokół krawędzi, powtarzające się wzory tekstur (jak cegły kopiowane i wklejane), wyrazisty mikrokontrast i tekst, który zmienia się w „prawie litery”. W procesach pracy opartych na dyfuzji można również zaobserwować dryf detali, gdzie drobne elementy ulegają subtelnym zmianom. W przypadku wideo migotanie i przesuwanie się detali w klatkach to poważne sygnały ostrzegawcze. Jeśli efekt wygląda dobrze tylko przy ekstremalnym powiększeniu, ustawienia są prawdopodobnie zbyt agresywne.

Jak skalatory GAN, CNN i dyfuzyjne różnią się pod względem wyników

Superrozdzielczość oparta na CNN jest zazwyczaj bardziej stabilna i przewidywalna, ale może sprawiać wrażenie „przetworzonej”, jeśli zostanie mocno przeciążona. Opcje oparte na GAN (w stylu ESRGAN) często zapewniają bardziej wyrazistą teksturę i postrzeganą ostrość, ale mogą powodować halucynacje z nieprawidłowymi szczegółami, szczególnie na twarzach. Skalowanie w górę oparte na dyfuzji może generować piękne, wiarygodne szczegóły, ale może odbiegać od oryginalnej struktury, jeśli ustawienia naprowadzania lub siły są zbyt wysokie.

Praktyczna strategia ustawień, która pozwoli uniknąć wrażenia „zbyt sztucznej inteligencji”

Zacznij konserwatywnie: zwiększ rozdzielczość 2x lub 4x, zanim sięgniesz po ekstremalne parametry. Jeśli twarze wyglądają sztucznie, zmniejsz poziom szumów i wyostrzania oraz wypróbuj tryb rozpoznawania twarzy. Jeśli tekstury stają się zbyt intensywne, zmniejsz poziom detali i rozważ dodanie subtelnego ziarna. Jeśli krawędzie świecą, zmniejsz poziom wyostrzania i sprawdź redukcję aureoli lub artefaktów. W wielu procesach produkcyjnych „mniej” wygrywa, ponieważ zachowuje wiarygodny realizm.

Obsługa starych skanów lub mocno skompresowanych obrazów JPEG przed skalowaniem

Skompresowane obrazy są problematyczne, ponieważ modele mogą traktować artefakty blokowe jako rzeczywiste tekstury i je wzmacniać. Typowy proces pracy polega na najpierw usunięciu artefaktów lub deblokowaniu, następnie zwiększeniu skali, a następnie delikatnym wyostrzeniu tylko w razie potrzeby. W przypadku skanów delikatne czyszczenie może pomóc modelowi skupić się na rzeczywistej strukturze, a nie na uszkodzeniach. Celem jest redukcja „fałszywych wskazówek dotyczących tekstury”, aby osoba dokonująca skalowania nie była zmuszona do podejmowania trafnych decyzji na podstawie zaszumionych danych wejściowych.

Dlaczego skalowanie wideo jest trudniejsze niż skalowanie zdjęć

Skalowanie wideo musi być spójne we wszystkich klatkach, a nie tylko dobre na jednym nieruchomym obrazie. Jeśli szczegóły migoczą klatka po klatce, efekt szybko staje się rozpraszający. Podejścia skoncentrowane na wideo wykorzystują informacje czasowe z sąsiednich klatek, aby ustabilizować rekonstrukcję i uniknąć migotliwych artefaktów. Wiele procesów obejmuje również odszumianie, usuwanie przeplotu dla niektórych źródeł oraz opcjonalne ponowne wprowadzenie ziarna, aby cała sekwencja wydawała się spójna, a nie sztucznie ostra.

Kiedy skalowanie sztucznej inteligencji nie jest odpowiednie lub jest ryzykowne

Skalowanie AI najlepiej traktować jako udoskonalenie, a nie dowód. W kontekstach wysokiego ryzyka, takich jak dziennikarstwo, dowodowość prawna, obrazowanie medyczne czy badania kryminalistyczne, generowanie „wiarygodnych” pikseli może wprowadzać w błąd, ponieważ może dodawać szczegóły, które nie zostały zarejestrowane. Bezpieczniejszym sposobem jest użycie tego w sposób ilustracyjny i ujawnienie, że proces AI zrekonstruował szczegóły. Jeśli wierność jest kluczowa, zachowaj oryginały i udokumentuj każdy etap i ustawienie przetwarzania.

Odniesienia

1. arXiv – Głębokie uczenie się dla superrozdzielczości obrazu: przegląd – arxiv.org

2. arXiv – Superrozdzielczość obrazu z wykorzystaniem głębokich sieci splotowych (SRCNN) – arxiv.org

3. arXiv - Real-ESRGAN - arxiv.org

4. arXiv - ESRGAN - arxiv.org

5. arXiv - SR3 - arxiv.org

6. NVIDIA Developer - NVIDIA DLSS - developer.nvidia.com

7. AMD GPUOpen - FidelityFX Super Resolution 2 - gpuopen.com

8. Fundacja Computer Vision Foundation (CVF) Open Access – BasicVSR: Poszukiwanie kluczowych komponentów w superrozdzielczości wideo (CVPR 2021) – openaccess.thecvf.com

9. arXiv - Generatywne sieci adwersarskie - arxiv.org

10. arXiv - SRGAN - arxiv.org

11. arXiv - Straty percepcyjne (Johnson i in., 2016) - arxiv.org

12. GitHub - repozytorium Real-ESRGAN (opcje kafelków) - github.com

13. Wikipedia – Interpolacja bikubiczna – wikipedia.org

14. Topaz Labs - Zdjęcie Topaz - topazlabs.com

15. Topaz Labs - Topaz Video - topazlabs.com

16. Centrum pomocy Adobe — Adobe Enhance > Super rozdzielczość — helpx.adobe.com

17. NIST/OSAC – Standardowy przewodnik po zarządzaniu cyfrowymi obrazami do celów kryminalistycznych (wersja 1.0) – nist.gov

18. SWGDE – Wytyczne dotyczące analizy obrazów kryminalistycznych – swgde.org

Znajdź najnowszą sztuczną inteligencję w oficjalnym sklepie z asystentami AI

O nas