Jak wdrażać modele AI

Jak wdrażać modele AI

Krótka odpowiedź: Wdrożenie modelu AI oznacza wybór wzorca obsługi (w czasie rzeczywistym, wsadowo, strumieniowo lub na brzegu sieci), a następnie zapewnienie powtarzalności, obserwowalności, bezpieczeństwa i odwracalności całej ścieżki. Wersjonowanie wszystkiego i testowanie opóźnień p95/p99 na ładunkach o charakterze produkcyjnym pozwala uniknąć większości awarii typu „działa na moim laptopie”.

Najważniejsze wnioski:

Wzorce wdrażania: wybierz tryb wdrażania w czasie rzeczywistym, wsadowego, strumieniowego lub brzegowego przed podjęciem decyzji o wyborze narzędzi.

Powtarzalność: Twórz wersje modelu, funkcji, kodu i środowiska, aby zapobiec dryfowi.

Obserwowalność: ciągłe monitorowanie ogonów opóźnień, błędów, nasycenia oraz rozkładu danych lub wyników.

Bezpieczne wdrożenia: Użyj testów kanarkowych, niebiesko-zielonych lub cieniowych z automatycznymi progami wycofywania.

Bezpieczeństwo i prywatność: zastosuj uwierzytelnianie, limity przepustowości i zarządzanie sekretami, a także zminimalizuj dane osobowe w logach.

Jak wdrażać modele AI? Infografika

Artykuły, które mogą Ci się spodobać po przeczytaniu tego: 

🔗 Jak mierzyć wydajność sztucznej inteligencji
Poznaj wskaźniki, testy porównawcze i kontrole w warunkach rzeczywistych, aby uzyskać wiarygodne wyniki sztucznej inteligencji.

🔗 Jak automatyzować zadania za pomocą sztucznej inteligencji
Zmień powtarzalną pracę w przepływy pracy, korzystając z monitów, narzędzi i integracji.

🔗 Jak testować modele AI
Projektuj oceny, zestawy danych i punktację, aby obiektywnie porównywać modele.

🔗 Jak rozmawiać ze sztuczną inteligencją
Zadawaj lepsze pytania, ustalaj kontekst i szybko otrzymuj bardziej zrozumiałe odpowiedzi.

1) Co tak naprawdę oznacza „wdrożenie” (i dlaczego nie jest to tylko API) 🧩

Kiedy ludzie mówią „wdrożyć model”, mogą mieć na myśli którekolwiek z poniższych:

Wdrożenie jest więc mniej oparte na zasadzie „udostępniania modelu”, a bardziej na:

To trochę jak otwieranie restauracji. Przygotowanie świetnego dania jest ważne, jasne. Ale nadal potrzebujesz budynku, personelu, chłodzenia, menu, łańcucha dostaw i sposobu na obsługę szczytu zamówień bez płaczu w chłodni. Nie jest to idealna metafora… ale rozumiesz. 🍝

2) Co sprawia, że ​​wersja „Jak wdrażać modele AI” jest dobra?

„Dobre wdrożenie” jest nudne w najlepszym tego słowa znaczeniu. Zachowuje się przewidywalnie pod presją, a gdy tak się nie dzieje, można to szybko zdiagnozować.

Oto jak zazwyczaj wygląda „dobro”:

  • Powtarzalne kompilacje.
    Ten sam kod + te same zależności = to samo zachowanie. Żadnych upiornych „działa na moim laptopie” 👻 ( Docker: Czym jest kontener? )

  • Przejrzysty kontrakt interfejsu.
    Zdefiniowano wejścia, wyjścia, schematy i przypadki brzegowe. Żadnych niespodzianek o 2 w nocy. ( OpenAPI: Czym jest OpenAPI?, Schemat JSON )

  • Wydajność odpowiadająca rzeczywistości
    Opóźnienia i przepustowość mierzone na sprzęcie produkcyjnym i realistycznych ładunkach.

  • Monitorowanie z użyciem zębów
    Metryki, logi, ślady i kontrole dryftu, które wyzwalają działanie (nie tylko pulpity nawigacyjne, których nikt nie otwiera). ( Książka SRE: Monitorowanie systemów rozproszonych )

  • Bezpieczna strategia wdrażania
    Canary lub Blue-Green, łatwe wycofywanie, wersjonowanie nie wymagające modlitwy. ( Wydanie Canary , Wdrożenie Blue-Green )

  • Świadomość kosztów
    „Szybkość” jest świetna, dopóki rachunek nie wygląda jak numer telefonu 📞💸

  • Bezpieczeństwo i prywatność wbudowane w
    zarządzanie sekretami, kontrolę dostępu, obsługę danych osobowych, możliwość audytu. ( Kubernetes Secrets , NIST SP 800-122 )

Jeśli potrafisz to robić regularnie, jesteś już przed większością drużyn. Bądźmy szczerzy.

3) Wybierz właściwy wzorzec wdrożenia (zanim wybierzesz narzędzia) 🧠

Wnioskowanie API w czasie rzeczywistym ⚡

Najlepiej, kiedy:

  • użytkownicy potrzebują natychmiastowych rezultatów (rekomendacji, kontroli oszustw, czatu, personalizacji)

  • decyzje muszą zostać podjęte w trakcie żądania

Uwaga:

Punktacja zbiorcza 📦

Najlepiej, kiedy:

  • prognozy mogą być opóźnione (nocna ocena ryzyka, prognoza odejść, wzbogacanie ETL) ( Amazon SageMaker Batch Transform )

  • chcesz efektywności kosztowej i prostszych operacji

Uwaga:

  • świeżość danych i uzupełnianie

  • zachowanie spójności logiki funkcji z treningiem

Wnioskowanie strumieniowe 🌊

Najlepiej, kiedy:

  • przetwarzasz zdarzenia w sposób ciągły (IoT, strumienie kliknięć, systemy monitorujące)

  • chcesz podejmować decyzje niemal w czasie rzeczywistym bez ścisłej relacji żądanie-odpowiedź

Uwaga:

Wdrożenie brzegowe 📱

Najlepiej, kiedy:

Uwaga:

Najpierw wybierz wzór, a potem stos. W przeciwnym razie wciśniesz kwadratowy model do okrągłego środowiska wykonawczego. Albo coś w tym stylu. 😬

4) Zapakowanie modelu tak, aby przetrwał kontakt z produkcją 📦🧯

W tym miejscu większość „łatwych wdrożeń” po cichu umiera.

Wersja wszystkiego (tak, wszystkiego)

  • Artefakt modelu (wagi, wykres, tokenizator, mapy etykiet)

  • Logika cech (transformacje, normalizacja, enkodery)

  • Kod wnioskowania (przed/po przetwarzaniu)

  • Środowisko (Python, CUDA, biblioteki systemowe)

Proste podejście, które działa:

  • traktuj model jak artefakt wydania

  • przechowuj z tagiem wersji

  • wymaga pliku metadanych w formie karty modelu: schematu, metryk, notatek dotyczących migawki danych treningowych, znanych ograniczeń ( karty modeli do raportowania modeli )

Pojemniki pomagają, ale nie należy ich czcić 🐳

Pojemniki są świetne, ponieważ:

Ale nadal musisz zarządzać:

Standaryzacja interfejsu

Zdecyduj już teraz o formacie wejścia/wyjścia:

Proszę również o walidację danych wejściowych. Nieprawidłowe dane wejściowe są główną przyczyną zgłoszeń typu „dlaczego zwraca bezsensowne dane”. ( OpenAPI: Czym jest OpenAPI?, Schemat JSON )

5) Opcje serwowania – od „prostego API” do serwerów pełnomodelowych 🧰

Istnieją dwie popularne trasy:

Opcja A: Serwer aplikacji + kod wnioskowania (podejście w stylu FastAPI) 🧪

Możesz napisać API, które ładuje model i zwraca prognozy. ( FastAPI )

Zalety:

  • łatwe do dostosowania

  • świetnie nadaje się do prostszych modeli lub produktów na wczesnym etapie produkcji

  • proste uwierzytelnianie, routing i integracja

Wady:

  • własne dostrajanie wydajności (przetwarzanie wsadowe, wielowątkowe, wykorzystanie GPU)

  • wymyślisz koła na nowo, może na początku źle

Opcja B: Serwer modelowy (podejście w stylu TorchServe/Triton) 🏎️

Specjalistyczne serwery obsługujące:

Zalety:

  • lepsze wzorce wydajności od razu po wyjęciu z pudełka

  • czystsze oddzielenie obsługi od logiki biznesowej

Wady:

  • dodatkowa złożoność operacyjna

  • konfiguracja może wydawać się… skomplikowana, jak regulacja temperatury prysznica

Wzór hybrydowy jest bardzo powszechny:

6) Tabela porównawcza – popularne sposoby wdrażania (z uczciwymi wibracjami) 📊😌

Poniżej znajduje się praktyczny przegląd opcji, z których ludzie faktycznie korzystają, próbując dowiedzieć się, jak wdrażać modele sztucznej inteligencji .

Narzędzie / Podejście Publiczność Cena Dlaczego to działa
Docker + FastAPI (lub podobny) Małe zespoły, startupy Wolny Proste, elastyczne, szybkie w dostawie – poczujesz każdy problem ze skalowaniem ( Docker , FastAPI )
Kubernetes (zrób to sam) Zespoły platformowe Infra-zależny Kontrola + skalowalność… a także mnóstwo pokręteł, niektóre z nich przeklęte ( Kubernetes HPA )
Platforma zarządzanego uczenia maszynowego (usługa uczenia maszynowego w chmurze) Zespoły, które chcą mniej operacji Płać za to, z czego korzystasz Wbudowane przepływy pracy wdrożeniowe, haki monitorujące – czasami kosztowne w przypadku punktów końcowych stale włączonych ( wdrożenie Vertex AI , wnioskowanie w czasie rzeczywistym SageMaker )
Funkcje bezserwerowe (do lekkiego wnioskowania) Aplikacje sterowane zdarzeniami Płać za użycie Świetnie nadaje się do jazdy w korkach, ale zimne starty i rozmiar modelu mogą zepsuć Ci dzień 😬 ( zimne starty AWS Lambda )
Serwer wnioskowania NVIDIA Triton Zespoły skoncentrowane na wydajności Darmowe oprogramowanie, koszt infrastruktury Doskonałe wykorzystanie GPU, przetwarzanie wsadowe, obsługa wielu modeli – konfiguracja wymaga cierpliwości ( Tritona: dynamiczne przetwarzanie wsadowe )
TorchServe Zespoły intensywnie korzystające z PyTorch Wolne oprogramowanie Przyzwoite domyślne wzorce serwowania – mogą wymagać dostrojenia w przypadku dużej skali ( dokumentacja TorchServe )
BentoML (pakowanie i serwowanie) Inżynierowie ML Bezpłatny rdzeń, dodatki są różne Płynne pakowanie, przyjemne środowisko dla programistów — nadal musisz mieć możliwość wyboru infrastruktury ( pakowanie BentoML do wdrożenia )
Ray Serve Ludzie systemów rozproszonych Infra-zależny Skalowalność pozioma, dobra dla potoków – wydaje się „duża” w przypadku małych projektów ( dokumentacja Ray Serve )

Uwaga: „Prawie darmowe” to termin z życia wzięty. Bo nigdy nie jest za darmo. Zawsze gdzieś jest rachunek, nawet za sen. 😴

7) Wydajność i skalowalność – opóźnienie, przepustowość i prawda 🏁

Strojenie wydajności to moment, w którym wdrożenie staje się sztuką. Celem nie jest „szybkość”. Celem jest stabilna, wystarczająco szybka praca .

Kluczowe wskaźniki, które mają znaczenie

Typowe dźwignie do pociągnięcia

  • Łączenie
    żądań wsadowych w celu maksymalizacji wykorzystania GPU. Świetne dla przepustowości, ale może negatywnie wpłynąć na opóźnienia, jeśli przesadzisz. ( Triton: Dynamiczne przetwarzanie wsadowe )

  • Kwantyzacja.
    Niższa precyzja (np. INT8) może przyspieszyć wnioskowanie i zmniejszyć ilość pamięci. Może nieznacznie obniżyć dokładność. Czasami jednak nie, co jest zaskakujące. ( Kwantyzacja po treningu ).

  • Kompilacja/optymalizacja
    eksportu ONNX, optymalizatory grafów, przepływy w stylu TensorRT. Potężne, ale debugowanie może być pikantne 🌶️ ( ONNX , optymalizacje modeli w czasie wykonywania ONNX )

  • Buforowanie
    Jeśli dane wejściowe się powtarzają (lub możesz buforować osadzenia), możesz sporo zaoszczędzić.

  • automatyczne
    Skalowanie w zależności od wykorzystania procesora/procesora graficznego, głębokości kolejki lub częstotliwości żądań. Głębokość kolejki jest niedoceniana. ( Kubernetes HPA )

Dziwna, ale prawdziwa rada: mierz z rozmiarami ładunków, jak te używane w produkcji. Malutkie ładunki testowe kłamią. Uśmiechają się uprzejmie, a potem zdradzają.

8) Monitorowanie i obserwacja – nie działaj w ciemno 👀📈

Monitorowanie modelu to nie tylko monitorowanie czasu sprawności. Chcesz wiedzieć, czy:

Co monitorować (minimalny zestaw wykonalny)

Usługi zdrowotne

Zachowanie modelu

  • rozkłady cech wejściowych (podstawowe statystyki)

  • normy osadzania (do modeli osadzania)

  • rozkłady wyników (pewność siebie, struktura klas, zakresy wyników)

  • wykrywanie anomalii na wejściach (śmieci na wejściu, śmieci na wyjściu)

Dryf danych i dryf koncepcji

Rejestrowanie, ale nie w podejściu „rejestruj wszystko na zawsze” 🪵

Dziennik:

Uważaj na prywatność. Nie chcesz, aby Twoje logi stały się przyczyną wycieku danych. ( NIST SP 800-122 )

9) CI/CD i strategie wdrażania – traktuj modele jak prawdziwe wydania 🧱🚦

Jeśli zależy Ci na niezawodnych wdrożeniach, zbuduj potok. Nawet prosty.

Stały przepływ

  • Testy jednostkowe do wstępnego i końcowego przetwarzania

  • Test całkowy ze znanym „złotym zbiorem” wejścia-wyjścia

  • Test obciążeniowy bazowy (nawet lekki)

  • Zbuduj artefakt (kontener + model) ( najlepsze praktyki budowania Dockera )

  • Wdrażanie na etapie przygotowawczym

  • Wydanie Canary dla niewielkiej części ruchu ( Canary Release )

  • Stopniowo zwiększaj tempo

  • Automatyczne cofanie kluczowych progów ( wdrożenie niebiesko-zielone )

Wzorce wdrażania, które ratują Twój zdrowy rozsądek

I wersjonuj swoje punkty końcowe lub trasy według wersji modelu. W przyszłości będziesz sobie wdzięczny. Teraz również będziesz sobie wdzięczny, ale po cichu.

10) Bezpieczeństwo, prywatność i „proszę nie ujawniać informacji” 🔐🙃

Ochrona ma tendencję do spóźniania się, jak nieproszony gość. Lepiej zaprosić ją wcześniej.

Praktyczna lista kontrolna

  • Uwierzytelnianie i autoryzacja (kto może wywołać model?)

  • Ograniczanie przepustowości (ochrona przed nadużyciami i przypadkowymi burzami) ( ograniczenie przepustowości API Gateway )

  • Zarządzanie sekretami (żadnych kluczy w kodzie, ani w plikach konfiguracyjnych…) ( AWS Secrets Manager , Kubernetes Secrets )

  • Kontrola sieci (prywatne podsieci, zasady dotyczące usług)

  • Dzienniki audytu (szczególnie w przypadku wrażliwych prognoz)

  • Minimalizacja danych (przechowuj tylko te dane, które musisz przechowywać) ( NIST SP 800-122 )

Jeśli modelka ujawnia dane osobowe:

  • redaguj lub haszuj identyfikatory

  • unikaj rejestrowania surowych ładunków ( NIST SP 800-122 )

  • zdefiniuj zasady przechowywania

  • przepływ danych dokumentu (nudny, ale zabezpieczający)

Ponadto, szybkie wstrzykiwanie i nadużywanie wyników mogą mieć znaczenie w przypadku modeli generatywnych. Dodaj: ( OWASP Top 10 dla aplikacji LLM , OWASP: Szybkie wstrzykiwanie )

  • zasady dezynfekcji danych wejściowych

  • filtrowanie wyjściowe, gdzie to właściwe

  • bariery ochronne do wywoływania narzędzi lub działań w bazie danych

Żaden system nie jest doskonały, ale można uczynić go mniej kruchym.

11) Typowe pułapki (znane również jako zwykłe pułapki) 🪤

Oto klasyki:

Jeśli czytasz to i myślisz: „Tak, robimy dwa takie rzeczy”, witaj w klubie. Klub oferuje przekąski i lekki stres. 🍪

12) Podsumowanie – jak wdrażać modele sztucznej inteligencji, nie tracąc przy tym rozumu 😄✅

Wdrożenie to moment, w którym sztuczna inteligencja staje się prawdziwym produktem. Nie jest to efektowne, ale to właśnie tam zdobywa się zaufanie.

Krótkie podsumowanie

No i tak, „Jak wdrażać modele AI” może na początku przypominać żonglowanie płonącymi kulami do kręgli. Ale gdy proces się ustabilizuje, staje się to dziwnie satysfakcjonujące. Jak w końcu uporządkowanie zagraconej szuflady… tyle że szuflada to ruch produkcyjny. 🔥🎳

Często zadawane pytania

Co oznacza wdrożenie modelu AI w środowisku produkcyjnym

Wdrożenie modelu AI zazwyczaj wymaga znacznie więcej niż tylko udostępnienia interfejsu API predykcyjnego. W praktyce obejmuje ono spakowanie modelu i jego zależności, wybór wzorca obsługi (w czasie rzeczywistym, wsadowo, strumieniowo lub na brzegu sieci), skalowanie z zapewnieniem niezawodności, monitorowanie stanu i dryftu oraz skonfigurowanie bezpiecznych ścieżek wdrażania i wycofywania. Solidne wdrożenie pozostaje przewidywalnie stabilne pod obciążeniem i umożliwia diagnostykę w przypadku awarii.

Jak wybrać między wdrożeniem w czasie rzeczywistym, wsadowym, strumieniowym i brzegowym

Wybierz wzorzec wdrożenia w oparciu o to, kiedy potrzebne są prognozy i jakie ograniczenia obowiązują w Twojej firmie. Interfejsy API działające w czasie rzeczywistym sprawdzają się w interaktywnych środowiskach, w których istotne są opóźnienia. Ocena wsadowa sprawdza się najlepiej, gdy opóźnienia są akceptowalne, a efektywność kosztowa ma priorytet. Streaming sprawdza się w ciągłym przetwarzaniu zdarzeń, zwłaszcza gdy semantyka dostarczania staje się problematyczna. Wdrożenie brzegowe idealnie nadaje się do pracy w trybie offline, prywatności lub wymagań dotyczących bardzo niskich opóźnień, choć aktualizacje i zmienność sprzętu stają się trudniejsze w zarządzaniu.

Jakie wersje stosować, aby uniknąć niepowodzeń wdrażania „działa na moim laptopie”

Wersjonuj więcej niż tylko wagi modelu. Zazwyczaj potrzebny jest artefakt modelu z wersjonowaną wersją (w tym tokenizery lub mapy etykiet), logikę wstępnego przetwarzania i funkcji, kod wnioskowania oraz pełne środowisko wykonawcze (biblioteki Python/CUDA/systemowe). Traktuj model jak artefakt wydania z oznaczonymi wersjami i lekkimi metadanymi opisującymi oczekiwania dotyczące schematu, uwagi dotyczące ewaluacji i znane ograniczenia.

Czy wdrożyć prostą usługę w stylu FastAPI czy dedykowany serwer modelowy

Prosty serwer aplikacji (w stylu FastAPI) sprawdza się w przypadku wczesnych produktów lub prostych modeli, ponieważ zachowuje kontrolę nad routingiem, uwierzytelnianiem i integracją. Serwer modelowy (w stylu TorchServe lub NVIDIA Triton) może od razu zapewnić lepsze przetwarzanie wsadowe, współbieżność i wydajność GPU. Wiele zespołów decyduje się na rozwiązanie hybrydowe: serwer modelowy do wnioskowania oraz cienką warstwę API do uwierzytelniania, kształtowania żądań i limitów przepustowości.

Jak poprawić opóźnienie i przepustowość bez utraty dokładności

Zacznij od pomiaru opóźnień p95/p99 na sprzęcie produkcyjnym z realistycznymi obciążeniami, ponieważ testy na małych jednostkach mogą wprowadzać w błąd. Typowe mechanizmy to przetwarzanie wsadowe (lepsza przepustowość, potencjalnie gorsze opóźnienia), kwantyzacja (mniejsza i szybsza, czasami z niewielkimi kompromisami w zakresie dokładności), przepływy kompilacji i optymalizacji (podobne do ONNX/TensorRT) oraz buforowanie powtarzających się danych wejściowych lub osadzenia. Automatyczne skalowanie oparte na głębokości kolejki może również zapobiegać wzrostowi opóźnień ogonowych.

Jakie monitorowanie jest potrzebne poza stanem „punkt końcowy działa”

Czas sprawności to za mało, ponieważ usługa może wyglądać na sprawną, a jakość prognoz spada. Monitoruj co najmniej wolumen żądań, częstotliwość błędów i rozkład opóźnień, a także sygnały nasycenia, takie jak obciążenie procesora/karty graficznej/pamięci i czas kolejki. W przypadku zachowania modelu śledź rozkłady wejściowe i wyjściowe wraz z podstawowymi sygnałami anomalii. Dodaj kontrole dryfu, które wyzwalają działanie zamiast alertów generujących zakłócenia, oraz rejestruj identyfikatory żądań, wersje modeli i wyniki walidacji schematu.

Jak bezpiecznie wprowadzać nowe wersje modeli i szybko je przywracać

Traktuj modele jak pełne wydania, z procesem CI/CD, który testuje preprocesowanie i postprocesowanie, przeprowadza kontrole integracji względem „złotego zestawu” i ustala poziom bazowy obciążenia. W przypadku wdrożeń, kanarkowy system stopniowo zwiększa ruch, podczas gdy niebiesko-zielony utrzymuje starszą wersję w trybie awaryjnym. Testowanie w tle pomaga ocenić nowy model na rzeczywistym ruchu, bez wpływu na użytkowników. Wycofywanie powinno być mechanizmem najwyższej klasy, a nie dodatkiem.

Najczęstsze pułapki podczas nauki wdrażania modeli AI

Klasycznym przypadkiem jest nierówność między treningiem a obsługą: przetwarzanie wstępne różni się w procesie treningowym i produkcyjnym, a wydajność po cichu spada. Innym częstym problemem jest brak walidacji schematu, gdzie zmiana w strumieniu danych wejściowych w subtelny sposób psuje dane wejściowe. Zespoły nie doceniają również opóźnień na końcu łańcucha i nadmiernie koncentrują się na średnich, pomijają koszty (bezczynność GPU szybko się kumuluje) i pomijają planowanie wycofania. Monitorowanie wyłącznie czasu sprawności jest szczególnie ryzykowne, ponieważ „sprawność, ale niesprawność” może być gorsza niż awaria.

Odniesienia

  1. Amazon Web Services (AWS) – Amazon SageMaker: wnioskowanie w czasie rzeczywistym – docs.aws.amazon.com

  2. Amazon Web Services (AWS) – transformacja wsadowa Amazon SageMaker – docs.aws.amazon.com

  3. Amazon Web Services (AWS) – Monitor modelu Amazon SageMaker – docs.aws.amazon.com

  4. Amazon Web Services (AWS) – ograniczanie żądań API Gateway – docs.aws.amazon.com

  5. Amazon Web Services (AWS) – AWS Secrets Manager: Wprowadzenie – docs.aws.amazon.com

  6. Amazon Web Services (AWS) – cykl życia środowiska wykonawczego AWS Lambda – docs.aws.amazon.com

  7. Google Cloud — Vertex AI: wdrażanie modelu w punkcie końcowym — docs.cloud.google.com

  8. Google Cloud – Omówienie monitorowania modelu Vertex AI – docs.cloud.google.com

  9. Google Cloud – Vertex AI: Monitoruj przekoszenie i dryft obiektów – docs.cloud.google.com

  10. Blog Google Cloud – Przepływ danych: tryby przesyłania strumieniowego „dokładnie raz” i „co najmniej raz” – cloud.google.com

  11. Google Cloud – tryby przesyłania strumieniowego Cloud Dataflow – docs.cloud.google.com

  12. Książka Google SRE – Monitorowanie systemów rozproszonych – sre.google

  13. Google Research – Ogon w skali – research.google

  14. LiteRT (Google AI) – przegląd LiteRT – ai.google.dev

  15. LiteRT (Google AI) – wnioskowanie LiteRT na urządzeniu – ai.google.dev

  16. Docker – czym jest kontener? – docs.docker.com

  17. Docker — najlepsze praktyki kompilacji Dockera — docs.docker.com

  18. Kubernetes - Sekrety Kubernetesa - kubernetes.io

  19. Kubernetes – automatyczne skalowanie poziome kontenerów – kubernetes.io

  20. Martin Fowler - Wypuszczenie kanarka - martinfowler.com

  21. Martin Fowler – Wdrożenie niebiesko-zielone – martinfowler.com

  22. Inicjatywa OpenAPI – Czym jest OpenAPI? – openapis.org

  23. Schemat JSON – (odwołanie do witryny) – json-schema.org

  24. Bufory protokołu – przegląd buforów protokołu – protobuf.dev

  25. FastAPI - (odwołanie do witryny) - fastapi.tiangolo.com

  26. NVIDIA - Triton: dynamiczne przetwarzanie wsadowe i współbieżne wykonywanie modeli - docs.nvidia.com

  27. NVIDIA - Triton: Współbieżne wykonywanie modeli - docs.nvidia.com

  28. NVIDIA - Dokumentacja serwera wnioskowania Triton - docs.nvidia.com

  29. PyTorch - Dokumentacja TorchServe - docs.pytorch.org

  30. BentoML – Pakowanie do wdrożenia – docs.bentoml.com

  31. Ray - Ray Serve docs - docs.ray.io

  32. TensorFlow – kwantyzacja po treningu (optymalizacja modelu TensorFlow) – tensorflow.org

  33. TensorFlow - TensorFlow Data Validation: wykrywanie odchyleń między treningiem a serwowaniem - tensorflow.org

  34. ONNX - (odwołanie do witryny) - onnx.ai

  35. Środowisko wykonawcze ONNX - Optymalizacja modelu - onnxruntime.ai

  36. NIST (Narodowy Instytut Norm i Technologii) - NIST SP 800-122 - csrc.nist.gov

  37. arXiv – Karty modeli do raportowania modeli – arxiv.org

  38. Microsoft – Testowanie w cieniu – microsoft.github.io

  39. OWASP – OWASP Top 10 dla aplikacji LLM – owasp.org

  40. Projekt bezpieczeństwa OWASP GenAI – OWASP: Wstrzyknięcie komunikatu – genai.owasp.org

Znajdź najnowszą sztuczną inteligencję w oficjalnym sklepie z asystentami AI

O nas

Powrót do bloga