ATAILA Sajtószoba · Hibrid · Budapest ·
2026-W37
Agentek a felhőben, inferencia helyben. Azt, hogy melyik modell és melyik végpont, a platform dönti el, használati esetenként.
Ha az agentjeid a felhőben épülnek, az inferencia egy részének viszont a saját telephelyeden kell maradnia, akkor a nehéz rész nem a hardver. A nehéz rész az a döntés, amely minden egyes kérésnél megszületik: melyik modell válaszol rá, és melyik végpont szolgálja ki. Az ATAILA GPU-s node-jait Amazon EKS Hybrid Nodesként kötjük az EKS-fürtödhöz, vagyis a te hardvered fut egy AWS control plane alatt, elé pedig az ATAILA AI Gatewayje kerül. Így minden használati eset érzékenység, költség, késleltetés és adatrezidencia alapján kap útvonalat. Egyetlen governance- és observability-réteg az egész felett. Most építjük, egy valódi ügyfélesetre, fix áras, hathetes pilotként.
Két helyszín, egy kérés
Egy európai ügyfél olyan feladattal keresett meg minket, amilyet ma már havonta látunk. Az agentek a felhőben épülnek, mert a fejlesztők, a keretrendszerek és a menedzselt futtatókörnyezetek ott vannak. Az inferencia egy része viszont nem mehet oda: egy szerződés, egy betegdokumentáció, egy gyártási napló, egy rajz, amely nem hagyja el az épületet. Az igény ez volt: változtathatatlan tároló, on-prem hardveren futó tesztekkel, átjáró, amely irányítja az inferenciát, és egyetlen observability- és governance-réteg mindkét oldal felett. Még aznap délelőtt igent mondtunk.
Ez hibrid, és a legtöbb hibrid megáll a huzalozásnál: egy VPN, egy fürt, két végpont, és egy fejlesztő, aki kódba égeti, melyik hívás merre megy. A kódba égetés az, ami elbukik. Változik a besorolás, változik a modellista, egy olcsóbb modell hirtelen elég jó lesz összefoglalásra, egy szabályozó megszigorít egy adatkategóriát. Mindegyik változás kódmódosítás egy tucat agentben.
Ezért maga az útvonalválasztás a termék. Az ATAILA AI Gatewayje mindkét oldal előtt ott ül, és használati esetenként dönt, szabályból, nem forráskódból:
- Érzékenység. Egy használati esetet egyszer sorolunk be. A bizalmas kategóriák az on-prem végponthoz vannak rögzítve, a szabály mögött hálózati tiltással, nem egy README-ben tett ígérettel.
- Költség. A nyilvános, nem érzékeny, nagy tömegű munka ahhoz a modellhez megy, amelyik arra a feladatra a legolcsóbb. Ez gyakran egy kisebb modell, és gyakran a felhőben van.
- Késleltetés. Az interaktív útvonalak ahhoz a végponthoz mennek, amelyik a felhasználó felől a leggyorsabban válaszol. A kötegelt munka oda megy, ahol van szabad kapacitás.
- Adatrezidencia. Ahol a joghatóság része a követelménynek, ott a végpont része a válasznak, a bizonyíték pedig bérlőnkénti és exportálható.
Az agent egyetlen OpenAI-kompatibilis végpontot hív. Hogy valójában mi szolgálta ki, azt a platform dönti el, és le is írja, miért.
Használati esetenként
Így választunk modellt és végpontot: érzékenység, költség, késleltetés és adatrezidencia alapján, szabályból, nem forráskódból
2024. dec.
Az Amazon EKS Hybrid Nodes általánosan elérhető — on-prem GPU-s node-ok EKS control plane alatt
2025. okt.
Az Amazon Bedrock AgentCore általánosan elérhető — átjáró guardrailekkel és szabályokkal, amely OpenAI-kompatibilis végpontokra irányítja az inferenciát
6 hét
A pilot — tervezés, hibrid alap, agent-alapvonal, döntés — fix áron, Buildbe beszámítva
Mit építünk, blokkonként
- Agentek a felhőben. Strands Agentsszel (Apache-2.0) vagy azzal a keretrendszerrel, amelyet az ügyfél már használ; Bedrock AgentCore Runtime-on vagy EKS-en futtatva. Az agenten semmit nem kell átírni ehhez: továbbra is egy OpenAI-kompatibilis végpontot hív.
- Inferencia az ATAILA GPU-s node-jain. vLLM, vagy NVIDIA NIM ott, ahol egy modell licence ezt kéri. A csupasz vasra telepített GPU-s node-jaink OpenAI-kompatibilis végpontokat szolgálnak ki, és Amazon EKS Hybrid Nodesként csatlakoznak az ügyfél EKS-fürtjéhez: az ügyfél hardvere egy AWS control plane alatt. Ez az AWS saját, publikált módszere pontosan erre.
- Az irányítási réteg, ami a lényeg. Az ATAILA AI Gatewayje tartja a modellkatalógust, a használati esetenkénti szabályokat és a bérlőnkénti mérést, és kérésenként választ modellt és végpontot. Az Amazon Bedrock AgentCore Gateway a peremen maradhat, Bedrock Guardrailsszel és AgentCore Policyvel, ha az ügyfél így kéri. A B terv semmit nem kér az AWS-től: az ATAILA gateway egyedül, ez fut ma a platformunkon.
- Egy image, két registry. Egyszer építve, az Amazon ECR-be tolva és on-prem a Harborba tükrözve, változtathatatlan címkékkel. A felhőben tesztelve az alapvonalhoz, az on-prem node-okon tesztelve az összehasonlításhoz.
- Egy observability-réteg. AWS Distro for OpenTelemetry minden node-on, felhőben és on-prem, az Amazon Managed Grafanába és az ATAILA Grafanájába; AgentCore-observability az agentek nyomkövetésére; az ATAILA bérlőnkénti használati bizonyítéka a governance-jelentéshez. Egyetlen irányítópult válaszolja meg mindkét oldalra: melyik modell szolgálta ki ezt, hol, és mennyiért.
- Hibrid hálózat. AWS Site-to-Site VPN az ügyfél VPC-jébe, vagy WireGuard. A mi oldalunkon bérlőnként egy projektzóna, pontosan úgy, ahogy a platform minden mást is elszigetel.
A pilot terméke egy összehasonlítás, nem egy dia: ugyanaz az agent, ugyanaz a tesztcsomag, lefuttatva a felhős modell és az on-prem GPU-k ellen, késleltetéssel, költséggel, minőséggel és adatrezidenciával egy irányítópulton. Egy igazgatóság erről dönt. És ez kalibrálja magát az irányítási szabályt is, mert a küszöbértékeknek a saját méréseidből kell jönniük, nem egy gyártó méréseiből.
1. hét
Tervezési műhely.
Egyeztetett célarchitektúra, modellista, a használati esetek besorolása és az ebből következő irányítási szabály, a tesztcsomag és az elfogadási feltételei, a hálózati terv, a sikerkritériumok. Távolról, vagy az Executive Briefing Centerünkben.
2–3. hét
A hibrid alap.
VPN felépítve; egy ATAILA GPU-s node hibrid node-ként az ügyfél EKS-fürtjében; a vLLM az első modellt szolgálja ki; a gateway szabály szerint irányít, végponttól végpontig; OpenTelemetry mindkét Grafanába.
4–5. hét
Az agent-alapvonal.
Az ügyfél első agentje konténerbe csomagolva, az ECR-ben és a Harborban, a felhőben tesztelve az alapvonalhoz, on-prem az összehasonlításhoz; guardrailek és szabályok az átjárón; az irányítási szabályok a mérésekhez hangolva, nem feltételezésekhez.
6. hét
A döntés.
Jelentés, amelyet egy igazgatóság el tud olvasni: minőség, késleltetés, költség és adatrezidencia modellenként és helyszínenként, az ebből következő irányítási szabály, és a döntés az éles üzemről az ügyfél saját hardverén vagy az ATAILA Cloudon. Fix ár a hat hétre, Buildbe beszámítva, ha folytatod.
Hol áll ez a küldetésben
A Service Provider küldetés a hiperskálázók felé csatlakozókat ígért, opcióként, soha nem függőségként. Az AWS az első, és azért hibrid, nem csatlakozó, mert az ügyfél igénye hibrid: az agentek ott élnek, ahol a fejlesztők, az inferencia ott, ahol az adat, és valaminek el kell döntenie, melyik melyik. Az Azure, az Oracle Cloud és a Huawei Cloud az ütemterven követi, mindegyik akkor, ha egy ügyfél kéri vagy a gyártó elkötelezi magát. Minden ATAILA-változat bármelyikük nélkül is fut, a gateway pedig ugyanúgy irányít akkor is, ha a másik oldal nem egy hiperskálázó, hanem a saját második géptermed.
A pilot összehasonlítását az ügyfél megkapja, bármit is mutat. Azt az esetet is beleértve, amikor az őszinte válasz az, hogy arra a használati esetre a felhős modell nyer. Az az irányítási platform, amely mindig csak egy irányba tud irányítani, nem irányítási platform: egy értékesítési érv, konfigurációs fájlban.
Források
- AWS: Amazon EKS Hybrid Nodes (2024. december); Run GenAI inference across environments with Amazon EKS Hybrid Nodes.
- AWS: Amazon Bedrock AgentCore generally available (2025. október); AgentCore Gateway inference targets; Strands Agents SDK.
Beszéljünk
Ha az agentjeid a felhőben futnak, és az inferencia egy részének a saját telephelyeden kell maradnia, vagy te vagy az a szolgáltató, akinek az ügyfelei így vannak vele, írj két mondatot az űrlapon. Közvetlenül az alapítóhoz jut el.
← Vissza a sajtószobába Sajtómegkeresés: kapcsolat