Útmutató
Privát AI hosting
„Privát AI-hosting” néven a piac három különböző dolgot árul: bérelt GPU-t, a saját szervered távoli karbantartását, vagy egy platformot, amely a modelleket és minden hozzájuk tartozót olyan hardveren futtat, amit te irányítasz. Ez az oldal megmutatja a különbséget, és azt, mit érdemes megkövetelni.
Hol áll az épület, és ki üzemelteti?
Sok „EU-s” ajánlat elhallgat valamit: egy amerikai tulajdonú üzemeltető EU-s adatközpontja is elérhető az amerikai jog számára (CLOUD Act, 2018), amely alapján amerikai cégek akkor is adatkiadásra kötelezhetők, ha az adatot az EU-ban tárolják. Az épület helye mellett azt is kérdezd meg, ki üzemelteti a gépeket. A legegyszerűbb válasz a saját hardver, a saját géptermedben vagy egy általad választott EU-s szolgáltatónál.
Mit kell tartalmaznia a privát AI-hostingnak?
-
Privát modellfuttatás a saját GPU-idon
Nyílt modellek chatre, kódolásra és embeddingre, percek alatt a saját AI-képes hardveredre töltve. A promptok és a válaszok nem hagyják el a hardvert.
-
Minden, ami alatta van
Egy modellvégpont önmagában még nem munkafolyamat. A platform a köré épülő alkalmazásokat is szállítja, a fejlesztéstől az éles üzemig, minden lépést naplózva.
-
Mérés és audit
Az üzemeltető látja, melyik végpont fut, ki melyik modellt használja és mennyibe kerül egy-egy kérés, így számlázni és korlátozni tud, és bizonyítani tudja, mi történt.
-
Kilépés, amit végre is tudsz hajtani
A modelljeid, az alkalmazásaid és az adataid a tieid maradnak, a platformhoz pedig kilépési garancia tartozik: hivatalos szerzői jogi letét és írásos kötelezettségvállalás.
Egy bérelt GPU az elsőt adja félig. Egy szerverre telepített modellfuttató az elsőt adja, a többit nem. A privát AI-hosting akkor teljes, ha mind a négy valakinek a felelőssége: a tiéd, a szolgáltatódé, vagy megosztva köztetek úgy, hogy a naplót a platform vezeti.
Öt kérdés minden ajánlathoz
- Kinek a hardverén fut, és ki felel a redundanciáért?
- Mi áll a rendelkezésre állási szám mögött: adatközpont, mentés és emberek, vagy egy ígéret?
- A modellfrissítés, a monitorozás és a mentés benne van az árban, vagy külön tétel?
- Hol tárolódnak a promptok, a naplók és az embeddingek, és ki fér hozzájuk?
- Ha kilépsz: mit kapsz az exportban, és mennyi idő alatt?
Az ATAILA válaszai: a platform a te hardvereden vagy a szolgáltatód hardverén fut, így a redundanciát te tervezed meg, mi pedig támogatást adunk hozzá. Minden prompt, napló és embedding a te gépeiden marad. A modellek betöltése, a mérés és a kiadási folyamat a szoftver része, a frissítések és a biztonsági javítások támogatási csomagokban érkeznek az ATAILA-tól. A kilépés írásban rögzített: a kódod, az adataid és a modelljeid a tieid, mögötte szerzői jogi letét és írásos kötelezettségvállalás.
Hol az ATAILA helye ebben?
Az ATAILA szoftverszállító: a platformot, a migrációt és a gyártói támogatást adja, hostingot nem. A privát AI-t a saját hardvereden futtatod az ATAILA Enterprise változattal, vagy a szolgáltatód futtatja neked és másoknak az ATAILA Service Provider változattal, amely bérlőkezelést és bérlőnkénti használati adatokat ad a számlázáshoz. A modellek, az alkalmazások és az adatok mindkét esetben olyan gépeken vannak, amelyekhez fizikailag is hozzáférsz.
Az ár fix éves előfizetés fizikai CPU-foglalatonként, minden csomóponttípusra, a GPU-s gépekre is; soha nem felhasználó, token, GPU vagy VM alapján. Árajánlatot azután adunk, hogy láttuk a környezetedet.
Kapcsolódó útmutatók
Saját hardveren futtatnál privát AI-t?
Mondd el, mit üzemeltetsz ma, vagy ki üzemelteti neked, és megmondjuk, mire van szüksége a platformnak.