Орталық суперкомпьютер арқылы желіге тәуелді сервистің орнына: әр клиенттің өзінде локалды edge-есептеу. Нәтиже: детерминирленген қуат, нөлдік “кезек жұқтыруы”, минималды кідіріс, қауіпсіздік және құнның болжамдылығы.
Кабельдік модельде бір H200 GPU-ға қанша клиент (k) бір уақытта отырады — соны беріңіз. Біз сол сәттегі “клиентке шаққандағы” қуатпен салыстырамыз.
| Property | Implication |
|---|---|
| Shared GPU pool | Кезек, шектеу, көп-арендалы жоспарлау; бір клиенттің пікі — басқаларына әсер етеді. |
| Network as part of SLA | Кідіріс пен тұрақтылық каналға тәуелді; QoS/резерв/маршрутизация міндетті. |
| Peak coupling | “Noisy neighbor”: оқыс жүктемелерде деградация экспоненциалды сезіледі. |
| Operational stack | Тарификация/лимит/аудит, қауіпсіздік периметрі, NOC/monitoring, инциденттер. |
| Peripheral access | VPN/MPLS/edge gateways, identity, session control, encryption, compliance. |
| Property | Implication |
|---|---|
| Dedicated compute | Клиенттің ресурсы тек соған арналған; кезек “жұқпайды”. |
| Local inference | Кідіріс төмен; интернет нашар болса да функционал сақталады. |
| Data sovereignty | Дерек клиент периметрінен шықпайды; саясат/реттеу тәуекелі азаяды. |
| Linear scaling | +1 клиент = +1 edge. Жоспарлау қарапайым, құны болжамды. |
| Deployment simplicity | Орнату/жаңарту/қызмет көрсету жергілікті; “үлкен орталық” тәуелділігі жоқ. |
72B — бұл 72 миллиард параметр. Параметр — модельдің “білімі” мен тілдік қабілетін кодтайтын салмақтар. Параметр саны артқан сайын: контекстті ұстау, семантикалық дәлдік, көптілді сәйкестік және домендік күрделілік жақсырақ болады.
| Тақырып | 72B-тің практикалық мәні |
|---|---|
| Көптілділік | Қазақша ↔ орысша ↔ ағылшынша аралас диалогта мағынаны жоғалтпайды; code-switch тұрақтылығы жоғары. |
| Күрделі тапсырмалар | Ұзын нұсқаулықтар, көп-қадамды reasoning, құжатпен жұмыс — сапа өседі. |
| Салалық білім | Медицина/заң/өндіріс сияқты домендерде терминологияны сенімдірек ұстайды (дұрыс инференс стегімен). |
| “Super” әсер | Пайдаланушыға “ақылдырақ, тыныш, тұрақты” жауап беру — дәл осы масштабта сезіледі. |
Берілген шарт: 1 edge = $15,000. Айырбас бағамы: 520 ₸ = $1.
| Workstream | Cost / complexity driver |
|---|---|
| Client access perimeter | VPN/MPLS, gateways, IAM, session control, encryption, audit. |
| Multi-tenant scheduler | Quota, fairness, isolation, batching policy, noisy-neighbor mitigation. |
| SLA engineering | Capacity planning, admission control, peak management, incident response. |
| Compliance & governance | Data flows, retention, logging, legal constraints, change management. |
| Rollout lead-time | Procurement → integration → testing → onboarding → operations. |
| Week | Outcome |
|---|---|
| 1–2 | Edge образ/құрастыру, модель стегі, локалды саясат, мониторинг минимум. |
| 3–6 | Пилот 3–10 клиент: орнату стандарты, қашықтан жаңарту, fallback, периметр тесті. |
| 7–10 | Масштабтау 10→N: өндірістік логистика, сервис регламенті, SLA “бір клиент — бір edge” қағидасы. |
| 11–12 | Қорытынды қабылдау: құжаттау, білім базасы, партиялық жеткізу, тұрақты релиз циклі. |
“1 супер-edge” ретінде орталық кластерді (496×H200) алсақ, тензорлық FP16 прокси бойынша: 1×H200 ≈ 6.39×RTX A6000, сондықтан 496×H200 ≈ 3,170×A6000.