AI LAB – ARKUSZ 13.1
Każdy typ neuronu rysujemy inną konwencją. Koła dla MLP, klocki H×W×C dla CNN, rozwinięcie w czasie dla RNN, stos ×N dla transformera. Materiał poglądowy – rysunki według konwencji, nie usługa ani hosting modeli. Przedmiotem sprzedaży jest wyłącznie domena dajwers.pl.
Dalej w labie: Atencja 13.2 → · Reasoning 13.3 → · Warianty 13.4 →
PRZYKŁADY FORMATU KARTY (dane ilustracyjne, nie karty producentów)
PRZYKŁAD FORMATU (dane ilustracyjne). Parametry deklarowane, nie pomiar harnessu. Filtruj według TAG-ów.
Pokazano 5 z 5 kart.
PRZYKŁAD FORMATU (dane ilustracyjne) • REV 2026-09-10
MoE 552B • 8B/16B act. • CED 20+20 • 1M
Asymetryczny układ koder-dekoder (20 warstw kodera + 20 warstw dekodera): koder czyta wejście raz do pamięci podręcznej, dekoder wykonuje cross-attention na każdym kroku – tańszy prefill dla agentów. FP4 KV 890 B na token globalnie (deklaracja producenta, ilustr., bez L/dc). Parametry deklarowane, nie pomiar harnessu. karta producenta →
PRZYKŁAD FORMATU (dane ilustracyjne) • REV 2026-08-01
MoE 2.4T/95B • hosted 1M / open 262K
Ilustracyjny układ MoE do długiego kontekstu; baza 2.4T-A95B, obsługa obrazu i narzędzi (ilustr.). Licencja własna Qwen-max (limity MAU/MaaS). Parametry deklarowane, nie pomiar harnessu. Qwen3.5 to poprzednia generacja – nie używać jako odniesienia.
PRZYKŁAD FORMATU (dane ilustracyjne) • REV 2026-08-18
MoE • Flash 320B/18B • 1M
Ilustracyjna rzadka atencja w służbie długiego kontekstu. Poprzednik GLM-5 (745B/44B, 200K) jako tło historyczne. Wersja 5.3: licencja własna; Flash (REV 2026-08-26, MIT): 320B/18B multimodalny. Parametry deklarowane, nie pomiar harnessu. Stan: sierpień 2026.
PRZYKŁAD FORMATU (dane ilustracyjne) • REV 2026-09-21
MoE 1.02T/42B • 70L (60 SWA+10 GA) • 384 exp/8 • ViT 681M • 1M
Xiaomi, lic. MIT, HF XiaomiMiMo/MiMo-V2.6-Pro-RL. Indeks AA 46 (przykład formatu indeksu, nie ranking). Parametry deklarowane, nie pomiar harnessu.
PRZYKŁAD FORMATU (dane ilustracyjne) • REV 2026-08-26
MoE 125B/6B • 512 exp (10+1) • 51B n-gram • 262K→1M
Zapowiedź architektury Qwen4 (HF Qwen/Qwen3.8-Flash-Next, praca arXiv 2608.30320). Hybryda GDN+QSA 3:1 (mikroblokowy indekser, koszt indeksowania spada z długością), rezyduum bramkowane na 4 gałęzie, n-gram 51B poza akceleratorem, optymalizator Muon. Trening: ok. 1/9 kosztu Qwen3.7-Plus. Licencja Qwen Community 1.0. Parametry deklarowane, nie pomiar harnessu. GDN (bramkowany DeltaNet, ang. Gated DeltaNet) ściska historię do stanu o stałym rozmiarze kosztem liniowym, więc trzy warstwy niosą treść tanio, a czwarta (QSA) dokładnie wyławia pojedyncze tokeny. Budżet QSA: do 512 bloków (2048 tokenów). Pojęcia zbiera słowniczek GDN i QSA w arkuszu 13.2 →.
FIG. 01 – NEURON PROGOWY
y = σ(Σᵢ wᵢxᵢ + b)
| Wejście | wektor cech, brak kolejności |
|---|---|
| Pojemność | separacja liniowa; XOR niemożliwy |
| Użyj gdy | tylko do nauki podstaw |
Pułapka: jeden perceptron nie rozwiąże XOR. Dołóż warstwę ukrytą albo przyznaj, że problem nie jest liniowy.
FIG. 02 – SIECI GĘSTE
h = ReLU(Wx + b) – koszt warstwy O(n·m), n = dim. wej., m = dim. wyj.
| Wejście | tabele, embeddingi |
|---|---|
| Parametryzacja | LoRA na W (W += BA) |
| Aktywacja | ReLU / GELU / SiLU; wyjście: softmax / sigmoid / liniowe |
| Użyj gdy | baseline, tablice, głowa klasyfikatora na BERT |
Pułapka: MLP na piksele bez konwolucji uczy się pozycji, nie kształtów. Przestaw obraz o 3 px, a skuteczność spada.
FIG. 03 – KONWOLUCJA
y[i,j] = Σₘₙ w[m,n]·x[i−m, j−n] – wagi dzielone (pominięto sumę po kanałach C i wyraz wolny (bias); biblioteki liczą kroskorelację)
| Wejście | obraz, spektrogram, sygnał 1D |
|---|---|
| Konwencja | klocki + wymiary H×W×C + k/s/p |
| Użyj gdy | lokalność ma znaczenie: krawędzie, tekstury |
Pułapka: plain-CNN powyżej ~20–50 warstw bez shortcutów zwykle trudno się uczy (degradacja/zanik gradientu); shortcuty (ResNet) + BN to standardowe remedium.
FIG. 04 – REKURENCJA I BRAMKI
ht = tanh(Wxt + Uht−1 + b) – LSTM dokłada ct z bramkami f/i/o
| Wejście | sekwencje krótkie, sygnały, baseline NLP |
|---|---|
| Koszt | sekwencyjny, nie równoległy jak atencja |
| Użyj gdy | stan ma być mały i tani, nie długi kontekst |
| Krewni liniowi | RWKV-7 „Goose” (2025, uogólniona reguła delty, stały stan i stały koszt kroku); wcześniej RetNet (2023, mechanizm retencji) i Hyena (2023, długie sploty z bramkowaniem) – dziś głównie tło historyczne. |
Pułapka: bramki nie gwarantują pamięci. Długi stan + mało danych + zła inicjalizacja, a sieć i tak zapomni.
FIG. 05 – SERCE CAŁEGO LABU
head = softmax(QKᵀ/√d)V – cache / tok / warstwę: 2·Hkv·d·bajt; całość × L × S × batch
| MHA | H par K/V – 100% cache, jakość ref. |
|---|---|
| GQA | G grup – udział = Hkv/Hq cache (np. 64Q/8KV → 12,5%), wybór domyślny; przykład GQA: Qwen3.8. |
| MLA; pokrewne: CSA | wektor latentny (dc+d_rope) – ≈7% cache MHA-32×d128 (ilustr.); dziś CSA/CSA2, DSA. |
Pułapka: FlashAttention to algorytm, GQA to architektura. Łączy się je, nie wybiera zamiennie (wzór → 13.2).
FIG. 06 – POZA TRANSFORMEREM
SSM klasyczny: h′ = Ah + Bx. Mamba (S6): ht = Āt(x)ht−1 + B̄t(x)xt – Δ,B,C selektywne (funkcje wejścia), tylko rekurencja/scan. MoE: y = Σi∈top-k softmax(g)i·Ei(x)
| SSM użyj gdy | kontekst 100k+ ma być tani; audio, genomika |
|---|---|
| MoE użyj gdy | chcesz 100B wiedzy kosztem 20B na token (ilustr.) |
| Mamba-2/3 | Mamba-2 (2024, dualność przestrzeni stanów (SSD), trening 2–8× szybszy od Mamba-1); Mamba-3 (03.2026, praca 2603.15569, stan zespolony i wariant MIMO) – stan stały, więc czysty układ słabo wyławia detal; hybryda z atencją (np. 5 warstw liniowych + 1 pełna) przywraca dokładność. |
| Cena | młodszy ekosystem; routing bywa niestabilny |
Pułapka: MoE to nie „8 modeli”. Bez równoważenia obciążenia jeden ekspert robi wszystko, reszta śpi.
FIG. 06b – HYBRYDY I PREDYKCJA WIELO TOKENOWA (ILUSTRACYJNIE)
Hybryda łączy warstwy SSM (liniowy stan, tani długi kontekst) z warstwami atencji (dokładne wiązanie dalekich zależności). Typowy układ przeplata bloki SSM z kilkoma warstwami atencji, aby koszt rósł wolniej niż w czystym transformerze. MTP uczy przewidywania kilku kolejnych tokenów naraz zamiast jednego. Dekodowanie spekulacyjne dobiera mały układ roboczy (draft), który proponuje ciąg tokenów, a duży układ jedynie go weryfikuje (draft+verify). Zaakceptowane tokeny są przyjmowane wsadowo, a odrzucone poprawia weryfikator w jednym dodatkowym przebiegu.
Proporcje bywają różne: 3 warstwy liniowe + 1 z atencją (Qwen3.8-Flash-Next: 48 warstw w układzie 12×(3×GDN + 1×QSA)); 5 warstw liniowych + 1 pełna w badaniach nad Mamba-3; 1:3 w układzie 7B i 1:11 w układzie 80B MoE (dane ilustr. proporcji). Okno przesuwne (SWA, ang. Sliding Window Attention) trzyma tylko ostatnie W tokenów w buforze kroczącym (rolling buffer) zamiast całego kontekstu. Rzadka atencja natywna (NSA, ang. Native Sparse Attention) dokłada gałąź ściskającą i wybierającą obok okna, a atencja na poziomie głów (HSA, ang. Head-wise Sparse Attention) miesza w tej samej warstwie głowy pełne z głowami okiennymi, więc każda warstwa zachowuje wgląd w całość.
Blok generyczny, bez marek. Parametry deklarowane, nie pomiar harnessu.
FIG. 06c – DYFUZJA TEKSTU (ILUSTRACYJNIE)
Klasyczny dekoder dopisuje po jednym tokenie od lewej do prawej. Model dyfuzyjny (diffusion LM) zaczyna od zamaskowanego szkicu i odsłania wiele pozycji naraz w kilku krokach odszumiania (denoising). Punkty odniesienia: LLaDA-8B (02.2025, atencja dwukierunkowa, 2,3T tokenów) oraz iLLaDA-8B (06.2026, 12T tokenów); wdrożenia: Mercury Coder Mini ok. 1109 tok./s na H100, Mercury 2 ok. 1009 tok./s (deklaracje producenta, pomiar Artificial Analysis). Liczby przepustowości jako dane ilustracyjne formatu; parametry deklarowane, nie pomiar harnessu.
Pułapka: szybkość nie znaczy wierności. Równoległe odsłanianie wymaga dobrania liczby kroków, inaczej na długich odpowiedziach spójność cierpi.