Карасик, десу

Да, никакой цензуры

У Клода кстати нормальная квота на бесплатном тарифе, если чисто чатПопробовал клод на бесплатном тарифе. Я похоже очень сложную задачу ему дал, у меня квота вся улетела за один запрос хд

Вот, тут наконец выпустили еще одни кванты
https://huggingface.co/mradermacher/Boulesis-26B-A4B-i1-GGUF/blob/main/Boulesis-26B-A4B.i1-Q4_0.gguf
Думаю с этим твой комп будет иметь шанс не забиваться под завязку, и под контекст место остается

Кеш лучше не квантовать, ошибки вылезают. Только если памяти не хватает. Бэкенд выбирай Cuda

4096 мало очень
Попробуй хотя бы 16382

По идее Q4 на моей модели будет не сильно страдать качество. Стоит попробовать!
При выборе моделей смотри на их объем. Главное что смотреть, это видеопамять+озу+2-3гб, и вот тот максимум что ты можешь себе позволить

Этот гайд уже сильно устарел. Смотри в сторону MoE моделей
Те же файн-тюны Gemma-4 26B-A4B. Q4 квантизация с трудом но запустится, и возможно даже будет бодро генерировать

Это хорошо

Ну звучит, да
А так вроде какие-то наушники со съемным аккумом

Фу бля
Я знал что вы французы странные, но чтобы до такой степени