Kanimus-26B-A4B-FFT-heretic
Тёмная ролевая модель, полученная методом merge на основе Gemma 4 26B A4B, а именно на основе abliterated-версии Darkhn's Animus V14.1 FFT от Vortex5
--
Публикую это как тестовый релиз. Оно работает, но это мой первый раз, и я ещё не проводил никакой полноценной оценки, поэтому считайте качество нестабильным.
Я подумал, что я какой-то там умный, поэтому сделал что-то вряд ли рабочее, но было прикольно
Claude накостылял скрипт, я все прогнал, и получилось вот это.
Комментарий от Claude:
Два этапа. Сначала я применил task-arithmetic injection к Q- и K-проекциям attention, взятый из дистилляции Claude Opus от TeichAI. Всё остальное в модели осталось нетронутым по сравнению с базовой моделью, включая MoE-роутер и всех экспертов. Затем поверх этого запёк в веса собственную стилистическую LoRA. Merge я делал вручную с помощью скрипта для safetensors, поскольку mergekit пока не умеет работать со структурой Gemma 4. Полное описание с фактическими коэффициентами, указанием того, какие тензоры были затронуты и почему, находится на странице модели.
Проблемы, которые я уже нашел
В русском выводе встречаются артефакты на уровне токенов: фрагменты латиницы внутри слов, иногда искажённые слова. Базовая модель тоже этим страдает, поэтому это унаследованная проблема, а не то, что появилось из-за моего merge, но она присутствует.
При тестировании на английском я несколько раз замечал, как имена персонажей менялись прямо посреди сцены. Но я не знаю точно, из-за QK это или из-за LoRa.
- Веса BF16 и подробное описание merge
- GGUF (Static)
- GGUF (IMatrix) - возможно чуть хуже будет на русском языке, но на английском - получше
P.S. Чет я устал прям. Работы много, возни с моим новым увлечением по моделям еще больше, поэтому чего-то интересного еще и сюда я выдать не могу, сорри.
Попробовал погенерировать картинки на Anima - ну мед прям, красиво. Но сюда не скину, там порно, очень много порно. Пишите в тг (если найдете, на дтф выкладывал где-то) -