|
|
141df5f04e
|
Ajout d'un outil de benchmark des modèles d'analyse + support des modèles à raisonnement
- Nouvelle commande `inkflow benchmark` : compare la sortie d'analyse aux fichiers
de référence (data/<slug>/reference/), met plusieurs modèles en concurrence,
table rich + rapport JSON. Métriques : attribution de locuteur, incises, type/glued.
Flags --models, --temperature, --reasoning, --stream, --use-cached + suivi par chapitre.
- analysis/benchmark.py : scoring pur (testable) + runner multi-modèles (un MLX à la fois).
- gemma.py : support des modèles à raisonnement (retrait de la pensée, désactivation
via enable_thinking hors --reasoning, arrêt anticipé sur JSON complet, plafond +
température dédiés anti-boucle), récupération du chat_template manquant (fix Mistral),
streaming des tokens (set_token_sink).
- settings.py : gemma_reasoning, gemma_reasoning_max_tokens, gemma_reasoning_temperature.
- Tests : test_benchmark.py (scoring pur), test_gemma_reasoning.py.
Conclusion benchmark : Qwen3.6-27B-8bit non-raisonnant = meilleur modèle d'analyse.
|
2026-06-21 03:25:50 +02:00 |
|
