- Nouvelle commande `inkflow benchmark` : compare la sortie d'analyse aux fichiers de référence (data/<slug>/reference/), met plusieurs modèles en concurrence, table rich + rapport JSON. Métriques : attribution de locuteur, incises, type/glued. Flags --models, --temperature, --reasoning, --stream, --use-cached + suivi par chapitre. - analysis/benchmark.py : scoring pur (testable) + runner multi-modèles (un MLX à la fois). - gemma.py : support des modèles à raisonnement (retrait de la pensée, désactivation via enable_thinking hors --reasoning, arrêt anticipé sur JSON complet, plafond + température dédiés anti-boucle), récupération du chat_template manquant (fix Mistral), streaming des tokens (set_token_sink). - settings.py : gemma_reasoning, gemma_reasoning_max_tokens, gemma_reasoning_temperature. - Tests : test_benchmark.py (scoring pur), test_gemma_reasoning.py. Conclusion benchmark : Qwen3.6-27B-8bit non-raisonnant = meilleur modèle d'analyse.
186 lines
8.1 KiB
Python
186 lines
8.1 KiB
Python
"""Reglages techniques editables au runtime (globaux a l'app).
|
|
|
|
Contrairement a `config.py` (constantes figees lues a l'import, surchargeables
|
|
seulement par variables d'environnement au demarrage), ce module expose un objet
|
|
`Settings` *persiste* dans `data/settings.json` et modifiable depuis l'UI.
|
|
|
|
Les valeurs par defaut reprennent celles de `config.py`. Le code du pipeline
|
|
consulte `get_settings()` au moment de l'execution ; une sauvegarde invalide les
|
|
caches de modeles (backends TTS, chargement Gemma) pour que les nouveaux
|
|
identifiants/parametres prennent effet sans redemarrage.
|
|
"""
|
|
from __future__ import annotations
|
|
|
|
import threading
|
|
from typing import Optional
|
|
|
|
from pydantic import BaseModel, Field
|
|
|
|
from . import config
|
|
|
|
# --- Prompts systeme par defaut (source canonique) ---------------------------
|
|
# Ces chaines pilotent les trois taches Gemma. L'utilisateur peut les editer.
|
|
DEFAULT_PROMPT_SPEAKERS = (
|
|
"Tu es un assistant d'analyse litteraire. Tu identifies QUI prononce chaque "
|
|
"replique de dialogue dans un extrait de roman en francais. Une liste des "
|
|
"personnages du chapitre t'est fournie : choisis le locuteur dans cette "
|
|
"liste en recopiant son nom EXACTEMENT. Appuie-toi sur la narration qui "
|
|
"PRECEDE et qui SUIT chaque replique (incise d'attribution type 'dit "
|
|
"Marie'), sur les vocatifs (le personnage a qui l'on s'adresse) et sur "
|
|
"l'alternance des tours de parole. Mets 'inconnu' si tu n'es pas sur. Tu "
|
|
"reponds UNIQUEMENT en JSON valide, sans texte autour."
|
|
)
|
|
DEFAULT_PROMPT_SPEAKERS_REFINE = (
|
|
"Tu es un assistant d'analyse litteraire. On te donne des repliques dont le "
|
|
"locuteur est reste indetermine, avec le locuteur DEJA identifie des "
|
|
"repliques voisines. Deduis qui parle en exploitant l'alternance des tours "
|
|
"de parole et le contexte narratif autour. Choisis le nom dans la liste des "
|
|
"personnages fournie, en le recopiant exactement, ou 'inconnu' si vraiment "
|
|
"indeterminable. Tu reponds UNIQUEMENT en JSON valide, sans texte autour."
|
|
)
|
|
DEFAULT_PROMPT_CHARACTERS = (
|
|
"Tu es un assistant d'analyse litteraire. Tu extrais la liste des "
|
|
"personnages d'un extrait de roman et leurs attributs vocaux. Tu reponds "
|
|
"UNIQUEMENT en JSON valide."
|
|
)
|
|
DEFAULT_PROMPT_PRONUNCIATION = (
|
|
"Tu es un assistant de preparation de livre audio en francais. Tu reperes "
|
|
"les mots dont la prononciation par un synthetiseur vocal francais risque "
|
|
"d'etre incorrecte (noms propres etrangers, termes de science-fiction, "
|
|
"acronymes). Tu reponds UNIQUEMENT en JSON valide."
|
|
)
|
|
DEFAULT_PROMPT_INCISES = (
|
|
"Tu es un assistant d'analyse litteraire. Tu reperes les INCISES de "
|
|
"narration inserees dans une replique de dialogue (ex: 'dit Mamie', "
|
|
"'repondit le capitaine'). Tu reponds UNIQUEMENT en JSON valide, sans "
|
|
"texte autour."
|
|
)
|
|
DEFAULT_PROMPT_DEDUP = (
|
|
"Tu es un assistant d'analyse litteraire. Tu rapproches les differentes "
|
|
"facons de nommer un meme personnage (nom complet, prenom, surnom, "
|
|
"diminutif) pour eviter les doublons dans le casting d'un livre audio. Tu "
|
|
"ne fusionnes deux noms que si c'est, avec certitude, la meme personne. Tu "
|
|
"reponds UNIQUEMENT en JSON valide, sans texte autour."
|
|
)
|
|
|
|
|
|
class Settings(BaseModel):
|
|
"""Reglages techniques globaux, persistes dans data/settings.json."""
|
|
|
|
# --- Modeles MLX (identifiants HuggingFace) ---
|
|
gemma_model: str = config.GEMMA_MODEL
|
|
qwen3_model: str = config.QWEN3_TTS_MODEL
|
|
kokoro_model: str = config.KOKORO_MODEL
|
|
|
|
# --- Generation Gemma ---
|
|
gemma_temperature: float = Field(0.1, ge=0.0, le=2.0)
|
|
gemma_max_tokens: int = Field(2048, ge=64, le=16384)
|
|
# Modeles a raisonnement (Gemma 4, DeepSeek-R1, Qwen-think...) : ils emettent
|
|
# une chaine de pensee avant la reponse. Active le retrait de cette pensee
|
|
# (canaux <|channel>thought.../<channel|>, balises <think>...</think>) AVANT
|
|
# le parsing JSON, et releve le plafond de tokens (la pensee en consomme).
|
|
gemma_reasoning: bool = False
|
|
# Plafond de tokens en mode raisonnement (la pensee en consomme beaucoup).
|
|
# La generation s'arrete de toute facon des que la reponse JSON post-pensee
|
|
# est complete ; ce plafond est un garde-fou contre les boucles de pensee
|
|
# sans fin (certains modeles tournent en rond a temperature 0).
|
|
gemma_reasoning_max_tokens: int = Field(4096, ge=256, le=16384)
|
|
# Temperature en mode raisonnement. Le decodage GLOUTON (temp 0) fait boucler
|
|
# les modeles a raisonnement (repetitions sans fin) ; Qwen & co recommandent
|
|
# un echantillonnage. Si la temperature effective est 0, on bascule sur
|
|
# celle-ci. Rend le benchmark non deterministe en mode raisonnement (inevitable).
|
|
gemma_reasoning_temperature: float = Field(0.6, ge=0.0, le=2.0)
|
|
|
|
# --- Prompts systeme (analyse) ---
|
|
prompt_speakers: str = DEFAULT_PROMPT_SPEAKERS
|
|
prompt_speakers_refine: str = DEFAULT_PROMPT_SPEAKERS_REFINE
|
|
prompt_characters: str = DEFAULT_PROMPT_CHARACTERS
|
|
prompt_pronunciation: str = DEFAULT_PROMPT_PRONUNCIATION
|
|
prompt_incises: str = DEFAULT_PROMPT_INCISES # DEPRECIE (detection deterministe)
|
|
prompt_dedup: str = DEFAULT_PROMPT_DEDUP
|
|
|
|
# --- Incises ---
|
|
# DEPRECIE : la detection d'incises est desormais deterministe et conscience
|
|
# du casting (analysis.segmenter.detect_incises), sans fallback Gemma. Champ
|
|
# conserve pour charger les settings.json existants sans erreur.
|
|
split_incises_use_gemma: bool = True
|
|
|
|
# --- Attribution retroactive (2e passe sur les repliques indeterminees) ---
|
|
# Apres la 1re passe, une 2e passe ciblee re-resout les repliques restees
|
|
# 'inconnu' (ou peu sures) en s'appuyant sur les voisins deja identifies.
|
|
# Declenchee seulement s'il reste des doutes -> cout nul sinon.
|
|
retro_pass_use_gemma: bool = True
|
|
|
|
# --- Deduplication du casting ---
|
|
# Heuristique (sure, deterministe) par defaut. La passe Gemma rattache en
|
|
# plus les variantes non evidentes (diminutifs, titres) mais, avec un petit
|
|
# modele local, produit des fusions erronees -> opt-in.
|
|
dedup_use_gemma: bool = False
|
|
|
|
# --- TTS ---
|
|
default_backend: str = "kokoro"
|
|
language: str = config.DEFAULT_LANGUAGE
|
|
kokoro_lang_code: str = config.KOKORO_LANG_CODE
|
|
kokoro_default_voice: str = config.KOKORO_DEFAULT_VOICE
|
|
qwen3_default_voice: str = config.QWEN3_DEFAULT_VOICE
|
|
|
|
# --- Audio (encodage final) ---
|
|
target_sample_rate: int = Field(config.TARGET_SAMPLE_RATE, ge=8000, le=48000)
|
|
mp3_bitrate: str = config.MP3_BITRATE
|
|
target_dbfs: float = Field(config.TARGET_DBFS, ge=-40.0, le=0.0)
|
|
|
|
|
|
_LOCK = threading.Lock()
|
|
_cache: Optional[Settings] = None
|
|
|
|
|
|
def settings_path():
|
|
return config.DATA_DIR / "settings.json"
|
|
|
|
|
|
def get_settings() -> Settings:
|
|
"""Renvoie les reglages courants (charges depuis le disque une seule fois)."""
|
|
global _cache
|
|
with _LOCK:
|
|
if _cache is None:
|
|
path = settings_path()
|
|
if path.exists():
|
|
try:
|
|
_cache = Settings.model_validate_json(
|
|
path.read_text(encoding="utf-8"))
|
|
except Exception: # noqa: BLE001 — fichier corrompu -> defauts
|
|
_cache = Settings()
|
|
else:
|
|
_cache = Settings()
|
|
return _cache
|
|
|
|
|
|
def save_settings(settings: Settings) -> Settings:
|
|
"""Persiste les reglages et invalide les caches de modeles."""
|
|
global _cache
|
|
with _LOCK:
|
|
_cache = settings
|
|
path = settings_path()
|
|
path.parent.mkdir(parents=True, exist_ok=True)
|
|
path.write_text(settings.model_dump_json(indent=2), encoding="utf-8")
|
|
_invalidate_model_caches()
|
|
return settings
|
|
|
|
|
|
def _invalidate_model_caches() -> None:
|
|
"""Force le rechargement des modeles apres un changement d'identifiant/param.
|
|
|
|
`get_backend` est cache par *nom* de backend, pas par id de modele ; sans
|
|
purge, un changement d'id serait ignore. Idem pour le chargement Gemma.
|
|
"""
|
|
try:
|
|
from .tts.factory import get_backend
|
|
get_backend.cache_clear()
|
|
except Exception: # noqa: BLE001
|
|
pass
|
|
try:
|
|
from .analysis.gemma import _load
|
|
_load.cache_clear()
|
|
except Exception: # noqa: BLE001
|
|
pass
|