Documentation de Lexicon
Lexicon est une bibliothèque Python qui donne accès aux données de LeXiK et aux fonctions lexicales qui s'en servent. Cette page la présente par usage : ce que chaque fonction fait, un exemple, ce qu'elle renvoie et la taille de données qu'elle demande. La référence complète de l'API et la description du format de la base sont livrées avec le module.
1. Démarrer
pip install lectura_lexicon-<version>-py3-none-any.whl # le code et la taille mini, prêts tout de suite
python -m lectura_lexicon installer --taille standard --source <archive de la taille standard>
python -m lectura_lexicon installer --taille complet --source <archive de la taille complète>
python -m lectura_lexicon tailles # tailles installées et leurs chemins
Les tailles standard et complète s'installent depuis un fichier local, sans réseau. L'installation vérifie l'empreinte SHA-256 de l'archive, refuse un fichier abîmé, puis construit les index : environ 1 minute pour la standard, 1 min 40 pour la complète. Une taille demandée mais absente lève FileNotFoundError, avec la commande à lancer.
- Python 3.10 ou plus récent, sans autre dépendance : la base est un fichier SQLite lu par la bibliothèque standard.
- Entièrement hors ligne : le paquet ne contient aucun code réseau.
- Une instance peut être partagée entre plusieurs fils d'exécution (base en lecture seule).
from lectura_lexicon import Lexicon
lex = Lexicon() # la plus grande taille présente
lex = Lexicon(taille="standard") # une taille précise
lex = Lexicon("/chemin/vers/lexicon.db")
Sans chemin, la bibliothèque cherche les données dans l'ordre : la variable LECTURA_LEXICON_DATA, LECTURA_MODELS_DIR/lexicon, ~/.lectura/models/lexicon, puis le paquet lui-même. Si elle ne trouve rien : FileNotFoundError.
Conventions.
- Majuscules : un mot écrit avec une majuscule initiale ou tout en capitales peut être un mot ordinaire en début de phrase ou dans un titre. Lexicon cherche donc aussi sa forme en minuscules : « Chat » et « CHAT » trouvent « chat ». L'inverse n'est pas vrai : un mot écrit en minuscules n'est jamais un nom propre.
lex.lectures("paris")ne donne que le pluriel de pari ;lex.lectures("PARIS")donne la ville et paris. - Prononciation (
phone) : en API, syllabée (ʃɑ̃.sɔ̃) ou non (ʃɑ̃sɔ̃). - Zipf : fréquence sur une échelle logarithmique (3 = une occurrence par million de mots, 6 à 7 = mots grammaticaux, 0 = jamais vue).
- Résultats : des objets
Forme(graphie, zipf, validité, nom propre…) ouLecture(graphie, lemme, catégorie, traits, prononciation, zipf, étiquette MULTEXT, marque), ou des types simples.
2. Les trois tailles
Trois tailles au choix : mini, standard et complète. Les lemmes, les analyses et la conjugaison demandent la standard ou la complète. En mini, une fonction qui demande la standard rend un résultat vide, sans erreur. Poids et nombre de formes : la présentation.
| Usage | mini | standard, complète |
|---|---|---|
| Vérifier un mot, fréquence, prononciations | oui | oui |
| Homophones, voisins, rimes (par phonèmes ou depuis la voyelle) | oui | oui |
| Recherche par motif de lettres ou de sons, sélection et tri, dictionnaire de l'utilisateur | oui | oui |
| Syllabes, rimes par syllabes, recherche par nombre de syllabes ou par catégorie, anagrammes | — | oui |
| Lemmes et analyses (dont l'étiquette MULTEXT), conjugaison et formes | — | oui |
| Sources et niveau de confiance de chaque analyse | — | complète |
3. Vérifier un mot toutes tailles
Dire si une graphie est un mot du français, et avec quel degré de sûreté : "inconnue" < "rare" < "variante" < "acceptee" < "proposable". Une variante (graphie ancienne ou concurrente) est acceptée, mais jamais proposée. Une forme vue seulement en corpus, jamais validée, reste "inconnue".
lex.validite("chat") # "proposable"
lex.validite("enfans") # "variante"
lex.usuelle("enfans") # "enfants"
lex.existe("fautte") # False (validité au moins "variante")
lex.rectifiee("gout") # True (orthographe de 1990)
lex.forme("maison") # Forme(ortho="maison", zipf=5.66, validite="proposable", …)
Renvoie une chaîne, un booléen, la graphie usuelle (ou None), ou un objet Forme. Aucune de ces fonctions ne lève d'erreur, quelle que soit la graphie.
4. Fréquence toutes tailles
lex.frequence("maison") # 5.66 (zipf ; 0.0 si absente)
Pour ordonner des mots, choisir les plus courants ou fixer un seuil. Le zipf de chaque analyse (par exemple « est » verbe ou nom) est donné par les lectures (§9).
5. Prononciations et syllabes
lex.phones("fils") # ["fis"] toutes tailles
lex.syllabes("chanson") # ["ʃɑ̃", "sɔ̃"] standard
lex.lectures("est") # une Lecture par analyse : être (AUX), être (VERB), est (NOUN)…
phones renvoie les prononciations distinctes, syllabées en standard. syllabes renvoie les syllabes phonétiques de la lecture la plus fréquente.
6. Homophones toutes tailles
lex.homophones("vɛʁ") # vers, verre, vert, ver… (par zipf décroissant)
lex.homophones("vɛʁ", neutre=True) # sans distinguer é/è, o/ɔ, eu/œ
lex.homophones("maʁi", propres=False, casse="regrouper") # mari, marri… (sans Marie, Mary…)
Renvoie une liste de Forme de toutes validités ; filtrer sur validite au besoin.
Filtres de présentation (0.5.0), qui valent aussi pour les deux fonctions de voisins (§7) : propres=False écarte les noms propres ; casse vaut "toutes" (par défaut : tout garder), "regrouper" (une seule forme par graphie en minuscules, la minuscule si elle existe) ou "minuscules" (seulement les graphies écrites en minuscules). Ils s'appliquent avant limite ; une autre valeur de casse lève ValueError. Par défaut, rien ne change. L'API de démonstration (0.4) ne les aura qu'après le passage en 0.5.0.
7. Voisins orthographiques et phonétiques toutes tailles
lex.voisins_orthographiques("fautte") # faute (distance 1)…
lex.voisins_phonetiques("ɔtɔmɔbil") # automobile, automobiles
Les mots à une ou deux lettres près (une inversion compte pour une), ou à un phonème près. Pour proposer une correction ou des distracteurs dans un exercice. Paramètres : distance_max, tolerance, limite, validite_min, et les filtres propres et casse (§6). Seuls les mots assez fréquents sont indexés (zipf ≥ 2 en mini, ≥ 1 en standard).
8. Rimes
lex.rimes("chanson") # son, façon, garçon… toutes tailles
lex.rimes(phone="sɔ̃", qualite="riche")
lex.rimes("chanson", unite="syllabes", n=1) # par syllabes : standard
Rimes avec la prononciation la plus fréquente d'un mot, ou avec une prononciation donnée. unite : les n derniers phonèmes, les n dernières syllabes, ou depuis la dernière voyelle. Chaque Forme porte la qualité de la rime : pauvre, suffisante ou riche.
9. Lemmes et analyses standard
lex.lemmes_de("est") # ["être#AUX", …]
l = lex.lectures("est")[0]
l.lemme, l.upos # "être", "AUX"
l.feats # "Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin"
lex.lectures("mange")[0].multext # "Vmip3s-" (étiquette MULTEXT de LeXiK)
l.traits() # {"Mood": "Ind", "Number": "Sing", …}
Chaque Lecture donne le lemme, la catégorie (Universal Dependencies), les traits, l'étiquette MULTEXT, la prononciation syllabée et le zipf de l'analyse. En complète, elle donne aussi les sources de LeXiK et leur niveau de confiance.
Lecture.marque (0.5.0) donne les étiquettes du Wiktionnaire quand toutes ses entrées marquent la flexion : rare, archaic, dated, obsolete, literary, poetic, colloquial… Elle est vide pour une forme courante. Environ 700 flexions sont marquées en français.
10. Conjugaison et formes standard
lex.conjuguer("aller")["Ind"]["Pres"]["1s"] # "vais"
lex.formes_de("chat") # chat, chats
lex.variante("mange", Number="Plur") # mange → mangent, mangeons…
lex.autre_genre("acteur") # ["actrice"]
conjuguer renvoie {mode: {temps: {personne: forme}}}, avec les codes UD : modes Ind, Sub, Cnd, Imp, Inf, Part ; temps Pres, Imp, Past, Fut ; personnes 1s à 3p. Dans chaque case, une forme courante passe toujours avant une forme marquée (Lecture.marque, 0.5.0). variante change seulement les traits demandés.
11. Recherche multicritère
lex.rechercher("*ette", syllabes=2, upos="NOUN") # toilette, recette, assiette… (syllabes, upos : standard)
lex.contient_son("wa") # trois, avoir, fois, soit, voir…
lex.anagrammes("aimer") # maire, marié, marie… standard
lex.mots_par_syllabes(3, upos="VERB") # standard
Combiner un motif de lettres (jokers * et ?), un motif de sons, un nombre de syllabes, une catégorie, une plage de fréquence et une rime. Les résultats sont triés par fréquence décroissante ; à fréquence égale, la graphie en minuscules passe avant celle à majuscule (night avant Night). Pour composer une liste de mots d'exercice, un jeu de lettres, un corpus d'entraînement.
12. Sélection et tri toutes tailles
lex.filtrer(["chat", "chien", "éléphant"], syllabes=1) # ["chat", "chien"] (standard)
filtrer applique les critères de la recherche à une liste que vous fournissez, en gardant son ordre. Les critères de syllabes et de catégorie demandent la standard.
13. Dictionnaire de l'utilisateur toutes tailles
lex = Lexicon(dictionnaire=True)
lex.ajouter("Kélyan", "ke.ljɑ̃")
lex.validite("Kélyan") # "proposable"
lex.retirer("Kélyan") # True
Ajouter les mots propres à une application : prénoms, termes techniques. Ils deviennent acceptés et proposables. Le dictionnaire est un fichier TSV (graphie, prononciation, catégorie, lemme, zipf), enregistré à chaque changement.
14. Format des données
Les bases sont des fichiers SQLite 3 ordinaires. Tout lecteur SQLite (Kotlin, Swift, JavaScript avec sql.js, C…) peut les lire sans la bibliothèque, avec la description du format livrée avec le module : tables des formes, des clés phonétiques, des analyses et des lemmes, drapeaux et règle de validité.
-- homophones de /vɛʁ/, sans la bibliothèque
SELECT f.ortho, f.zipf FROM cles_phone c JOIN phones p ON p.cle = c.id JOIN formes f ON f.id = p.forme
WHERE c.cle = 'vɛʁ' AND p.masquee = 0 AND (f.drapeaux & 128) = 0 ORDER BY f.zipf DESC;
15. Licences
Deux licences distinctes. Le code (bibliothèque, outils, documentation) est proposé sous licence commerciale. Les données sont dérivées de LeXiK et restent sous licence libre CC BY-SA 4.0, avec leurs attributions. Le détail dans l'onglet Licences.
16. Fonctions dans les deux langues
Lexicon FR (lectura_lexicon 0.5.0) et Lexicon EN (lectura_lexicon_en 0.3.0) ont les mêmes noms de fonctions, avec les mêmes paramètres et le même sens. L'API de démonstration en service (FR 0.4, EN 0.2.0) n'aura les nouveautés de ces versions qu'après son déploiement.
| Fonctions | FR | EN |
|---|---|---|
validite, existe, est_valide, non_valide, frequence, usuelle, forme | oui | oui |
lectures, phones, syllabes, lemmes_de, formes_de, variante, conjuguer, Lecture.marque | oui | oui |
homophones, voisins_orthographiques, voisins_phonetiques, avec les filtres propres et casse | oui | oui |
contient_son, mots_par_syllabes, anagrammes, rechercher, filtrer | oui | oui |
Dictionnaire de l'utilisateur (ajouter, retirer, Dictionnaire) | oui | oui |
rimes avec n, unite (phonèmes, syllabes, voyelle) et qualite (pauvre, suffisante, riche) | oui | — (n seulement) |
rectifiee (orthographe de 1990), autre_genre (acteur → actrice) | oui | — |
MULTEXT (Lecture.multext) : français seulement | oui | — |
Rime anglaise par défaut (rime, depuis la voyelle accentuée) | — | oui |
Graphies britanniques et américaines (britannique, americaine, britanniques) | — | oui |
17. Lexicon EN
Lexicon EN (lectura_lexicon_en, version 0.3.0) est construit comme Lexicon FR : mêmes conventions (validité, zipf, tailles, objets Forme et Lecture), même installation hors ligne. Seul ce qui diffère est décrit ici. Présentation et poids des tailles : la page Lexicon EN.
pip install lectura_lexicon_en-<version>-py3-none-any.whl # le code et la taille mini
python -m lectura_lexicon_en installer --taille standard --source <archive de la taille standard>
python -m lectura_lexicon_en installer --taille complet --source <archive de la taille complète>
python -m lectura_lexicon_en tailles
from lectura_lexicon_en import Lexicon
lex = Lexicon(taille="standard")
- Prononciation : API de l'anglais américain (General American), syllabée avec l'accent (
ˈdɪk.ʃəˌnɛɹ.i). Les diphtongues et les affriquées (eɪ, aɪ, tʃ, dʒ…) comptent pour un phonème. - Zipf : fréquences de wordfreq.
- Formes non validées : les mots vus en corpus qu'aucun dictionnaire ne confirme (dont, idk, wanna) restent
"inconnue"; leur fréquence se lit. - MULTEXT : français seulement.
Lecturen'a pas de champmultexten anglais, aucune source ne le fournissant.
Vérifier un mot, fréquence, graphies britanniques toutes tailles
lex.validite("dog") # "proposable"
lex.validite("seperate") # "variante" (faute connue)
lex.usuelle("seperate") # "separate"
lex.existe("walkd") # False
lex.frequence("the") # 7.73
lex.britannique("colour") # True
lex.americaine("colours") # "colors"
lex.britanniques("color") # ["colour"]
Les graphies britanniques (colour, centre, realise) sont valides comme les américaines.
Prononciations et syllabes
lex.phones("read") # ["ˈɹid", "ˈɹɛd"] toutes tailles (sans accent en mini)
lex.syllabes("dictionary") # ["ˈdɪk", "ʃə", "ˌnɛɹ", "i"] standard
lex.rime("nation") # ["eɪ", "ʃ", "ə", "n"] rime anglaise : depuis la voyelle accentuée
Homophones toutes tailles
lex.homophones("ðɛɹ") # their, there, they're
lex.homophones("kɑt", neutre=True) # caught, CoT, cot, KOT, khat, Cott (ʌ/ə, ɝ/ɚ, ɑ/ɔ confondus)
lex.homophones("kɑt", neutre=True, propres=False, casse="regrouper") # caught, cot, khat
Deux filtres d'affichage (0.3.0), qui gardent tout par défaut, valent aussi pour les deux fonctions de voisins : propres=False écarte les noms propres ; casse="regrouper" garde une seule forme par graphie en minuscules, casse="minuscules" ne garde que les graphies en minuscules. L'API de démonstration, en 0.2.0, ne les a pas encore.
Voisins orthographiques et phonétiques toutes tailles
lex.voisins_orthographiques("recieve", limite=5) # receive, relieve, recipe, revive, recite
lex.voisins_phonetiques("ˈbju.tɪ.fəl") # beautiful
Rimes toutes tailles
lex.rimes("nation", limite=8) # information, education, situation, association, population, station…
lex.rimes("nation", n=2) # les 2 derniers phonèmes : an, can, been, than, women…
Sans n, la rime anglaise : les phonèmes depuis la voyelle de la dernière syllabe accentuée.
Lemmes et analyses standard
lex.lemmes_de("saw") # ["saw#NOUN", "saw#VERB", "see#VERB"]
[(l.lemme, l.upos, l.phone) for l in lex.lectures("read")][:3]
# [("read", "NOUN", "ˈɹid"), ("read", "VERB", "ˈɹid"), ("read", "VERB", "ˈɹɛd")]
Conjugaison et formes standard
lex.conjuguer("go")["Ind"]["Past"]["3s"] # "went"
lex.conjuguer("go")["Part"]["Past"]["-"] # "gone"
lex.conjuguer("be")["Ind"]["Pres"] # {"1s": "am", "3s": "is", …}
lex.variante("child", Number="Plur") # child → children…
La conjugaison donne la forme courante (eat → ate, fight → fought). Les flexions que le Wiktionary marque comme dialectales, archaïques ou rares restent dans les lectures, avec leur étiquette dans Lecture.marque (vide pour une forme courante ; standard). L'API de démonstration, en 0.2.0, n'a pas encore ces corrections.
Modes UD : Ind, Sub, Imp, Inf, Part, Ger ; temps Pres, Past ; personnes 1s à 3p, « - » pour les formes sans personne.
Recherche par son, par syllabes, anagrammes
lex.contient_son("ʒ", limite=6) # usually, decision, version… toutes tailles
lex.mots_par_syllabes(3, upos="NOUN", limite=6) # family, company, government… standard
lex.anagrammes("listen") # silent, enlist, tinsel, inlets standard
Recherche multicritère et sélection toutes tailles
lex.rechercher("*ight", syllabes=1, upos="NOUN", limite=6) # right, might, night, light, fight, straight (syllabes, upos : standard)
lex.rechercher("c?t", limite=3) # cut, cat, cot
lex.rechercher(son="*ʃən", limite=5) # information, education, action, position, production
lex.rechercher("cafe", accents=False, validite_min="acceptee") # cafe, café
lex.filtrer(["night", "dog", "table", "xqzt", "light"], rime="kite") # night, light
Mêmes critères et même sens qu'en français. À fréquence égale, la graphie en minuscules vient en premier ; une graphie absente de la base n'est jamais gardée par filtrer.
Dictionnaire de l'utilisateur toutes tailles
lex = Lexicon(taille="standard", dictionnaire=True)
lex.ajouter("Kaylen", "ˈkeɪ.lən")
lex.validite("Kaylen") # "proposable"
lex.retirer("Kaylen") # True
Même fonctionnement et même format de fichier qu'en français. Fichier par défaut : LECTURA_LEXICON_EN_UTILISATEUR, sinon ~/.lectura/lexicon_en/utilisateur.tsv.
Ces fonctions arrivent avec la 0.3.0 : l'API de démonstration, en 0.2.0, ne les a pas encore.
Données : bases SQLite 3 au même format que Lexicon FR, avec en plus une table des graphies américaines et un drapeau des graphies britanniques. Licence des données : CC BY-SA 4.0, avec les attributions de l'onglet Licences.
Essayer en ligne
Pour la démonstration, l'API de Lectura sert les mêmes fonctions : https://api.lectura.world/lexique/{fonction}, en GET avec les arguments en paramètres (/lexique/rimes?forme=chanson&limite=20) ou en POST avec un corps JSON ({"forme": "chanson"}). La réponse est {"resultat": …}. Le nombre de requêtes par jour est limité. L'API tourne encore sur la version précédente (FR 0.4, EN 0.2.0) : quelques réponses peuvent différer, en particulier sur les formes jamais validées, et les nouveautés décrites ici (filtres propres et casse, marque, MULTEXT, recherche et dictionnaire en anglais) n'y seront qu'après son déploiement. Démo interactive : la page Lexicon FR.