Lexicon

Documentation de Lexicon

Lexicon est une bibliothèque Python qui donne accès aux données de LeXiK et aux fonctions lexicales qui s'en servent. Cette page la présente par usage : ce que chaque fonction fait, un exemple, ce qu'elle renvoie et la taille de données qu'elle demande. La référence complète de l'API et la description du format de la base sont livrées avec le module.

1. Démarrer

pip install lectura_lexicon-<version>-py3-none-any.whl     # le code et la taille mini, prêts tout de suite
python -m lectura_lexicon installer --taille standard --source <archive de la taille standard>
python -m lectura_lexicon installer --taille complet  --source <archive de la taille complète>
python -m lectura_lexicon tailles                            # tailles installées et leurs chemins

Les tailles standard et complète s'installent depuis un fichier local, sans réseau. L'installation vérifie l'empreinte SHA-256 de l'archive, refuse un fichier abîmé, puis construit les index : environ 1 minute pour la standard, 1 min 40 pour la complète. Une taille demandée mais absente lève FileNotFoundError, avec la commande à lancer.

from lectura_lexicon import Lexicon

lex = Lexicon()                      # la plus grande taille présente
lex = Lexicon(taille="standard")     # une taille précise
lex = Lexicon("/chemin/vers/lexicon.db")

Sans chemin, la bibliothèque cherche les données dans l'ordre : la variable LECTURA_LEXICON_DATA, LECTURA_MODELS_DIR/lexicon, ~/.lectura/models/lexicon, puis le paquet lui-même. Si elle ne trouve rien : FileNotFoundError.

Conventions.

2. Les trois tailles

Trois tailles au choix : mini, standard et complète. Les lemmes, les analyses et la conjugaison demandent la standard ou la complète. En mini, une fonction qui demande la standard rend un résultat vide, sans erreur. Poids et nombre de formes : la présentation.

Usageministandard, complète
Vérifier un mot, fréquence, prononciationsouioui
Homophones, voisins, rimes (par phonèmes ou depuis la voyelle)ouioui
Recherche par motif de lettres ou de sons, sélection et tri, dictionnaire de l'utilisateurouioui
Syllabes, rimes par syllabes, recherche par nombre de syllabes ou par catégorie, anagrammes—oui
Lemmes et analyses (dont l'étiquette MULTEXT), conjugaison et formes—oui
Sources et niveau de confiance de chaque analyse—complète

3. Vérifier un mot toutes tailles

Dire si une graphie est un mot du français, et avec quel degré de sûreté : "inconnue" < "rare" < "variante" < "acceptee" < "proposable". Une variante (graphie ancienne ou concurrente) est acceptée, mais jamais proposée. Une forme vue seulement en corpus, jamais validée, reste "inconnue".

lex.validite("chat")       # "proposable"
lex.validite("enfans")     # "variante"
lex.usuelle("enfans")      # "enfants"
lex.existe("fautte")       # False  (validité au moins "variante")
lex.rectifiee("gout")      # True   (orthographe de 1990)
lex.forme("maison")        # Forme(ortho="maison", zipf=5.66, validite="proposable", …)

Renvoie une chaîne, un booléen, la graphie usuelle (ou None), ou un objet Forme. Aucune de ces fonctions ne lève d'erreur, quelle que soit la graphie.

4. Fréquence toutes tailles

lex.frequence("maison")    # 5.66  (zipf ; 0.0 si absente)

Pour ordonner des mots, choisir les plus courants ou fixer un seuil. Le zipf de chaque analyse (par exemple « est » verbe ou nom) est donné par les lectures (§9).

5. Prononciations et syllabes

lex.phones("fils")         # ["fis"]                       toutes tailles
lex.syllabes("chanson")    # ["ʃɑ̃", "sɔ̃"]                standard
lex.lectures("est")        # une Lecture par analyse : être (AUX), être (VERB), est (NOUN)…

phones renvoie les prononciations distinctes, syllabées en standard. syllabes renvoie les syllabes phonétiques de la lecture la plus fréquente.

6. Homophones toutes tailles

lex.homophones("vɛʁ")              # vers, verre, vert, ver…  (par zipf décroissant)
lex.homophones("vɛʁ", neutre=True) # sans distinguer é/è, o/ɔ, eu/œ
lex.homophones("maʁi", propres=False, casse="regrouper")   # mari, marri…  (sans Marie, Mary…)

Renvoie une liste de Forme de toutes validités ; filtrer sur validite au besoin.

Filtres de présentation (0.5.0), qui valent aussi pour les deux fonctions de voisins (§7) : propres=False écarte les noms propres ; casse vaut "toutes" (par défaut : tout garder), "regrouper" (une seule forme par graphie en minuscules, la minuscule si elle existe) ou "minuscules" (seulement les graphies écrites en minuscules). Ils s'appliquent avant limite ; une autre valeur de casse lève ValueError. Par défaut, rien ne change. L'API de démonstration (0.4) ne les aura qu'après le passage en 0.5.0.

7. Voisins orthographiques et phonétiques toutes tailles

lex.voisins_orthographiques("fautte")    # faute (distance 1)…
lex.voisins_phonetiques("ɔtɔmɔbil")      # automobile, automobiles

Les mots à une ou deux lettres près (une inversion compte pour une), ou à un phonème près. Pour proposer une correction ou des distracteurs dans un exercice. Paramètres : distance_max, tolerance, limite, validite_min, et les filtres propres et casse (§6). Seuls les mots assez fréquents sont indexés (zipf ≥ 2 en mini, ≥ 1 en standard).

8. Rimes

lex.rimes("chanson")                          # son, façon, garçon…        toutes tailles
lex.rimes(phone="sɔ̃", qualite="riche")
lex.rimes("chanson", unite="syllabes", n=1)   # par syllabes : standard

Rimes avec la prononciation la plus fréquente d'un mot, ou avec une prononciation donnée. unite : les n derniers phonèmes, les n dernières syllabes, ou depuis la dernière voyelle. Chaque Forme porte la qualité de la rime : pauvre, suffisante ou riche.

9. Lemmes et analyses standard

lex.lemmes_de("est")       # ["être#AUX", …]
l = lex.lectures("est")[0]
l.lemme, l.upos            # "être", "AUX"
l.feats                    # "Mood=Ind|Number=Sing|Person=3|Tense=Pres|VerbForm=Fin"
lex.lectures("mange")[0].multext   # "Vmip3s-"  (étiquette MULTEXT de LeXiK)
l.traits()                 # {"Mood": "Ind", "Number": "Sing", …}

Chaque Lecture donne le lemme, la catégorie (Universal Dependencies), les traits, l'étiquette MULTEXT, la prononciation syllabée et le zipf de l'analyse. En complète, elle donne aussi les sources de LeXiK et leur niveau de confiance.

Lecture.marque (0.5.0) donne les étiquettes du Wiktionnaire quand toutes ses entrées marquent la flexion : rare, archaic, dated, obsolete, literary, poetic, colloquial… Elle est vide pour une forme courante. Environ 700 flexions sont marquées en français.

10. Conjugaison et formes standard

lex.conjuguer("aller")["Ind"]["Pres"]["1s"]    # "vais"
lex.formes_de("chat")                           # chat, chats
lex.variante("mange", Number="Plur")            # mange → mangent, mangeons…
lex.autre_genre("acteur")                       # ["actrice"]

conjuguer renvoie {mode: {temps: {personne: forme}}}, avec les codes UD : modes Ind, Sub, Cnd, Imp, Inf, Part ; temps Pres, Imp, Past, Fut ; personnes 1s à 3p. Dans chaque case, une forme courante passe toujours avant une forme marquée (Lecture.marque, 0.5.0). variante change seulement les traits demandés.

11. Recherche multicritère

lex.rechercher("*ette", syllabes=2, upos="NOUN")   # toilette, recette, assiette…   (syllabes, upos : standard)
lex.contient_son("wa")                            # trois, avoir, fois, soit, voir…
lex.anagrammes("aimer")                           # maire, marié, marie…            standard
lex.mots_par_syllabes(3, upos="VERB")             # standard

Combiner un motif de lettres (jokers * et ?), un motif de sons, un nombre de syllabes, une catégorie, une plage de fréquence et une rime. Les résultats sont triés par fréquence décroissante ; à fréquence égale, la graphie en minuscules passe avant celle à majuscule (night avant Night). Pour composer une liste de mots d'exercice, un jeu de lettres, un corpus d'entraînement.

12. Sélection et tri toutes tailles

lex.filtrer(["chat", "chien", "éléphant"], syllabes=1)   # ["chat", "chien"]  (standard)

filtrer applique les critères de la recherche à une liste que vous fournissez, en gardant son ordre. Les critères de syllabes et de catégorie demandent la standard.

13. Dictionnaire de l'utilisateur toutes tailles

lex = Lexicon(dictionnaire=True)
lex.ajouter("Kélyan", "ke.ljɑ̃")
lex.validite("Kélyan")     # "proposable"
lex.retirer("Kélyan")      # True

Ajouter les mots propres à une application : prénoms, termes techniques. Ils deviennent acceptés et proposables. Le dictionnaire est un fichier TSV (graphie, prononciation, catégorie, lemme, zipf), enregistré à chaque changement.

14. Format des données

Les bases sont des fichiers SQLite 3 ordinaires. Tout lecteur SQLite (Kotlin, Swift, JavaScript avec sql.js, C…) peut les lire sans la bibliothèque, avec la description du format livrée avec le module : tables des formes, des clés phonétiques, des analyses et des lemmes, drapeaux et règle de validité.

-- homophones de /vɛʁ/, sans la bibliothèque
SELECT f.ortho, f.zipf FROM cles_phone c JOIN phones p ON p.cle = c.id JOIN formes f ON f.id = p.forme
 WHERE c.cle = 'vɛʁ' AND p.masquee = 0 AND (f.drapeaux & 128) = 0 ORDER BY f.zipf DESC;

15. Licences

Deux licences distinctes. Le code (bibliothèque, outils, documentation) est proposé sous licence commerciale. Les données sont dérivées de LeXiK et restent sous licence libre CC BY-SA 4.0, avec leurs attributions. Le détail dans l'onglet Licences.

16. Fonctions dans les deux langues

Lexicon FR (lectura_lexicon 0.5.0) et Lexicon EN (lectura_lexicon_en 0.3.0) ont les mêmes noms de fonctions, avec les mêmes paramètres et le même sens. L'API de démonstration en service (FR 0.4, EN 0.2.0) n'aura les nouveautés de ces versions qu'après son déploiement.

FonctionsFREN
validite, existe, est_valide, non_valide, frequence, usuelle, formeouioui
lectures, phones, syllabes, lemmes_de, formes_de, variante, conjuguer, Lecture.marqueouioui
homophones, voisins_orthographiques, voisins_phonetiques, avec les filtres propres et casseouioui
contient_son, mots_par_syllabes, anagrammes, rechercher, filtrerouioui
Dictionnaire de l'utilisateur (ajouter, retirer, Dictionnaire)ouioui
rimes avec n, unite (phonèmes, syllabes, voyelle) et qualite (pauvre, suffisante, riche)oui— (n seulement)
rectifiee (orthographe de 1990), autre_genre (acteur → actrice)oui—
MULTEXT (Lecture.multext) : français seulementoui—
Rime anglaise par défaut (rime, depuis la voyelle accentuée)—oui
Graphies britanniques et américaines (britannique, americaine, britanniques)—oui

17. Lexicon EN

Lexicon EN (lectura_lexicon_en, version 0.3.0) est construit comme Lexicon FR : mêmes conventions (validité, zipf, tailles, objets Forme et Lecture), même installation hors ligne. Seul ce qui diffère est décrit ici. Présentation et poids des tailles : la page Lexicon EN.

pip install lectura_lexicon_en-<version>-py3-none-any.whl     # le code et la taille mini
python -m lectura_lexicon_en installer --taille standard --source <archive de la taille standard>
python -m lectura_lexicon_en installer --taille complet  --source <archive de la taille complète>
python -m lectura_lexicon_en tailles

from lectura_lexicon_en import Lexicon
lex = Lexicon(taille="standard")

Vérifier un mot, fréquence, graphies britanniques toutes tailles

lex.validite("dog")          # "proposable"
lex.validite("seperate")     # "variante"  (faute connue)
lex.usuelle("seperate")      # "separate"
lex.existe("walkd")          # False
lex.frequence("the")         # 7.73
lex.britannique("colour")    # True
lex.americaine("colours")    # "colors"
lex.britanniques("color")    # ["colour"]

Les graphies britanniques (colour, centre, realise) sont valides comme les américaines.

Prononciations et syllabes

lex.phones("read")           # ["ˈɹid", "ˈɹɛd"]                 toutes tailles (sans accent en mini)
lex.syllabes("dictionary")   # ["ˈdɪk", "ʃə", "ˌnɛɹ", "i"]      standard
lex.rime("nation")           # ["eɪ", "ʃ", "ə", "n"]  rime anglaise : depuis la voyelle accentuée

Homophones toutes tailles

lex.homophones("ðɛɹ")                  # their, there, they're
lex.homophones("kɑt", neutre=True)     # caught, CoT, cot, KOT, khat, Cott  (ʌ/ə, ɝ/ɚ, ɑ/ɔ confondus)
lex.homophones("kɑt", neutre=True, propres=False, casse="regrouper")   # caught, cot, khat

Deux filtres d'affichage (0.3.0), qui gardent tout par défaut, valent aussi pour les deux fonctions de voisins : propres=False écarte les noms propres ; casse="regrouper" garde une seule forme par graphie en minuscules, casse="minuscules" ne garde que les graphies en minuscules. L'API de démonstration, en 0.2.0, ne les a pas encore.

Voisins orthographiques et phonétiques toutes tailles

lex.voisins_orthographiques("recieve", limite=5)   # receive, relieve, recipe, revive, recite
lex.voisins_phonetiques("ˈbju.tɪ.fəl")             # beautiful

Rimes toutes tailles

lex.rimes("nation", limite=8)    # information, education, situation, association, population, station…
lex.rimes("nation", n=2)         # les 2 derniers phonèmes : an, can, been, than, women…

Sans n, la rime anglaise : les phonèmes depuis la voyelle de la dernière syllabe accentuée.

Lemmes et analyses standard

lex.lemmes_de("saw")             # ["saw#NOUN", "saw#VERB", "see#VERB"]
[(l.lemme, l.upos, l.phone) for l in lex.lectures("read")][:3]
# [("read", "NOUN", "ˈɹid"), ("read", "VERB", "ˈɹid"), ("read", "VERB", "ˈɹɛd")]

Conjugaison et formes standard

lex.conjuguer("go")["Ind"]["Past"]["3s"]     # "went"
lex.conjuguer("go")["Part"]["Past"]["-"]     # "gone"
lex.conjuguer("be")["Ind"]["Pres"]           # {"1s": "am", "3s": "is", …}
lex.variante("child", Number="Plur")          # child → children…

La conjugaison donne la forme courante (eat → ate, fight → fought). Les flexions que le Wiktionary marque comme dialectales, archaïques ou rares restent dans les lectures, avec leur étiquette dans Lecture.marque (vide pour une forme courante ; standard). L'API de démonstration, en 0.2.0, n'a pas encore ces corrections.

Modes UD : Ind, Sub, Imp, Inf, Part, Ger ; temps Pres, Past ; personnes 1s à 3p, « - » pour les formes sans personne.

Recherche par son, par syllabes, anagrammes

lex.contient_son("ʒ", limite=6)                        # usually, decision, version…      toutes tailles
lex.mots_par_syllabes(3, upos="NOUN", limite=6)        # family, company, government…     standard
lex.anagrammes("listen")                               # silent, enlist, tinsel, inlets   standard

Recherche multicritère et sélection toutes tailles

lex.rechercher("*ight", syllabes=1, upos="NOUN", limite=6)   # right, might, night, light, fight, straight   (syllabes, upos : standard)
lex.rechercher("c?t", limite=3)                              # cut, cat, cot
lex.rechercher(son="*ʃən", limite=5)                         # information, education, action, position, production
lex.rechercher("cafe", accents=False, validite_min="acceptee")   # cafe, café
lex.filtrer(["night", "dog", "table", "xqzt", "light"], rime="kite")   # night, light

Mêmes critères et même sens qu'en français. À fréquence égale, la graphie en minuscules vient en premier ; une graphie absente de la base n'est jamais gardée par filtrer.

Dictionnaire de l'utilisateur toutes tailles

lex = Lexicon(taille="standard", dictionnaire=True)
lex.ajouter("Kaylen", "ˈkeɪ.lən")
lex.validite("Kaylen")       # "proposable"
lex.retirer("Kaylen")        # True

Même fonctionnement et même format de fichier qu'en français. Fichier par défaut : LECTURA_LEXICON_EN_UTILISATEUR, sinon ~/.lectura/lexicon_en/utilisateur.tsv.

Ces fonctions arrivent avec la 0.3.0 : l'API de démonstration, en 0.2.0, ne les a pas encore.

Données : bases SQLite 3 au même format que Lexicon FR, avec en plus une table des graphies américaines et un drapeau des graphies britanniques. Licence des données : CC BY-SA 4.0, avec les attributions de l'onglet Licences.

Essayer en ligne

Pour la démonstration, l'API de Lectura sert les mêmes fonctions : https://api.lectura.world/lexique/{fonction}, en GET avec les arguments en paramètres (/lexique/rimes?forme=chanson&limite=20) ou en POST avec un corps JSON ({"forme": "chanson"}). La réponse est {"resultat": …}. Le nombre de requêtes par jour est limité. L'API tourne encore sur la version précédente (FR 0.4, EN 0.2.0) : quelques réponses peuvent différer, en particulier sur les formes jamais validées, et les nouveautés décrites ici (filtres propres et casse, marque, MULTEXT, recherche et dictionnaire en anglais) n'y seront qu'après son déploiement. Démo interactive : la page Lexicon FR.