русский | rus-000 |
лексема |
العربية | arb-000 | رمز مميز |
беларуская | bel-000 | лексема |
беларуская | bel-000 | лексэма |
български | bul-000 | знак |
български | bul-000 | лексема |
български | bul-000 | символ |
català | cat-000 | lexema |
čeština | ces-000 | jednotka slovní zásoby |
čeština | ces-000 | lexém |
čeština | ces-000 | token |
普通话 | cmn-000 | 标记 |
普通话 | cmn-000 | 词位 |
普通话 | cmn-000 | 辞范 |
國語 | cmn-001 | 詞位 |
國語 | cmn-001 | 語彙基元 |
國語 | cmn-001 | 辭範 |
Hànyǔ | cmn-003 | cí wei |
Hànyǔ | cmn-003 | cífàn |
dansk | dan-000 | token |
Deutsch | deu-000 | Lexem |
Deutsch | deu-000 | Token |
eesti | ekk-000 | sõne |
English | eng-000 | lexeme |
English | eng-000 | lexical element |
English | eng-000 | lexical token |
English | eng-000 | lexical unit |
English | eng-000 | token |
suomi | fin-000 | lekseemi |
suomi | fin-000 | sane |
suomi | fin-000 | tunnus |
français | fra-000 | jeton |
français | fra-000 | lexème |
Srpskohrvatski | hbs-001 | leksem |
Srpskohrvatski | hbs-001 | лексем |
עברית | heb-000 | אסימון |
हिन्दी | hin-000 | टोकन |
hrvatski | hrv-000 | leksem |
hrvatski | hrv-000 | token |
magyar | hun-000 | lexikális elem |
magyar | hun-000 | lexéma |
magyar | hun-000 | token |
italiano | ita-000 | lessema |
italiano | ita-000 | token |
日本語 | jpn-000 | トークン |
日本語 | jpn-000 | 語彙素 |
한국어 | kor-000 | 어휘 항목 |
한국어 | kor-000 | 어휘소 |
한국어 | kor-000 | 토큰 |
lietuvių | lit-000 | atpažinimo ženklas |
lietuvių | lit-000 | leksema |
latviešu | lvs-000 | daļiņa |
Nederlands | nld-000 | lexeem |
Nederlands | nld-000 | token |
bokmål | nob-000 | token |
polski | pol-000 | leksem |
polski | pol-000 | token |
polski | pol-000 | wyraz |
português | por-000 | lexema |
português | por-000 | token |
română | ron-000 | Lexem |
română | ron-000 | lexem |
română | ron-000 | simbol |
русский | rus-000 | вокабула |
русский | rus-000 | слово |
slovenčina | slk-000 | lexéma |
slovenščina | slv-000 | žeton |
español | spa-000 | lexema |
español | spa-000 | símbolo (token) |
srpski | srp-001 | token |
svenska | swe-000 | (en) token |
svenska | swe-000 | lexem |
ภาษาไทย | tha-000 | โทเค็น |
українська | ukr-000 | лексема |
українська | ukr-000 | маркер |
tiếng Việt | vie-000 | từ vị |