PanLinx

eestiekk-000
sõne
العربيةarb-000رمز مميز
българскиbul-000знак
българскиbul-000низ
българскиbul-000символ
češtinaces-000token
češtinaces-000řetězec
普通话cmn-000
普通话cmn-000字符串
普通话cmn-000标记
國語cmn-001
國語cmn-001字符串
國語cmn-001語彙基元
danskdan-000streng
danskdan-000token
Deutschdeu-000String
Deutschdeu-000Token
Deutschdeu-000Zeichenkette
eestiekk-000252 lehte
eestiekk-000etoon
eestiekk-000märk
ελληνικάell-000συμβολοσειρά
Englisheng-000running word
Englisheng-000string
Englisheng-000token
suomifin-000merkki
suomifin-000merkkijono
suomifin-000tunnus
françaisfra-000chaîne de caractères
françaisfra-000jeton
עבריתheb-000אסימון
हिन्दीhin-000टोकन
hrvatskihrv-000token
magyarhun-000lexikális elem
magyarhun-000token
italianoita-000sequenza di caratteri
italianoita-000stringa
italianoita-000token
日本語jpn-000トークン
日本語jpn-000
日本語jpn-000文字列
한국어kor-000토큰
lietuviųlit-000atpažinimo ženklas
latviešulvs-000daļiņa
Nederlandsnld-000karakterreeks
Nederlandsnld-000token
nynorsknno-000streng
bokmålnob-000streng
bokmålnob-000token
فارسیpes-000رشته
polskipol-000token
portuguêspor-000cadeia de caracteres
portuguêspor-000token
românăron-000simbol
românăron-000șir de caractere
русскийrus-000лексема
русскийrus-000строка́
slovenčinaslk-000reťazec
slovenščinaslv-000žeton
españolspa-000cadena
españolspa-000símbolo (token)
srpskisrp-001token
svenskaswe-000(en) token
svenskaswe-000sträng
ภาษาไทยtha-000โทเค็น
українськаukr-000маркер


PanLex

PanLex-PanLinx