PanLinx

國語cmn-001
語彙基元
العربيةarb-000رمز مميز
българскиbul-000знак
българскиbul-000символ
češtinaces-000token
普通话cmn-000标记
danskdan-000token
Deutschdeu-000Token
eestiekk-000sõne
Englisheng-000token
suomifin-000tunnus
françaisfra-000jeton
עבריתheb-000אסימון
हिन्दीhin-000टोकन
hrvatskihrv-000token
magyarhun-000lexikális elem
magyarhun-000token
italianoita-000token
日本語jpn-000トークン
한국어kor-000토큰
lietuviųlit-000atpažinimo ženklas
latviešulvs-000daļiņa
Nederlandsnld-000token
bokmålnob-000token
polskipol-000token
portuguêspor-000token
românăron-000simbol
русскийrus-000лексема
slovenščinaslv-000žeton
españolspa-000símbolo (token)
srpskisrp-001token
svenskaswe-000(en) token
ภาษาไทยtha-000โทเค็น
українськаukr-000маркер


PanLex

PanLex-PanLinx