Etusivu Tutki Apua
Kirjaudu sisään
patrick
/
Trixy7
1
0
Fork 0
Tiedostot Ongelmat 0 Pull-pyynnöt 0 Wiki
Branch: master
Branchit Tagit
Trixy7
/
models
/
intent
/
tokenizer
/
special_tokens_map.json

special_tokens_map.json 964 B
Pysyvä linkki Historia Raaka

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051 
  1. {
    2. 

  2.   "bos_token": {
    3. 

  3.     "content": "<s>",
    4. 

  4.     "lstrip": false,
    5. 

  5.     "normalized": false,
    6. 

  6.     "rstrip": false,
    7. 

  7.     "single_word": false
    8. 

  8.   },
    9. 

  9.   "cls_token": {
    10. 

  10.     "content": "<s>",
    11. 

  11.     "lstrip": false,
    12. 

  12.     "normalized": false,
    13. 

  13.     "rstrip": false,
    14. 

  14.     "single_word": false
    15. 

  15.   },
    16. 

  16.   "eos_token": {
    17. 

  17.     "content": "</s>",
    18. 

  18.     "lstrip": false,
    19. 

  19.     "normalized": false,
    20. 

  20.     "rstrip": false,
    21. 

  21.     "single_word": false
    22. 

  22.   },
    23. 

  23.   "mask_token": {
    24. 

  24.     "content": "<mask>",
    25. 

  25.     "lstrip": true,
    26. 

  26.     "normalized": false,
    27. 

  27.     "rstrip": false,
    28. 

  28.     "single_word": false
    29. 

  29.   },
    30. 

  30.   "pad_token": {
    31. 

  31.     "content": "<pad>",
    32. 

  32.     "lstrip": false,
    33. 

  33.     "normalized": false,
    34. 

  34.     "rstrip": false,
    35. 

  35.     "single_word": false
    36. 

  36.   },
    37. 

  37.   "sep_token": {
    38. 

  38.     "content": "</s>",
    39. 

  39.     "lstrip": false,
    40. 

  40.     "normalized": false,
    41. 

  41.     "rstrip": false,
    42. 

  42.     "single_word": false
    43. 

  43.   },
    44. 

  44.   "unk_token": {
    45. 

  45.     "content": "<unk>",
    46. 

  46.     "lstrip": false,
    47. 

  47.     "normalized": false,
    48. 

  48.     "rstrip": false,
    49. 

  49.     "single_word": false
    50. 

  50.   }
    51. 

  51. }
    52.