Frequência de palavras

Conta quantas vezes cada palavra aparece. Uma sequência de chinês, japonês ou coreano continua sendo um token, a menos que você a separe.

Quais palavras e quantas vezes

Um contador diz o tamanho do texto. Esta página diz quais palavras se repetem. A primeira linha é o total. Cada linha seguinte é uma palavra, um tabulador e um número, as mais frequentes primeiro. Tamanho e frases continuam em contador de palavras.

Como usar

  1. Cole o texto. Ignorar maiúsculas está ligado, então To e to compartilham uma linha.
  2. Contar cada caractere CJK está desligado. 北京 é um token. Ligado, 北 e 京 se separam. Hiragana, katakana e hangul seguem o mesmo interruptor.
  3. Comprimento mínimo deixa de fora o que for mais curto. O valor é 1.
  4. O exemplo carrega To be, or not to be. e Paris Paris London. No padrão, to e be são 2, e paris é 2.

O que conta como palavra

Palavras latinas são letras e dígitos. Um apóstrofo dentro da palavra fica, então don't é um token. Pontuação e espaços cortam. Uma sequência de han, kana ou hangul é um token até um espaço ou outra escrita, salvo se você separar o CJK. Ignorar maiúsculas mostra a forma minúscula. A ordem é a contagem e depois a palavra. O que for mais curto que o mínimo sai da lista e do total. Um espaço ideográfico também corta.

Quando usar

  • Ver quais palavras dominam um parágrafo antes de reescrever.
  • Conferir que um topônimo chinês foi colado duas vezes, como um token e não como dois caracteres.
  • Subir o comprimento mínimo para deixar de fora letras soltas.

Perguntas

北京 saiu em uma linha só.

É o padrão. Ligue Contar cada caractere CJK se quiser a conta por caractere.

The e the se juntaram.

Ignorar maiúsculas está ligado. Desligue para manter a maiúscula em outra linha.