K-Nearest Neighbors (KNN) algoritmo explicado

Na minha experiência, nem toda solução "inteligente" exige uma complexidade descomunal. Frequentemente, o necessário é uma abordagem direta, que solucione a questão sem artifícios desnecessários. E foi exatamente em situações assim que o K-Nearest Neighbors (KNN) me salvou, em mais de uma ocasião.

Recordo-me de um período em que o departamento de vendas enfrentava um volume esmagador de tarefas. Havia uma planilha extensa no Google Sheets, repleta de milhares de leads vindos de diversas fontes – formulários web, eventos e parcerias. O dilema: ninguém conseguia identificar quais leads eram promissores o suficiente para serem passados ao SDR, e quais seriam uma perda de tempo total. A triagem, realizada manualmente, era lenta e inconstante, resultando na perda de muitas oportunidades valiosas em meio a tanto dado irrelevante.

Inicialmente, pensamos em estabelecer regras bem definidas: "Se o campo 'Cargo' indica 'Diretor' e o 'Setor' é 'Tecnologia', então o lead é prioritário." Contudo, essa abordagem rapidamente se transformou numa intrincada rede de IFs e ORs no Apps Script, tornando-se inviável de gerenciar. As regras estavam em constante evolução, novos padrões emergiam, e cada atualização se convertia num desafio enorme. Eu necessitava de uma ferramenta capaz de aprender com as classificações manuais anteriores e aplicar esse conhecimento a novos leads de forma automática, sem a necessidade de reescrever a lógica repetidamente. Nesse ponto, o KNN surgiu, e a situação começou a se simplificar. Não se trata de uma inteligência artificial autônoma, mas sim de uma inteligência aplicada de maneira direta e eficaz, aliviando consideravelmente minha carga de trabalho.

O K-Nearest Neighbors (KNN): Decifrando o Algoritmo da Similaridade

Para ser direto: o KNN é um algoritmo de aprendizado de máquina supervisionado, utilizado primordialmente para tarefas de classificação e, por vezes, para regressão. O nome sugere claramente o conceito: "K Vizinhos Mais Próximos". A ideia é tão simples que possui uma simplicidade notável. Quando você possui um novo ponto de dado (no meu caso, um novo lead) e deseja classificá-lo, o KNN opera da seguinte maneira: o algoritmo examina os 'K' pontos de dados mais próximos em seu histórico (os leads já classificados) e identifica a classe mais frequente entre eles. Esta classificação é então atribuída ao novo ponto de dado.

Embora pareça simplório, considere uma situação cotidiana. Você está tentando prever o sucesso de vendas de um novo produto. Qual sua abordagem? Você recorda produtos similares já lançados, avalia seu desempenho (se venderam bem ou mal) e, a partir daí, chega a uma conclusão, correto? O KNN replica esse processo de forma precisa, mas embasado em princípios matemáticos.

O Fundamento do KNN: Calculando a Distância

A fim de determinar quais são os "vizinhos mais próximos", o KNN requer um método para quantificar a "distância" entre os pontos. Visualize seus dados representados como pontos em um sistema de coordenadas. A proximidade espacial entre dois pontos indica sua similaridade.

As métricas de distância mais comuns que empregamos são:

• Distância Euclidiana: É a medida linear direta, familiar dos tempos escolares. Em um plano bidimensional, ela corresponde à hipotenusa. Para múltiplas dimensões, o conceito se estende. Amplamente empregada, ela apresenta bons resultados na maioria das situações.
• Distância de Manhattan (ou City Block): Imagine a malha urbana de Nova York. Em vez de um trajeto direto, o deslocamento ocorre pelos quarteirões. Essa métrica calcula a soma das diferenças absolutas entre as coordenadas. Sua utilidade se destaca quando o deslocamento diagonal é inviável ou na presença de numerosos valores discrepantes (outliers).

A escolha da métrica de distância é um aspecto que, embora sutil, pode ter um impacto significativo. Na prática, costumo iniciar com a Euclidiana. Caso perceba resultados inconsistentes ou se os dados possuírem atributos muito específicos (como dimensões com unidades de medida díspares, onde a "magnitude" da diferença é mais relevante que a distância em linha reta), então eu experimento a Manhattan. A máxima é clara: teste. Não existe uma solução universal.

A Importância do 'K': Quantos Vizinhos Considerar?

O 'K' representa a quantidade de vizinhos que o algoritmo utilizará para a consulta. É um hiperparâmetro, isto é, ele não é determinado pelo modelo em si, mas sim configurado por nós. A escolha apropriada do valor de K é uma tarefa que exige discernimento.

• K pequeno (ex: K=1): O modelo torna-se excessivamente suscetível a ruídos e valores discrepantes (outliers). Se um único vizinho for um ponto atípico, ele pode distorcer a classificação do novo ponto. Resulta em um modelo "nervoso" ou instável.
• K grande: Um K elevado confere mais robustez ao ruído, porém pode gerar fronteiras de decisão excessivamente suaves e negligenciar particularidades importantes nos dados. Um valor de K exageradamente grande pode incluir vizinhos distantes demais para serem verdadeiramente pertinentes, comprometendo a precisão da decisão.

É uma prática habitual experimentar diferentes valores de K para identificar qual proporciona o melhor desempenho no conjunto de validação. Normalmente, inicio com um K ímpar para prevenir empates na classificação (visto que um K par, com 50% dos votos para cada classe, resultaria em indecisão). K=3 ou K=5 são frequentemente bons pontos de partida. Essa otimização pode ser realizada com poucas linhas de código Python, iterando em um loop e avaliando o resultado de cada configuração.

Preparação dos Dados: O Desafio Essencial

Esta é a fase onde o esforço se concentra. Alimentar o KNN com dados "brutos" ou inadequados invariavelmente levará a resultados insatisfatórios. A eficácia da classificação está intrinsecamente ligada à qualidade e ao formato dos dados fornecidos.

1. Escalamento das Features: Indispensável. Considere meu cenário com os leads. Um atributo como 'Idade do Contato' varia de 20 a 60 anos, enquanto 'Faturamento Anual da Empresa' pode oscilar entre 10 mil e 5 milhões. Sem o escalonamento, o cálculo da distância será desproporcionalmente influenciado pelo faturamento. A 'Idade' parecerá insignificante, mesmo que sua variação entre dois leads seja considerável.

   A medida é padronizar todas as características para a mesma escala. Utilizo frequentemente:

   • Min-Max Scaling: Ajusta os valores para um intervalo predefinido, tipicamente entre 0 e 1. (x - min(x)) / (max(x) - min(x))
   • Standard Scaling (Z-score): Padroniza os valores para apresentar média zero e desvio padrão unitário. (x - media(x)) / desvio_padrao(x). É especialmente eficaz quando os dados seguem uma distribuição aproximadamente normal.

   Em Python, essa etapa é simplificada a uma única linha de código com sklearn.preprocessing.MinMaxScaler ou StandardScaler. Contudo, a escolha do método e do momento certo para aplicá-lo, essa expertise advém da prática e da compreensão aprofundada dos seus dados.

2. Lidando com Dados Categóricos: O KNN exige valores numéricos para o cálculo de distâncias. Se um atributo como 'Região' contém valores textuais como 'Norte', 'Sul', 'Sudeste', é imperativo convertê-los. A técnica mais difundida para isso é o One-Hot Encoding.

   Essencialmente, para cada categoria exclusiva, uma nova coluna binária (com valores 0 ou 1) é criada. Assim, se o lead é do 'Norte', a coluna 'Regiao_Norte' recebe 1, enquanto 'Regiao_Sul' e 'Regiao_Sudeste' recebem 0. Este é um método eficaz para converter dados textuais em um formato compreensível pelo algoritmo, evitando a inferência de uma ordem inexistente (por exemplo, 'Norte' não é intrinsecamente 'superior' a 'Sul').

3. Valores Ausentes (NaNs): Caso um novo lead seja recebido sem a informação de 'Cargo', qual seria a ação adequada? Descartá-lo? Preencher com a média? O KNN não consegue processar valores nulos (NaNs). Costumo preencher esses valores com a média ou mediana da coluna (para dados numéricos), ou com o valor mais frequente (para dados categóricos), ou, ainda, com uma constante que sinalize 'desconhecido'. A decisão final é orientada pelo contexto específico e pela proporção de dados ausentes.

Diariamente, boa parte desse pré-processamento tem início no Google Sheets. Os dados são exportados para um script Python, onde realizo todo o tratamento com Pandas e Scikit-learn, para só então aplicar o KNN. Em cenários recorrentes, o Apps Script extrai os dados, os envia para uma API desenvolvida por mim em Python (que expõe o modelo KNN já treinado), e essa API retorna a classificação.

Aplicações Práticas e Desafios Encontrados

Considero o KNN um verdadeiro canivete suíço para tarefas rápidas de classificação, especialmente quando disponho de um histórico robusto de dados rotulados. Além de classificar leads, minhas aplicações anteriores incluem:

• Filtrar spam: Distinguir e-mails ou comentários entre spam e não-spam.
• Recomendação básica: "Pessoas que gostaram do item X também gostaram de Y e Z" (embora a abordagem conceitual seja ligeiramente distinta, a premissa de busca por "similaridade" permanece como fundamento).
• Diagnóstico: Auxiliar na categorização de falhas em equipamentos a partir de informações de sensores.

No entanto, ele também apresenta suas dificuldades:

• Custo Computacional: Para classificar um novo ponto, o algoritmo precisa computar a distância em relação a CADA um dos pontos de dados previamente conhecidos. Esse processo pode se tornar excessivamente LENTO em bases de dados com milhões de registros. Em certas situações, precisei recorrer a pré-filtragem dos dados ou empregar estruturas de dados mais otimizadas para a localização de vizinhos (tais como KD-Trees ou Ball Trees, o que implica em um nível de implementação mais avançado).
• Maldição da Dimensionalidade: Quando o número de características (features ou colunas) é elevado, o conceito de "distância" pode se diluir. Todos os pontos tendem a se afastar uns dos outros, e a distinção entre o "mais próximo" e o "mais distante" perde sua relevância. Tal fenômeno prejudica significativamente a eficácia do KNN. Nessas circunstâncias, a seleção de características (priorizando as mais relevantes) ou a redução de dimensionalidade (como com PCA) torna-se vital antes da aplicação do KNN.
• Sensibilidade a Outliers: Um ponto de dado anômalo pode ter um impacto desproporcional na classificação, sobretudo com um K pequeno.
• Dados Desbalanceados: Se, por exemplo, 90% dos leads são "ruins" e apenas 10% são "bons", o KNN pode inclinar-se a classificar todos como "ruins", uma vez que a maioria dos vizinhos mais próximos pertencerá à classe majoritária. São necessárias técnicas para reequilibrar os dados (como oversampling da classe minoritária, undersampling da majoritária ou ponderação de classes).

Minha Abordagem Típica (quase) com KNN no Cotidiano

No meu fluxo de trabalho, a sequência geralmente ocorre da seguinte forma:

1. Dados não processados são inseridos no Google Sheets (provenientes de formulários, integrações com APIs de terceiros, entre outros).
2. O Apps Script acompanha novas entradas. Ao detectar uma linha "não classificada", ele ativa um webhook ou uma função que encaminha esses dados para uma API Python personalizada que eu desenvolvi.
3. A API Python, ao receber os dados, utiliza Pandas para carregar o modelo KNN pré-treinado (via Scikit-learn), aplica o mesmo pré-processamento (escalonamento, one-hot encoding) empregado durante o treinamento, e realiza a predição.
4. A API Python, então, envia a classificação de volta ao Apps Script.
5. O Apps Script registra a classificação no Google Sheets, na coluna designada.

Essa estrutura arquitetônica me habilita a aproveitar a flexibilidade do Sheets e do Apps Script para a interface e automação de menor volume, ao mesmo tempo em que me valho da robustez e capacidade de processamento do Python para as etapas mais intensivas de aprendizado de máquina.

Dicas Práticas Testadas e Estratégias para o Sucesso

• Sempre normalize/padronize seus dados numéricos: Este é um passo fundamental. A ausência desse procedimento fará com que variáveis com maiores escalas predominem no cálculo de distância. Trata-se de um equívoco comum e uma fonte frequente de problemas. Use MinMaxScaler ou StandardScaler do Scikit-learn.
• Comece com um K ímpar e teste: Em tarefas de classificação, um K ímpar auxilia na prevenção de empates na votação. Inicie com 3 ou 5 e, para conjuntos de dados maiores, experimente outros valores empregando validação cruzada para identificar o ideal. Um K excessivamente grande pode atenuar a especificidade dos vizinhos mais próximos.
• Cuidado com a maldição da dimensionalidade: Com um grande número de características (centenas ou milhares), o KNN talvez não seja a opção mais adequada. Procure reduzir a quantidade de características por meio de técnicas de seleção (escolhendo as mais relevantes) ou extração (como PCA) antes de implementar o KNN. Em muitos casos, menos é mais eficiente.
• Trate dados desbalanceados: Se uma classe apresenta um número de exemplos significativamente superior à outra, o KNN pode inclinar-se a classificar todos os dados na classe majoritária. Avalie o uso de técnicas como SMOTE (para superamostragem da classe minoritária), subamostragem da classe majoritária ou ajuste dos pesos das classes. Já me vi desenvolvendo um modelo que parecia "preciso", mas na realidade apenas classificava tudo como pertencente à classe mais abundante.
• Não ignore o custo computacional em produção: Para um conjunto de dados reduzido, o KNN é ágil. Com milhões de registros, cada nova predição demandará o cálculo de distâncias para todos os pontos existentes. Considere estratégias para mitigar essa questão: pré-filtrar os dados, empregar um modelo mais eficiente para grandes volumes ou utilizar estruturas de dados otimizadas para a busca de vizinhos.

Equívocos Comuns (e Alguns que Já Cometi)

Ah, os erros! É verdade que aprendemos mais com eles do que com os acertos. No contexto do KNN, alguns se destacam como clássicos:

1. Não escalar os dados numéricos: Este é, sem dúvida, o erro mais frequente. Recordo-me de um projeto onde eu estava categorizando transações financeiras. Nossos dados incluíam 'valor da transação', 'número de itens', 'idade da conta', entre outros. Apliquei o KNN sem realizar qualquer escalonamento. O resultado? Todas as transações de alto valor eram classificadas como 'tipo X', e as de baixo valor como 'tipo Y', ignorando as demais características. A distância era integralmente determinada pelo 'valor da transação', uma vez que esta era a característica de maior magnitude. Após aplicar o StandardScaler, a situação se transformou completamente, e as classificações passaram a ser coerentes. Levei vários dias para depurar e, finalmente, perceber o erro evidente.

2. Escolher um 'K' aleatório (e pequeno demais): No começo, minha crença era de que "quanto menor o K, mais específica a classificação seria!" Utilizei K=1 para categorizar o feedback de usuários. A questão é que, no feedback, um ou outro comentário podia ser bastante incomum (um outlier). Um K=1 acabava escolhendo esse outlier como vizinho mais próximo, classificando o novo feedback de maneira totalmente equivocada. Foi como permitir que um único vizinho excêntrico determinasse a reputação de todo um bairro. A alteração para K=5 ou K=7, combinada com uma validação cruzada modesta no conjunto de treino, solucionou o problema, conferindo muito mais robustez ao modelo contra o ruído.

3. Jogar todas as features disponíveis no modelo: Eu supunha que "mais dados sempre significam melhores resultados". Trabalhava com um conjunto de dados contendo cerca de 80 colunas, muitas das quais eram redundantes ou apresentavam pouca variância. O KNN levava uma eternidade para processar, e o desempenho da classificação era péssimo. A temida "maldição da dimensionalidade" estava em pleno efeito. O conceito de "vizinhos mais próximos" perde o sentido quando todos os pontos se encontram a distâncias igualmente grandes uns dos outros. Passei a realizar uma seleção de características prévia (analisando correlação, a importância das features com o auxílio de outros modelos mais complexos que utilizo para seleção de features, ou simplesmente eliminando colunas com muitos valores nulos ou variância mínima). Simplificar o conjunto de dados não é indolência, é uma estratégia inteligente.

FAQ Técnico Sobre KNN

Apresento algumas dúvidas frequentes que costumam surgir ao iniciar o uso prático do KNN:

Pergunta	Resposta
O KNN é adequado somente para classificação, ou também pode prever valores contínuos (regressão)?	Sim, o KNN é aplicável para regressão! A premissa central permanece a mesma: identificar os 'K' vizinhos mais próximos de um novo ponto. Contudo, em vez de determinar a classe mais frequente, o algoritmo computa a média (ou mediana) dos valores de saída dos 'K' vizinhos selecionados. Essa média servirá como a previsão para o novo ponto. É uma alternativa viável para desafios de regressão, particularmente quando a conexão entre características e o valor-alvo não é linear.
De que forma o KNN gerencia dados desbalanceados, nos quais uma classe é substancialmente mais prevalente que as demais?	Esta é uma restrição significativa do KNN. Se a maior parte dos seus dados pertence a uma única classe (por exemplo, 90% "não fraude" e 10% "fraude"), um novo ponto pode ter seus 'K' vizinhos mais próximos predominantemente da classe majoritária, mesmo que sua verdadeira categoria seja a minoritária. Para contornar essa questão, é possível empregar técnicas de balanceamento de dados antes do treinamento do KNN, como oversampling (o SMOTE é amplamente utilizado) da classe minoritária, undersampling da classe majoritária, ou a implementação de uma versão ponderada do KNN (na qual vizinhos mais próximos ou de classes minoritárias recebem maior peso na decisão).

Para mim, o KNN demonstra que uma solução simples e bem executada pode resolver inúmeros desafios. Embora não seja o algoritmo mais complexo ou que utilize redes neurais profundas, sua transparência e facilidade de compreensão o tornam, quando aplicado criteriosamente, incrivelmente eficiente na automação de decisões e na eliminação de grande parte do trabalho manual. Constitui uma ferramenta essencial em meu repertório para desenvolver automações inteligentes, e minha expectativa é que este artigo o auxilie a implementá-lo em suas planilhas e scripts.