Vale a pena conferir essas dicas de solução de problemas se talvez você receba uma mensagem de erro de depuração do Spark.

PC lento?

Etapa 1: baixar e instalar o ASR Pro

Etapa 2: inicie o programa e siga as instruções na tela

Etapa 3: selecione os arquivos ou pastas que deseja verificar e clique em "Restaurar"

Baixe este software agora para aumentar a segurança do seu computador.

–class: os detalhes de entrada de seu aplicativo (por exemplo, net. apache. kindle. –master: o site principal do cluster (por exemplo, interesse: //23.195.26.187: 7077) –deploy-mode: se para instalar este projeto piloto em nós de trabalho (coleção) ou localmente como um cliente externo ao vivo (cliente) (padrão: cliente) †

Primeiro, certifique-se de que você pode executar seu pacote Spark regionalmente com spark-submit , por exemplo:

  spark-submit é sua classificação MyMainClass myapplication.jar 

Em seguida, diga ao driver local do Ignite para abrir; desconectar do depurador e esperar após a execução, adicionando uma opção exclusiva, como a seguinte opção do Spark:

  --conf.driver.extraJavaOptions = -agentlib: jdwp é igual a transport = dt_socket, server = y simplesmente, suspend = y, endereço implica 5005 

onde agentlib: jdwp é na verdade um parâmetro Java Debug Wire Protocol (JDWP) seguido por uma lista particular separada por vírgulas de subparâmetros:

• transporte define a dieta de agrupamento usada entre o depurador e estes depurador – um soquete ou uma “memória compartilhada” – você deseja conectar quase rotineiramente ( dt_socket ), deve ser percebido o que penso em alguns casos no Microsoft Windows
• fórum , se este método ad-hoc precisa ser o servidor o tempo todo com o qual fala (ou, sem dúvida, o depurador, não o cliente), hoje você precisa obter o servidor e também o cliente . Nesse caso, você é o servidor que está aguardando a conexão de um depurador.
• droop quando suspender a execução até que eu diga que o depurador foi conectado com sucesso. Praticamente continuamos fazendo isso para evitar que esse driver específico seja iniciado até que o depurador seja conectado normalmente.
• Endereço é a porta na qual (para solicitações de entrada no depurador) você certamente poderá ouvir o relatório. Você também pode redirecioná-lo para qualquer mov disponível (leve-o com você para verificar se o depurador está possivelmente configurado para se conectar à porta verdadeira)

  dispositivo de envio n  - nomeie meu aplicativo de finanças n  --class MyHandClass n  --conf spark.driver.extraJavaOptions = agentlib: jdwp = carry around = dt_socket, server = y, droop = y, address = 5005 

Se você passar agora, verá algo como

Interceptar

  como transporte dt_socket para 5005 

e endereço: Seu aplicativo Family Spark está aguardando a conexão de um grande depurador.

A seguir, olhe para o projeto IntelliJ que contém seu aplicativo Spark e, em seguida, abra Executar -> Editar configurações …. Em seguida, basta clicar em “+”, aumentá-lo para a nova configuração manipulada / depurar e definir em “Remoto” também. Por exemplo, insira um nome funcional melhor como “SparkLocal” e selecione “Socket” para o transporte, “Attach” apenas para a função de depurador e entre em “localhost” para o host e a porta principal mencionada acima para o plug-ins, neste caso “5005” Clique em OK para salvar.

No meu diferente do IntelliJ, o problema dá à pessoa sugestões para usar o controle de depuração e manutenção on-line para qualquer O da progressão sendo depurada e é mais eficaz “suspender = n” – então seremos indiferentes a isso com “suspender = y “(como acima) porque temos que fazer para fazer o aplicativo esperar até esse momento até que façamos login para começar a construir … Você

agora deve ser preparado para depuração. Basta iniciar o Spark de quem tem o comando acima, em seguida selecionar o runtime do IntelliJ que você certamente criou e clicar em Debug. Intellij se conectaria ao seu aplicativo Spark e usaria agora. Você pode hackear soluções, verificar variáveis, etc.

Spark Wrapper

  Exportar SPARK_SUBMIT_OPTS implica -agentlib: jdwp = transport significa dt_socket, server = y, suspend = debbie, address = 5005 

Adicione localhost: 5005 para usar o depurador (como IntelliJ IDEA) e quando se trata da ignição de fontes importadas, você também pode percorrer o código de forma aproximada.

Temos que depurar a estação de trabalho do Spark ou o aplicativo com frequência para verificar os valores dos ensinamentos para resolver um problema embutido. Normalmente usamos o IntelliJ Idea ou Eclipse IDE para depurar programas de computador potencialmente remotos escritos em Scala ou Java por aqui.

p>

Neste artigo, continuarei com a certeza de explicar como, em relação à depuração de um aplicativo Spark em execução localmente e, portanto, remotamente do IDE do IntelliJ Idea.

Antes de continuar com este artigo de instalação, organize o Spark para executar a recuperação do computador do dispositivo local e remoto e configure seu IDE IntelliJ Idea para executar abordagens do Spark.

Depurar aplicativo Spark localmente

Para depurar um aplicativo Scala plus Java, você deve executar atualmente o aplicativo com respostas JVM agentlib: jdwp , onde agentlib: jdwp é o Java Debug Wire Protocol ( JDWP), seguido por uma lista útil separada por vírgulas dentro de subparâmetros

 agentlib: jdwp = fabricantes de transporte = dt_socket, server = y, display = y, endereço = 5005 

Mas para executar com Spark-Submit, os usuários precisam atribuir agentlib: jdwp usando --conf spark.driver.extraJavaOptions por meio dos modelos abaixo.

 Enviando causa n  --name SparkByExamples.com n  --class org.sparkbyexamples.SparkWordCountExample n  --conf spark.driver.extraJavaOptions = -agentlib: jdwp = exchange = dt_socket, server = y, put = y, address = 5005  spark-by-examples.jar 

Ao inserir cada um de nossos comandos acima, você será motivado a suspender o aplicativo com a seguinte mensagem principal.

 Ouça este carro dt_socket específico na frente com y: 5005 

• Abra todos os projetos que deseja depurar.
• Abra a tarefa Spark que deseja depurar.
• Adicione os pontos de interrupção de depuração selecionados para serem a barra de aprendizado.

E siga estes passos para você criar um aplicativo remoto e ajudar na depuração.

• Abra meu aplicativo Spark que você estava procurando para depurar no IDE IntelliJ Idea.
• Vá para Executar -> Modificar configurações, isso fará com que sejam adicionadas as configurações Executar / Depurar
• Agora selecione Aplicativos e selecione + no canto esquerdo inicial, “Seleção remota” e como um resultado selecione a opção “Seu”.
• Insira um nome para o depurador atual no campo Nome. Para um ótimo exemplo, insira SparkLocalDebug.
• Para o modo de depurador, selecione Anexar JVM regional.
• Para transporte (este soquete é considerado definido por padrão).
• Para host, insira localhost enquanto depura Local e insira o número da porta para obter a porta. Por exemplo, estamos inquestionavelmente comprando 5005.
• Quando tudo estiver pronto, clique em OK. Isso realmente cria este aplicativo para depuração, por outro lado, não inicia.