David, Yes, MapReduce destina-se a operar em uma grande quantidade de dados. E a idéia é que, em geral, o mapa e reduzir as funções não devem se preocupar com quantos mapeadores ou quantos redutores existem, isso é apenas otimização. Se você pensa cuidadosamente sobre o algoritmo que postei, você pode ver que não importa qual mapeador recebe as partes dos dados. Cada registro de entrada estará disponível para cada operação de redução que o necessite. Ndash Joe K 18 de setembro 12 às 22:30 Na melhor das minhas compreensões, a média móvel não é bem mapas para o paradigma MapReduce, uma vez que seu cálculo é basicamente uma janela deslizante sobre dados classificados, enquanto o MR é o processamento de intervalos não interceptados de dados classificados. A solução que vejo é a seguinte: a) Implementar partição personalizada para poder fazer duas partições diferentes em duas execuções. Em cada execução, seus redutores obterão diferentes faixas de dados e calcularão a média móvel quando apropriado vou tentar ilustrar: Em dados da primeira execução para os redutores devem ser: R1: Q1, Q2, Q3, Q4 R2: Q5, Q6, Q7, Q8 . Aqui você irá calcular a média móvel para alguns Qs. Na próxima execução, seus redutores devem ter dados como: R1: Q1. Q6 R2: Q6. Q10 R3: Q10..Q14 E caclule o resto das médias móveis. Então você precisará agregar resultados. Idéia de compartilhamento personalizado que terá dois modos de operação - cada vez que se divide em intervalos iguais, mas com alguma mudança. Em um pseudocódigo, será assim. Partição (keySHIFT) (MAXKEYnumOfPartitions) onde: SHIFT será retirado da configuração. MAXKEY valor máximo da chave. Eu assumo por simplicidade que eles começam com zero. RecordReader, IMHO não é uma solução, uma vez que está limitado a divisão específica e não pode deslizar sobre o limite das divisões. Outra solução seria implementar a lógica personalizada de dados de entrada de divisão (faz parte do InputFormat). Isso pode ser feito para fazer 2 slides diferentes, semelhante ao particionamento. Ao calcular uma média móvel em execução, colocar a média no período de tempo médio faz sentido No exemplo anterior, calculamos a média dos primeiros 3 períodos de tempo e colocamos ao lado de Período 3. Poderíamos ter colocado a média no meio do intervalo de tempo de três períodos, isto é, ao lado do período 2. Isso funciona bem com períodos de tempo estranhos, mas não tão bons para períodos de tempo iguais. Então, onde colocamos a primeira média móvel quando M 4 Tecnicamente, a Média Móvel cairá em t 2,5, 3,5. Para evitar este problema, suavizamos as MAs usando M 2. Assim, suavizamos os valores suavizados. Se nós medimos um número par de termos, precisamos alisar os valores suavizados. A tabela a seguir mostra os resultados usando M 4. Método de médias móveis Os comentários são Off Suponha que existam períodos de períodos indicados e os valores correspondentes da variável são. Em primeiro lugar, temos que decidir o período das médias móveis. Para séries temporais curtas, usamos um período de 3 ou 4 valores. Para longas séries temporais, o período pode ser 7, 10 ou mais. Para séries temporárias trimestrais, sempre calculamos médias levando 4 trimestres de cada vez. Em séries temporais mensais, as médias móveis de 12 meses são calculadas. Suponha que a série temporal seja em anos e decidimos calcular a média móvel de 3 anos. Os valores móveis indicados são calculados como abaixo:
The World's Trusted Currency Authority, edição da América do Norte. O dólar aumentou os ganhos observados durante as negociações pré-londrinas na Ásia. USD-JPY continuou a ser o motorista de uma direção mais ampla da moeda dos EUA, registrando um máximo de uma semana às 115.30, logo após o interbancário de Londres estar online antes de diminuir de acordo com as 115.00. Leia mais X25B6 2017-01-27 12:03 UTC Edição europeia O dólar continuou a ser oferecido por um segundo dia, liderado pelo USD-JPY em meio a um cenário de risco. O par registrou uma semana de alta em 115.24, enquanto EUR-USD caiu para uma baixa de uma semana em 1.0657. As condições comerciais na Ásia foram finas, com a China e a Coréia do Sul fechadas. Leia mais X25B6 2017-01-27 07:47 UTC Edição asiática Wall Street teve um suspiro, já que os rendimentos diminuíram de altos recentes, enquanto o dólar aumentou alguns contra as principais moedas. Na frente dos dados, as reclamações semanais de desempregamento foram maior
Comments
Post a Comment