Cloudera moving average

Eu me deparei com este artigo: que menciona como calcular a média móvel usando o Hadoop. Observe que todos os registros de uma CHAVE devem ser classificados e depois reduzidos. Agora, suponha que os registros de uma determinada CHAVE estejam espalhados por todos os fragmentos do cluster Mongo. Nesse caso, seria possível calcular a média móvel Eu entendo que Mongo faz o mapa reduzir em cada nó. O requisito principal para resolver este problema é garantir que todos os emissos para um mapa sejam reduzidos em uma única fase de redução. Se for esse o caso, Mongo Map Reduce nunca poderá resolver esses problemas. Existe algum mal-entendido básico. Além disso, com bilhões de linhas e petabytes de dados, por que a Hadoop Reduzir a fase não faz falta na memória, uma vez que tem que lidar com pelo menos várias TBs de dados mapeados. Perguntou 16 de maio 13 às 7:31 Você pode explicar por que Hadoop não afastou a memória por essa computação. Da minha compreensão, toda a redução acontecerá em um nó, onde todos os registros de uma CHAVE serão reduzidos. Isso deve resultar em uma enorme sobrecarga de memória nesse nó, uma vez que as TBs de dados precisam estar presentes lá. Como Hadoop lida com uma enorme quantidade de dados ndash P. Prasad 16 de maio 13 às 8:29 Eu acredito que, ao contrário de MongoDB, o hadoop, assim como o SQL ao processar uma grande associação, irá escrever coisas no disco e ler somente quando necessário O sistema operacional usando swap como suporte de memória temporário para certas coisas provavelmente. O MongoDB faz mais na RAM antes de gravar no disco, como tal, irá resgatar facilmente ndash Sammaye 16 de maio 13 em 8: 37 Cloudera Jobs A tabela abaixo analisa as estatísticas de conhecimento e experiência de produtos e serviços Cloudera em trabalhos de TI anunciados em todo o Reino Unido. Incluído é um guia para os salários oferecidos em empregos de TI que citaram Cloudera nos 3 meses até 5 de janeiro de 2017 com uma comparação com o mesmo período nos dois anos anteriores. Os números abaixo representam o mercado de trabalho de TI em geral e não são representativos dos salários dentro de Cloudera, Inc. 3 meses a 5 de janeiro de 2017 Mesmo período de 2018