BandaAncha

  • 🔍 en 📰 artículos ⏎
  • 🔍 en 💬 foros ⏎
  • 🔍 en 👇 este 💬 foro ⏎
  • 🔍 en 👇 este 💬 tema ⏎
Regístrate Regístrate Identifícate Identifícate

SOLUCIONES BIG DATA

1
BocaDePez
1
⋮

Buenos días, estoy buscando algo de información sobre BIG DATA pero es un poco lioso todo lo que encuentro y abro este post con la esperanza de ver algo mas de luz en el asunto.

Lo primero he estado investigando ya mucho y he visto que existen varias herramientas para todo esto que yo he organizado en 3 ecosistemas.

1) Ecosistema HADOOP: Hive, HDFS, Flume, Pig, Storm

2) Ecosistema ELK: Logstash, elasticsearch y kibana

3) Ecosistema SILK: SolrWriter for logstash, Solr y Banana

Pero donde me encuentro con los problemas es que veo que ELK puede utilizar HADOOP y me imagino que lo mismo con SILK. Aparte por todo lo que he leido no es que unas herramientas tengan muchas mas caracteristicas que otras... Mi duda es saber si es necesario/conveniente instalar por ejemplo Hive, HDFS, Flume, Pig , Storm , Elasticsearch y Kibana (una instalacion mixta entre hadoop y Elasticsearch) o simplemente con Elasticsearch vale. Y otra duda que me entra es porque si SILK es de apache y hadoop tambien no centralizan sus productos en una solución única para todo?

Muchas gracias

BocaDePez
1
⋮

pregunta más bien realmente necesitas más bien cual información vas a procesas ? cuales datos de información vas a calcular ? lo demás son herramientas para monotorizar un bigdata (software elastic como mencionas.)

Dado una cosa es la capa de aplicación y otra un bigdata real, osea hadoop es una simple aplicación para mover grandes flujos de información y usas por ejemplo software elastic para ver ese flujo de datos en tiempo real por ejemplo. (pero en el mercado hay más soluciones.)

Apache Storm es otra aplicación bigdata, es liar mucho las cosas dado es complicado instalar varias aplicaciones bigdata a la vez sobre una mismo cluster/servidor y debes tener claro cuales datos vas a analizar o los accesos vas a tener a toda una topologia de una infraestructura.

Todo bien maquetado en un laboratorio previo antes llevarlo a producción, se puede montar sobre un servidor tipo bare metal, cloud o algo similar ; yo trabajo con proveedores de primer nivel cual sí ofrecen un BIGDATA y sistemas adecuados para esto.

Espero te pueda servir de ayuda, sí necesitas más información me avisas y vemos la manera de contactar en privado dado no quiero hacer publicidad de ninguna empresa.