Showing posts with label zookeeper. Show all posts
Showing posts with label zookeeper. Show all posts

Wednesday, August 21, 2013

creacion de un cluster con Lily en cloudera

Encontre hace poco un proyecto muy interesante http://www.lilyproject.org/lily/index.html
Para instalarlo en clustes hay que seguir la guía pero te encontrarás con algún problema.
http://lilyproject.org/books/lily_book--2_0--20130124-120744/publications/html-chunked/output/dsy432-lily.html#dsy432-lily Recientemente he creado un cluster con 3 equipos en rack de Lily. Primero instalo cloudera en cada uno de los 3 equipos pero me pedia actualizar a la version de 12 de ubuntu.
Una vez actualizado me han ido dando distintos errores:

  • sncronizacion de los relojes.
    La sincronización de los relojes de los equipos, tiene que dar una diferencia menor de 3 segundos. Con un servicio de NTP en ubuntu, esto se ha corregido. El resto de los equipos se conecta a el. Si no se sincroniza correctamente verifica la fecha hora de tu equipo. Verifica que si tienes un dominio, estén todos en dominio, ya que si uno de ellos no lo está, fallará constantemente y no usará el servicio de NTP.
  • hdfs al arrancar da un error.
    se soluciona borrando la carpeta a mano.
  • mapreduce-traker da un error de versiones distinta, se solucion actualizan todo el sistema.
  • HBase no arranca bien,
    HRegionServer Failed deleting my ephemeral node org.apache.zookeeper.KeeperException$SessionExpiredException: KeeperErrorCode = Session expired esto se debe a un error de sincronización.
  • Para poder lanzar Lily en Cloudera se debe tener autenticacion con Kerberos si te da un error parecido a este "Authentication failed. Cannot get kdc for realm" es que no tienes kerberos instalados. http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH4-Security-Guide/cdh4sg_topic_11_1.html tutorial de kerberos https://we.riseup.net/debian/kerberos-for-birds-not-dummies primero se debe instalar kerberos install kerbero atp-get install krb5-admin-server