Jump to content

2 MacPro + 1 Raid de almacenamiento para VIDEO


Recommended Posts

Hola a todos,

 

Acudo a vosotros por que supongo que más de uno tendrá montado para edición de video lo que necesitamos en la empresa en estos momentos, y quizás me puede orientar en como hacerlo. Os cuento.

 

Necesitamos contratar a una persona nueva para edición de video. Lo que parecía sencillo en un principio se este a complicando bastante. Básicamente lo que queremos es tener dos MacPro de los nuevos, con acceso a los mismos archivos.

 

Acabo de tener una reunión con el departamento de IT, y la solución que sugieren cuenta 20.000 euros (más los 2 nuevos MacPro, total unos 30.000 euros). Yo no tengo ni idea de redes, servidores y demás, pero debo intentar encontrar la solución las barata para conseguir poder tener dos ordenadores con acceso a los mismos archivos a una velocidad suficiente para editar videos HD.

 

Por ejemplo, he mirado que un Caldigit T4 con 20TB de capacidad cuenta unos 2000 euros (mas o menos). He llamado a Caldigit y me dicen que las dos conexiones Thunderbolt que trae, son para conectar una al ordenador, y la otra a futura extension de discos. Al preguntar si se podría conectar cada Thunderbolt a un ordenador diferente para compartir archivos, dicen que se podría pero no es lo ideal, que no está pensado para ello ¿No se puede poner algo entre medias de esa maquina y los dos ordenadores que sirva de puente y no cuente muchos miles de euros?

 

Espero haber sido capaz de explicarme claramente con el problema. Cualquier sugerencia es mas que bienvenida, ya que me estoy volviendo loco con algo que creia iba a ser rápido y sin duda no tan costoso.

 

Muchas gracias de antemano

Edited by hugomez
Link to comment
Share on other sites

  • Replies 52
  • Created
  • Last Reply

Top Posters In This Topic

Yo, tanto cuando trabajaba en audiovisual en la noche de los tiempos como después en artes gráficas, lo que he usado es un servidor o disco duro en red (y eso es muy barato hoy en día) donde están los archivos al acceso de todos y luego cada uno ya trabaja en local con o sin externos pero cada uno se coge lo que necesita y sube los trabajos.

Link to comment
Share on other sites

Yo, tanto cuando trabajaba en audiovisual en la noche de los tiempos como después en artes gráficas, lo que he usado es un servidor o disco duro en red (y eso es muy barato hoy en día) donde están los archivos al acceso de todos y luego cada uno ya trabaja en local con o sin externos pero cada uno se coge lo que necesita y sube los trabajos.

 

Hola Miguimau,

 

Si entiendo bien, teníais acceso a todos los archivos, pero cuando ibais a trabajar con ellos os los subíais (copiabais) a vuestra maquina y al terminar de nuevo al servidor, ¿verdad?.

 

Si es eso lo que comentas, no es exactamente lo que necesitamos, ya que continuamente estamos pasando de un proyecto a otro y nos pasaríamos el día copiando archivos. Lo ideal es que esten en un lugar y trabajemos con ellos ahí sin moverlos.

 

Una de las razones por las que han explicado que es tan costoso, es que para tener una buena transferencia de datos para trabajar con archivos de video, todo iria por Thunderbold, pero aún así me parece un presupuesto muy elevado para algo que aparentemente parece simple (al menos a mi me parece que debería ser simple conectar dos maquinas con acceso a los mismos archivos)

Edited by hugomez
Link to comment
Share on other sites

Por velocidad es un punto a favor, claro. Por seguridad , si no trabajais en local y sí directamente en el servidor todos con los mismos archivos suma una buena solución de backup regular al presupuesto.

 

No se si es descabellado ese presupuesto sin saber en qué consiste lo que proponen...

 

Recuerdo haber visto una pasada demostración de Apple y la gente de Dorna sobre cómo gestionaban la retransmisión de los mundiales de motociclismo y lo hacian con Final Cut Server y un cerro de cliente Mac Pros y media docena de Xserve XSAN , es lo que cuentan aquí. Pero eso sí que era un despliegue millonario. :D Y ya sabes que eso se lo cargaron.

Desde la ignorancia con 20.00 euros te compras un tercer mac pro con server y te sobra pero seguro que no es tan simple... No se, no creo que los de IT de tu empresa sean tontos. Seguro que barato no es lo que han escogido.

 

 

¿Habeis consultado con Apple, de todas formas? Se supone que Minis o Mac Pros con server pueden suplir en parte esa función de los Xserve.

P***** lo de los Xserve para la gente de vídeo...

Edited by Miguimau
Link to comment
Share on other sites

Lo de conectar varios usuarios al mismo sistema de almacenamiento tiene su miga.

 

Así a grosso modo, hay tipos de sistemas de almacenamiento:

 

NAS (Network attached storage): servidores de archivos que, conectados a una red, permiten acceder a varios clientes simultáneamente. La red es una Ethernet y utilizan TCP/IP, los mismos protocolos que usas para acceder a Internet. Ventajas: sencillez, economía. Desventajas: Algo más de latencia, menor redimiento.

 

SAN (Storage Area Network): Se trata de conectar a un sistema de almacenamiento que se va a comportar como un disco duro local, aunque sea a través de una red. Digamos que un disco duro local no está pensado para estar conectado a la vez a dos ordenadores, y necesitas un complejo sistema de coordinación. Eso es precisamente lo que hace XSan, el software de clustering de Apple, pero no se si existe aún.

 

La opción NAS puede resultaros bien, de todas formas. Como software podríais usar una opción gratuita pero muy fiable llamada FreeNAS. A eso añade un servidor que soporte unos cuantos discos (a más discos más velocidad de acceso) y quizás aceleración con SSDs. Y por supuesto tarjetas y conmutadores de 10 GbE.

 

¿De qué tasas de transferencia estamos hablando? ¿Qué volumen de datos y qué tamaños de archivos?

 

Para que te hagas una idea, en un Microserver Gen8 de HP con FreeNAS o FreeBSD y cuatro discos de 3 TB en configuración RAIDZ (similar al RAID5 pero mucho más fiable y con mejores prestaciones) consigo fácilmente 100 MB/s a través del interfaz GbE, cosa que no está nada mal.

 

No he probado a abrir clips de vídeo a través del trasto pero podría. Eso sí, en casa no tengo 10 GbE, tengo 1 GbE.

 

Si te decantaras por un experimento con FreeNAS (podéis hacer la prueba con un Microserver y ampliando la memoria, que ahora se venden por 200 y pico euros) ojo a un par de cosas: Si ponéis una tarjeta de 10 GbE cuidado con los fabricantes. No os recomiendo Emulex (por ejemplo, las que vende Dell) y es mejor usar las de Intel. Ojo también con el almacenamiento, las controladoras tienen su miga cuando no vas a hacer un sota-caballo-rey de Windows o Linux. (Los "hespertos" de ambos mundillos probablemente las configurarán como "controladora inteligente" lo que es un error).

 

Para la red, emplearía en este caso NFS, SMB/CIFS o Appleshare, nunca iSCSI que te ofrece los mismos problemas que la SAN.

 

¿Qué solución de almacenamiento te habían propuesto? ¿Una SAN basada en Fibrechannel o iSCSI?

 

E insisto, lo del "acceso mútiple" tiene su miga, a veces mucha.

Link to comment
Share on other sites

Muchas gracias Miguimau y borjam por las explicaciones que me habéis dado. La verdad es que yo no se nada de este tipo de cosas, al leer lo que explicáis realmente no lo puedo seguir. Sin embargo voy a pasar estas respuestas a los compañeros de IT y veremos que me dicen.

 

Buen consejo lo de consultar directamente con Apple, llamaremos hoy a ver que proponen.

 

No sabía que lo que buscamos sea tan complejo y por lo tanto caro. Presupuesto hay, pero evidentemente cuanto más barato salga mejor.

 

Os mantengo informados con lo que al final se vaya a montar.

 

Muchas gracias de nuevo.

Link to comment
Share on other sites

Muchas gracias Miguimau y borjam por las explicaciones que me habéis dado. La verdad es que yo no se nada de este tipo de cosas, al leer lo que explicáis realmente no lo puedo seguir. Sin embargo voy a pasar estas respuestas a los compañeros de IT y veremos que me dicen.

 

Buen consejo lo de consultar directamente con Apple, llamaremos hoy a ver que proponen.

 

No sabía que lo que buscamos sea tan complejo y por lo tanto caro. Presupuesto hay, pero evidentemente cuanto más barato salga mejor.

 

Os mantengo informados con lo que al final se vaya a montar.

No se si tus compañeros tendrán experiencia para esto, (que consulten los foros de FreeNAS, www.freenas.org) pero siempre pueden buscar un distribuidor de iXSystems.

Link to comment
Share on other sites

No se si tus compañeros tendrán experiencia para esto, (que consulten los foros de FreeNAS, www.freenas.org) pero siempre pueden buscar un distribuidor de iXSystems.

 

borjam, he echado un ojo a la web de FreeNAS y la verdad es que promete. Se lo envio a los chicos de IT a ver que me dicen.

 

Muchas gracias por la ayuda

Link to comment
Share on other sites

Como primera cuestión trabajar con los mismos ficheros en dos ediciones distintas es una fuente inagotable de problemas. Si lo que quieres es tener un sistema de almacenaje rápido para los MacPro Tube lo mejor es un raid externo thunderbolt para cada uno en el que estén los ficheros a utilizar. Se puede montar una red entre los dos Tube para transferir cuando sea necesario el material de un raid a otro, o mejor todavía un PC con Windows Server con discos internos de 3 TB, con cuatro ya vas bien, con el que configuras una pequeña red con los Tube por samba y en él haces las copias de seguridad del material de los raid.

Todo esto lo puedes montar sin hacer inventos, con las herramientas de Windows y Mac, pero repito que si dos maquinas trabajan contra los mismos ficheros se producen inconsistencias en los datos imposibles de gestionar.

Yo tengo un sistema como el que indico y me va bien.

Los Pro valen lo que valen según las configuraciones, recomendaría 12 nucleos, 64 GB de ram 256 Gb de Flash (para sistema y programas es mas que suficiente) y dos FirePro D700 unos 8.500 € cada máquina.

Raid LaCie Thunderbolt Rack de 12 Tb, unos 1.500 €

PC con Windows, disco de sistema normalito y cuatro de 3 TB unos 700 a 800 €

Tres SAi unos 300 €

Total una inversión de menos de 22.000 € mas los monitores que necesites según el tipo de trabajo, pero suponiendo que montes dos de 4K para vídeo, mas dos de 3440x1440 para el FC Pro te irás a no menos de 7.500 € mas o menos según las ofertas.

Total la cosa se pone por casi 30.000 € con el Iva que podrás descontar.

Saludos y ánimo

Link to comment
Share on other sites

Como primera cuestión trabajar con los mismos ficheros en dos ediciones distintas es una fuente inagotable de problemas. Si lo que quieres es tener un sistema de almacenaje rápido para los MacPro Tube lo mejor es un raid externo thunderbolt para cada uno en el que estén los ficheros a utilizar. Se puede montar una red entre los dos Tube para transferir cuando sea ……...

 

Muchísimas gracias jefe_rojo2, le paso la información a los expertos y veremos que me dicen. Todo esto se me escapa con los conocimientos que tengo.

 

Saludos

Edited by hugomez
Link to comment
Share on other sites

utilizar. Se puede montar una red entre los dos Tube para transferir cuando sea necesario el material de un raid a otro, o mejor todavía un PC con Windows Server con discos internos de 3 TB, con cuatro ya vas bien, con el que configuras una pequeña red con los Tube por samba y en él haces las copias de seguridad del material de los raid

Los productos de Mi-Shan-Fu no suelen ser muy apropiados para estos menesteres ;) Los RAID, de hecho, están más que superados por alternativas más modernas, seguras y de mejores prestaciones mejoradas más arriba.

Link to comment
Share on other sites

Si la solución pasa por montar un NAS lo más seguro y "performante" es un FreeNAS, sin necesidad de irse a Nexenta o mucho menos aún a Windows. FreeNAS utiliza el sistema de archivos ZFS, el cual está diseñado con la premisa de que no siempre hay que fiarse de que los datos se escriben y recuperan de los discos duros con total fiabilidad, cuando de hecho no es así en absoluto. Además es capaz de proporcionar muy buenas prestaciones (aunque en un NAS lo normal es que el cuello de botella esté en la red). Y como gestiona directamente los discos duros sin necesidad de un controlador RAID (de hecho si se usa ZFS tener un controlador RAID por medio es contraproducente), ZFS es capaz de detectar y corregir los fallos.

 

Ahora bien, en el caso de un NAS, por eficiente que sea en el manejo de los discos, como ya he dicho el cuello de botella es la red. Antes de ir a una solución tipo SAN que, independientemente del hardware que pueda requerir, en cualquier caso necesita un software muy sofisticado (y por tanto no muy de fiar) y carísimo, se podría estudiar un incremento de las prestaciones de la red, utilizando Ethernet de 10 Gbps.

 

Yo valoraría la posibilidad de utilizar FreeNAS instalado en un servidor decente, dotado de una controladora de disco que permita acceder a éstos directamente (sin RAID) y uno o dos puertos Ethernet 10Gb. Por supuesto con varias bahías para discos. Es mejor poner más discos de menos capacidad que pocos de más capacidad: por ejemplo: mejor 8 discos de 3 TB que 4 discos de 6 TB. Con 8 discos de 3 TB se puede montar lo que en ZFS se llama un "raidz2" con una capacidad efectiva de 18 TB y que permitiría que fallasen completamente DOS discos y aún así seguir funcionando. Y proporcionaría unas prestaciones de E/S fabulosas incluso con discos relativamente lentos (pero más longevos y energéticamente eficientes) como los Western Digital "Red".

 

EDITO: olvidé mencionar que, lógicamente, en caso de utilizar Ethernet de 10Gb habría que dotar a los Mac Pro de dicho tipo de interface (creo que existen adaptadores Thunderbolt), y por supuesto haría falta un conmutador de red con puertos de 10 Gb.

Edited by Dæmon
Link to comment
Share on other sites

Con los debidos respetos hacia las opiniones de Daemon y Borjam, la solución que propongo es la que tengo instalada y funciona perfectamente. Es fácil de implementar, con un coste asequible y sobre todo, repito, funciona.

No pongo en duda que te funcione, pero es un tanto lioso tener cada Mac Pro con un sistema de almacenamiento independiente y usar el servidor (Windows o lo que sea, en definitiva actuando como un NAS) sólo para backups. Especialmente si cada Mac lo utilizan diferentes usuarios. Eso obligaría a implantar una política de backups.

 

Lo más económico podría ser conectar por Thunderbolt un sistema de almacenamiento a uno de los Mac Pro y que éste a su vez haga de servidor de disco para el otro Mac Pro, también conectado por Thunderbolt al Mac Pro "servidor".

Edited by Dæmon
Link to comment
Share on other sites

Muchas gracias por vuestras respuestas. Dæmon, aunque nos vamos a gastar bastante dinero en esto, evidentemente tengo que tratar de buscar la mas económica que haga que todo funcione bien. En un momento dado mencionas esto:

 

"Lo más económico podría ser conectar por Thunderbolt un sistema de almacenamiento a uno de los Mac Pro y que éste a su vez haga de servidor de disco para el otro Mac Pro, también conectado por Thunderbolt al Mac Pro "servidor"."

 

¿Haría esto que el MacPro que funciona como Servidor se relentice mucho?

 

Tened en cuenta que tenemos el MacPro 2009 que uso en este momento, ¿quizás podamos usar este como servidor y conectar los 2 nuevos MacPro a este?

Link to comment
Share on other sites

Muchas gracias por vuestras respuestas. Dæmon, aunque nos vamos a gastar bastante dinero en esto, evidentemente tengo que tratar de buscar la mas económica que haga que todo funcione bien. En un momento dado mencionas esto:

 

"Lo más económico podría ser conectar por Thunderbolt un sistema de almacenamiento a uno de los Mac Pro y que éste a su vez haga de servidor de disco para el otro Mac Pro, también conectado por Thunderbolt al Mac Pro "servidor"."

 

¿Haría esto que el MacPro que funciona como Servidor se relentice mucho?

 

Tened en cuenta que tenemos el MacPro 2009 que uso en este momento, ¿quizás podamos usar este como servidor y conectar los 2 nuevos MacPro a este?

El Mac Pro de 2009 no tiene Thunderbolt.

 

De todas formas, antes de seguir: ¿Qué tasas de transferencia necesitas? Si no necesitas superar unos 100 MB/s (Mega Bytes) un interfaz GbE (gigabit Ethernet) en principio es suficiente. Si necesitas ese ancho de banda por cada uno de ellos, siempre puedes conectar un cliente a cada puerto.

 

En un Mac Pro puedes meter cuatro discos duros, y si estás dispuesto a que ese Mac Pro esté dedicado en exclusiva a esta tarea, con unos 16 ó 32 GB de memoria manejarías un ZFS estupendamente. No se si es posible arrancar ahi FreeNAS, pero creo que FreeBSD sí, y si ahí tienes a alguien con algo de experiencia en Unix te puede montar sin problemas un almacenamiento con ZFS exportando por NFS, CIFS o Appleshare.

 

Sobre la ralentización: la exportación, si es que estás además trabajando en el sistema, no debería consumir mucha CPU. Quizás un 10 o un 15 %. Eso sí, si el usuario local del Mac Pro que comparte necesita además acceder mucho a disco sí se puede encontrar con que su rendimiento empeora.

Link to comment
Share on other sites

Noooo nunca un disco, aunque sea sólido, en el que conviven los datos con el sistema y los programas, eso es una fuente de problemas y de los gordos.. Los Tube están pensados para conectarlos por thunderbolt a un raid donde estén los datos y en su disco interno solo el sistema y los programas. Al menos si hablamos de edición de vídeo.

Supongo que si no ahora, en un futuro trabajaras en 4k y eso requiere una tasa de trasferencia de datos y una capacidad de almacenamiento importantes.

El Mac Pro que tienes puede hacer de servidor y mucho mejor que un PC con windows. Le pones tres discos gordos y a correr. Una de las conexiones de red al router que te de internet y la otra a un switch al que conectas los dos Tube, con el Time Machine programas las copias de seguridad de los sistemas raid y de fábula.

Por red no tenders nunca la tasa de trasferencia necesaria para editar decentemente en 2k ni por supuesto en 4k, con dificultades cuando tires de mas de dos capas de video en HD y no te digo si pretendes que sirva a dos maquinas editando. Ni de coña.

Saludos.

Link to comment
Share on other sites

Noooo nunca un disco, aunque sea sólido, en el que conviven los datos con el sistema y los programas, eso es una fuente de problemas y de los gordos.

No hombre no. El único problema es de prestaciones, pero en el caso de un SSD donde los accesos aleatorios salen gratis el efecto es despreciable.

 

Tengo por aquí un servidor FreeNAS, un día de éstos le meto unos clips de vídeo en Prores y a ver cuánto tiran de disco.

 

Tampoco ha quedado claro si quieren compartir los archivos intermedios de render (se complica mucho) o las sesiones van a ser largas y no importa que cada uno de los Mac Pro tenga sus render en su SSD, tirando del almacenamiento compartido para el proyecto y los clips.

 

2 puertos de 1 Gbps también se pueden poner agregar, claro.

Link to comment
Share on other sites

De verdad que si meten los clips o los render en el disco del Tube o en cualquiera conviviendo con el sistema y los programas al final la liarán.

Saludos

Pues te agradecería que me explicaras por qué, porque por más que lo miro no lo veo.

Link to comment
Share on other sites

Hola,

 

jefe-rojo2, escribí a Caldigit y me han asegurado que el "Thunderbolt station 2" no sirve para lo que buscamos, y también que al Caldigit T4 no se le pueden conectar 2 MacPro "Tubes" a la vez a través de sus 2 puertos Thunderbolt. :(

 

rojocinco, la nueva persona ya está contratada, comienza a trabajar el 15 de Enero, el contrato ya está firmado, gracias por tu interés de todas formas.

Link to comment
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Restore formatting

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

 Share

×
×
  • Create New...

Important Information

We have placed cookies on your device to help make this website better. You can adjust your cookie settings, otherwise we'll assume you're okay to continue.