Foren

repositorio de midias externo

thumbnail
Guillermo Rodolfo Mangieri, geändert vor 8 Jahren.

repositorio de midias externo

Regular Member Beiträge: 166 Beitrittsdatum: 10.09.12 Neueste Beiträge
Bom dia,

Estamos com um inicio de estudo de uma alteração de projeto que surgiu após os treinamentos de infraestrutura.

Estamos com um projeto de dois servidores de aplicação clusterizados e balanceados.

Para tirarmos esforços desnecessários de comunicação entre ambos servidores com sua consequente indexação, pensamos em utilizar um repositorio de documentos e midias externo à ambos servidores.

Começamos ver uma estrutura de máquina externa com gestão do Solr.

Porem, fomos questionados sobre a possibilidade de usar alfresco em lugar de Solr.

Alguem tem experiencias à respeito? quem acha que pode nos agregar valor à nossa pesquisa?

Sugestões são bem vindas.
thumbnail
Thiago Leão Moreira, geändert vor 8 Jahren.

RE: repositorio de midias externo

Liferay Legend Beiträge: 1449 Beitrittsdatum: 10.10.07 Neueste Beiträge
Boa noite Guillermo,

Acho que vocês estão confundindo os termos. SOLR é utilizado única e exclusivamente para indexar e buscar conteúdos. Já o Alfresco é um repositório de documentos. Ambos podem ser utilizados simultaneamente no Liferay.
Quantos arquivos vocês terão armazenados no Liferay, em GB? Minha sugestão é que se esse valor não passar de 100GB vocês não precisam do Alfresco.
Vocês já tem um idéia de quantos documentos (usuários, web content, pds, words, etc) serão armazenados no Liferay? Dependendo do número também não teria a necessidade usar SOLR.

Abraço
thumbnail
Guillermo Rodolfo Mangieri, geändert vor 8 Jahren.

RE: repositorio de midias externo

Regular Member Beiträge: 166 Beitrittsdatum: 10.09.12 Neueste Beiträge
boa noite, Thiago...

Inicialmente temos um repositório de 350 GB que temos que processar e migrar de um mundo "não liferay" para o mundo liferay.

São arquivos anexos de textos, galerias de fotos, repositórios de imagens, filmagens HD e clipping de radio dentre outras coisas.

Inicialmente a data de corte do que será migrado ( algo em torno de 2012) pode nos reduzir consideravelmente o volume. Esta mudança de estratégia pode chegar a reduzir a algo em torno de 80 a 100 GB. O problema é que a url antes da migração é absoluta para um artefato numa pasta e depois de incluir no DL essa URL terá, no mínimo, um namespace. Por isso a migração está sendo feita com muito cuidado a partir de um portlet proprio.

Esses arquivos estão num HD de um Tera com url´s absolutas de um projeto de php/mysql. Diante dessa situação, estamos avaliando alguma coisa semelhante ao que foi ministrado no treinamento de infra no prédio da Caelum em São Paulo. Inicialmente, procura-se um novo repositório único e indexado com lucene ou solr. Esta indexação é porque acreditamos que quando upar um arquivo num dos servidores de aplicação, terei um custo computacional de informar o outro servidor clusterizado sobre a existência do arquivo upado. Por isso estou procurando delegar essa atividade de gestão de arquivos a outra máquina com gestão própria do repositório.

Por outro lado, existem níveis de autorização para publicação desses artefatos que estaríamos tratando como repositório externo + Lucene ou Solr + kaleo (armazenamento + indexação + workflow de publicação).

Agora, quando comentamos a ideia ao patrocinador de projeto, ele fez a "sugestão" de aproveitar e incluir uma integração com alfresco. Desta maneira, poderemos fazer uso do workflow de documentos nunma das intranets. Da forma que o patrocinador vê as coisas, alfresco lhe proporciona mais recursos que kaleo. Ai que entramos com o custo-beneficio dos volumes de informações que vamos lidar num cronograma enxuto por demais. Pelo que tenho visto, se não me engano, Alfresco tambem indexa por lucene então o único que ganharíamos seria a gestão do workflow com alfresco.

Como você pode ver existem muitas coisas que estão sendo pesquisadas ao mesmo tempo.

Estou começando a pensar em fazer o arroz e feijão para a data de lançamento e evoluir aos poucos mandando todo para requisitos adiados, porem se der tempo... melhor que não nasça torto, porque senão nunca endireita (sabedoria popular do grupo é o tchan).
george salu, geändert vor 8 Jahren.

RE: repositorio de midias externo

Junior Member Beiträge: 36 Beitrittsdatum: 16.04.15 Neueste Beiträge
Thiago Leão Moreira,
Então você esta falando que o liferay não suporta a função de repositório de documentos por exemplo se este repositório for maior que 100GB ? é isso
thumbnail
Guillermo Rodolfo Mangieri, geändert vor 8 Jahren.

RE: repositorio de midias externo

Regular Member Beiträge: 166 Beitrittsdatum: 10.09.12 Neueste Beiträge
Boa Tarde, George...

Sendo inxirido, visto que voce questionou o Thiago, não acho que a sugestão dele acabe sendo uma afirmação que não comporte mais do que 100GB.

Na realidade, o contexto que tinha apresentado diz respeito de um cluster de servidores de aplicação onde apontaria a um único repositório de arquivos.

Quando voce trata de repositorio de arquivos de servidores clusterizados ou não, tem acompanhado um indexador de busca dos arquivos que voce está armazenando. Esse indexador é um processo que compartilha memoria e processador do teu servidor e dentro do universo de funcionalidades que liferay te apresenta, cabe ao arquiteto prever como diminuir o consumo de recursos computacionais do servidor de aplicação para obter uma maior performance.

Estamos analisando todo o possivel para ter uma maior disponibilidade de serviço distribuindo responsabilidades (processos) em hardware anexo.

Não diz respeito que o software não comporte. É uma boa prática para expremer ao máximo os recursos que a tecnologia permite.

Somente exteriorizei um pensamento. Que os amigos do Staff da liferay me corrijam se estou falando errado. Mesmo porque eu tambem quero aprender e algum dia ser como eles... =oD

Uma boa tarde para voce.
george salu, geändert vor 8 Jahren.

RE: repositorio de midias externo

Junior Member Beiträge: 36 Beitrittsdatum: 16.04.15 Neueste Beiträge
Oi Guillermo Rodolfo, como vc fez esta migração de documentos para dentro do liferay ? usou alguma ferramenta ?, estava dando uma olhada no alfresco e ele tem algumas ferramentas algumas ate relacionadas ate a ftp para pegar uma grande quantidade de documentos e "jogar" no alfresco, não achei nada relacionado com liferay
Guillermo Mangieri, geändert vor 8 Jahren.

RE: repositorio de midias externo

New Member Beitrag: 1 Beitrittsdatum: 19.10.15 Neueste Beiträge
Bom dia nobre George,

Teve que criar meu outro perfil por questões de licença do liferay.

O que foi feito é uma rotina java usando os localServicesUtil necessários para persistência em banco. O que pegou no pé é que gestores deram prioridade a uma estrutura de pastas que seria mais organizada para quem navega pelo painel de controle. O problema é que isso gerou 27000 pastas com informação desde 2003 até hoje num total de 190.000 arquivos. Quando toda essa parafernália entrou no nosso repositório a cada acesso que é feito o engine faz uma validação de permissões por cada pasta e artefato da árvore chegando a demorar minutos para reagir de uma página para outra. Neste ponto tivemos que fazer hooks onde a validação de permissoes so se faz na pasta corrente dando lugar a furos na segurança.

Atualmente temos problemas no seletor de imagens no meio de textos. Quando editado um conteúdo web e procura-se incluir uma imagem no meio do texto, o tempo de carregamento do repositório de midias pode chegar a 3 minutos. A mesma coisa acontece quando numa estrutura onde foi colocado um seletor de imagens para inclusão em galerias de fotos, até apresentar a listagem de imagens disponiveis pode chegar a 2 minutos por cada imagem colocada na galeria.

Em sintese, prato cheio para quem quer dizer que javascript faz isso muito mais rápido que liferay.

Com relação ao alfresco, na época que sugerimos o seu uso o nosso gestor de projeto foi contra porque em outro projeto houve muitos problemas com um repositório CMIS e não queria repetir os problemas junto com liferay.

Hoje estamos às vesperas do lançamento do projeto e eu desaconselho fortemente qualquer OUTRA mudança de projeto porque em nome "DAS NECESSIDADES NEGOCIAIS E VISUAIS DO CLIENTE" foram largadas de mão muitos recursos que já estavam em fase de implantação.
thumbnail
Thiago Leão Moreira, geändert vor 8 Jahren.

RE: repositorio de midias externo

Liferay Legend Beiträge: 1449 Beitrittsdatum: 10.10.07 Neueste Beiträge
George, o que quiz dizer é que se não passar de cerca 100GB você não precisa se preocupar muito. Se a quantidade de documentos for maior que esse número vale a pena estudar mais as implicações dessa quantidade.

Abraço
thumbnail
Anderson Perrelli, geändert vor 8 Jahren.

Re: [Liferay Forums][Português] repositorio de midias externo

Junior Member Beiträge: 81 Beitrittsdatum: 12.06.13 Neueste Beiträge
Olá Guillermo,

A sua ideia de ambiente está seguindo no caminho certo, desacoplar recurso
do Liferay vai deixá-lo com uma performance melhor, quanto a sua dúvida,
bom, não conheço muito o alfresco, para falar a verdade só sei que o
alfresco tem uma estrutura de portal (Espero não estar falando besteira)
que contém um mecanismo de busca, assim como o Liferay, já o Solr é uma
engine de busca de alta performance, é uma ferramenta voltada para busca e
indexação, algumas das vantagens do Solr são:

1. Código Open Source
2. Altamente escalável
3. Otimizado para alto volume de trafego
4. Integração com qualquer aplicação


Abraços amigo.






*Anderson Gonçalves Perrelli Borba*
Trainer / Software Engineer
+55 81 30331405 / +55 81 96276718

Liferay Inc.
Enterprise. Open Source. For Life
www.liferay.com

2015-06-03 10:22 GMT-03:00 Guillermo Rodolfo Mangieri from liferay.com <
forums@liferay.com>:

> Bom dia,
>
> Estamos com um inicio de estudo de uma alteração de projeto que surgiu
> após os treinamentos de infraestrutura.
>
> Estamos com um projeto de dois servidores de aplicação clusterizados e
> balanceados.
>
> Para tirarmos esforços desnecessários de comunicação entre ambos
> servidores com sua consequente indexação, pensamos em utilizar um
> repositorio de documentos e midias externo à ambos servidores.
>
> Começamos ver uma estrutura de máquina externa com gestão do Solr.
>
> Porem, fomos questionados sobre a possibilidade de usar alfresco em lugar
> de Solr.
>
> Alguem tem experiencias à respeito? quem acha que pode nos agregar valor à
> nossa pesquisa?
>
> Sugestões são bem vindas.
>
>
> To view the thread, follow the link below:
>
> https://www.liferay.com/community/forums/-/message_boards/view_message/54720926
> --
> Liferay.com <https://www.liferay.com>
thumbnail
Anderson Perrelli, geändert vor 8 Jahren.

Re: [Liferay Forums][Português] repositorio de midias externo

Junior Member Beiträge: 81 Beitrittsdatum: 12.06.13 Neueste Beiträge
Olá Guillermo,

A sua ideia de ambiente está seguindo no caminho certo, desacoplar recurso
do Liferay vai deixá-lo com uma performance melhor, quanto a sua dúvida,
bom, não conheço muito o alfresco, para falar a verdade só sei que o
alfresco tem uma estrutura de portal (Espero não estar falando besteira)
que contém um mecanismo de busca, assim como o Liferay, já o Solr é uma
engine de busca de alta performance, é uma ferramenta voltada para busca e
indexação, algumas das vantagens do Solr são:

1. Código Open Source
2. Altamente escalável
3. Otimizado para alto volume de trafego
4. Integração com qualquer aplicação


Abraços amigo.






*Anderson Gonçalves Perrelli Borba*
Trainer / Software Engineer
+55 81 30331405 / +55 81 96276718

Liferay Inc.
Enterprise. Open Source. For Life
www.liferay.com

2015-06-03 10:22 GMT-03:00 Guillermo Rodolfo Mangieri from liferay.com <
forums@liferay.com>:

> Bom dia,
>
> Estamos com um inicio de estudo de uma alteração de projeto que surgiu
> após os treinamentos de infraestrutura.
>
> Estamos com um projeto de dois servidores de aplicação clusterizados e
> balanceados.
>
> Para tirarmos esforços desnecessários de comunicação entre ambos
> servidores com sua consequente indexação, pensamos em utilizar um
> repositorio de documentos e midias externo à ambos servidores.
>
> Começamos ver uma estrutura de máquina externa com gestão do Solr.
>
> Porem, fomos questionados sobre a possibilidade de usar alfresco em lugar
> de Solr.
>
> Alguem tem experiencias à respeito? quem acha que pode nos agregar valor à
> nossa pesquisa?
>
> Sugestões são bem vindas.
>
>
> To view the thread, follow the link below:
>
> https://www.liferay.com/community/forums/-/message_boards/view_message/54720926
> --
> Liferay.com <https://www.liferay.com>
thumbnail
Anderson Perrelli, geändert vor 8 Jahren.

Re: [Liferay Forums][Português] repositorio de midias externo

Junior Member Beiträge: 81 Beitrittsdatum: 12.06.13 Neueste Beiträge
Olá Guillermo,

A sua ideia de ambiente está seguindo no caminho certo, desacoplar recurso
do Liferay vai deixá-lo com uma performance melhor, quanto a sua dúvida,
bom, não conheço muito o alfresco, para falar a verdade só sei que o
alfresco tem uma estrutura de portal (Espero não estar falando besteira)
que contém um mecanismo de busca, assim como o Liferay, já o Solr é uma
engine de busca de alta performance, é uma ferramenta voltada para busca e
indexação, algumas das vantagens do Solr são:

1. Código Open Source
2. Altamente escalável
3. Otimizado para alto volume de trafego
4. Integração com qualquer aplicação


Abraços amigo.






*Anderson Gonçalves Perrelli Borba*
Trainer / Software Engineer
+55 81 30331405 / +55 81 96276718

Liferay Inc.
Enterprise. Open Source. For Life
www.liferay.com

2015-06-03 10:22 GMT-03:00 Guillermo Rodolfo Mangieri from liferay.com <
forums@liferay.com>:

> Bom dia,
>
> Estamos com um inicio de estudo de uma alteração de projeto que surgiu
> após os treinamentos de infraestrutura.
>
> Estamos com um projeto de dois servidores de aplicação clusterizados e
> balanceados.
>
> Para tirarmos esforços desnecessários de comunicação entre ambos
> servidores com sua consequente indexação, pensamos em utilizar um
> repositorio de documentos e midias externo à ambos servidores.
>
> Começamos ver uma estrutura de máquina externa com gestão do Solr.
>
> Porem, fomos questionados sobre a possibilidade de usar alfresco em lugar
> de Solr.
>
> Alguem tem experiencias à respeito? quem acha que pode nos agregar valor à
> nossa pesquisa?
>
> Sugestões são bem vindas.
>
>
> To view the thread, follow the link below:
>
> https://www.liferay.com/community/forums/-/message_boards/view_message/54720926
> --
> Liferay.com <https://www.liferay.com>