http://www.zago.eti.br/cluster.txt FAQ, indicação de tutorias e sites relacionados a computação paralela, processamento distribuido, supercomputadores e afins... Use CTRL+F para refinar a pesquisa. Linha de: **************** sapara mensagens ou tópicos. ******************************************************** Zago http://www.zago.eti.br/menu.html FAQ e artigos sobre Linux ********************************************************** ********************************************************** hearbeat... http://www.linux-ha.org/download/ ********************************************************** LVS --- Linux Virtual Server cluster para servidor web ********************************************************** endereços relacionados. http://www.clubedohardware.com.br/super.html http://www.linuxworld.com/linuxworld/lw-2000-03/lw-03-clustering.html -> em ingles. http://www.mfn.unipmn.it/~mino/cluster/benchmarks/ Site em inglês sobre como medir o processamento de um cluster. http://www.linuxgazette.com/node/view/8468 tutorial em ingles: como implementar cluster híbrido. Basic How-to for Hybrid Clusters ********************************************************** Computação em grade. Este sistema permite montar o mais poderoso dos supercomputadores, claro que depende da adesão de muitos usuarios, em resumo consiste em um servidor que centraliza o banco de dados, distribue o executavel e parte da informação para processamento. Os clientes pelo mundo com acesso à internet executando um programa que processa uma pequena parte deste grande volume de dados, quando completa o processamento da parte que recebeu o programa envia os resultados para o servidor e recebe uma nova parte para processamento. Achei interessante o programa da Intel que pode ser configurado para trabalhar somente quando entra a proteção de tela do Windows, não interferindo no desempenho do computador e usando somente os recursos ociosos do micro. Nos links abaixo tem um que pesquisa sobre a cura do cancer e outro que pesquisa sobre extra-terrestres. http://www1.folha.uol.com.br/folha/informatica/ult124u13098.shtml http://www.grid.org/projects/cancer/ http://www.mersenne.org/ http://setiathome.berkeley.edu/ Este roda em Linux - projeto muito interessante sobre estudo das moleculas- tem varios projetos sobre a cura de diversas doenças. http://folding.stanford.edu/download.html Procure pelo executavel pra Linux, no CL10 fiz o download e executei em modo texto, na primeira execução pede algumas informações mas nada de compilar ou mexer no sistema, são informações sobre proxy e preferencias, roda sem problemas, cria diversos arquivos no diretório local, log e outras informações, veja mais detalhes na pagina: http://folding.stanford.edu/ Zago ********************************************************** ********************************************************** > Alguém conhece e já usou um Cluster usando o Linux para sistemas de alta > disponibilidade ?? Tipo, se uma máquina cair a outra imediatamente assumo > TODOS os processos da outra. > Por acaso estou lendo algo do genero em http://www.beowulf.org com fotos e tudo, bem legal :) ********************************************************** Cluster é um sistema de processamento paralelo, onde pode ser ligado varios micros para dividir um processamento, a maneira mais barata de conseguir um supercomputador é interligando estes computadores atravez de placa de rede com boot remoto via HUB, nestes computadores não precisa de placa de video, teclado, mouse etc.. mas para isso o soft a ser executado tem que ser proprio para este tipo, normalmente quem monta o Cluster usa um rack com gabinetes proprios e os interliga com switch, para rodar um programa proprio, ex.: as empresas que trabalham com previsão do tempo ou outra atividade onde o processamento é volumoso e demorado, em micros comuns quando sair o resultado já pode estar desatualizado, dependendo do poder do cluster o resultado pode se chegar a respostas muito rapidas, quase em tempo real. Mas para isso usam um soft escrito especialmente para ser executado neste cluster. O que conclui até aqui é que posso colocar um micro com 2 processadores rapidos na mesma placa mãe, com HD SCSI e muita memoria OU montar o cluster, MAS TAMBÉM ESCREVER E COMPILAR OS PROGRAMAS que iria executar nele. Na minha opinião, cluster é para soft especifico, para aplicativos comerciais prontos. Prefiro montar varios servidores na mesma rede e distribuir os serviços, por exemplo um banco de dados onde todos acessam talvez não seria possivel colocar uma parte do banco de dados em um servidor e o restante em outro, mas colocaria um servidor para executar somente este banco de dados e mais nada, enquanto outros serviços poderiam ser colocados em outro servidor, ter mais um servidor para documentos ou pastas exclusivas dos usuarios, ter mais um servidor para outros aplicativos como servidor de e-mail, internet, web, assim não sobrecarregando uma única maquina, ou de uma certa forma distribuindo o processamento, mas isto não é um cluster. Na CONDEX tinha um micro trabalhando com 4 ou 6 CPU, mas não tive tempo para ver mais detalhes, como se ele usaria as 4 cpu para softs comuns ou se era para tarefas especificas. Zago e-mail zagolinux@uol.com.br veja estes endereços http://www.linux-ha.org , especialmente o howto. http://distro.conectiva.com.br, tem umas apresentacoes. http://www.polyserve.com, tem uma ferramenta q vc pode experimentar. http://www2.linuxjournal.com/lj-issues/issue75/4032.html, um artigo muito bom. http://www.varesearch.com Procure pelo Beowulf Howto em http://www.olinux.com.br/documentacao/howto/index.html. http://yara.ecn.purdue.edu/~pplinux/pphowto.html http://ldp.iol.it/HOWTO/Parallel-Processing-HOWTO.html http://lcic.org/ http://www.lam-mpi.org/ http://prg.cpe.ku.ac.th/research/sce/ http://www.beowulf.org/ ********************************************************** Computação Altamente Distribuída - 1/2 --------------------------------------------------------------------- Eu nem sei se o termo "computação altamente distribuída" existe ou se já foi usado por alguém. De qualquer forma, foi a melhor maneira que encontrei de me referir a diversas iniciativas existentes que visam utilizar os ciclos de CPU ociosos nos milhões de computadores ligados à Internet para realizar processamento de grande volume de dados. O primeiro exemplo que conheci foi a iniciativa da NASA, SETI, ou Search for Extraterrestrial Inteligence. Hoje mais de dois milhões de computadores participam do programa analisando dados colhidos por um radio-telescópio localizado em Porto Rico. O telescópio coleta cerca de 50 GB de dados diariamente e estes dados são distribuídos para os computadores participantes do programa analisam pequenas parcelas dos dados gerados. A rede global de computadores conectadas ao programa SETI possui uma capacidade computacional agregada de 12 teraflops, o que é muito mais que os maiores supercomputadores existentes podem oferecer, algo em torno de 3 teraflops. Esta primeira iniciativa de "computação altamente distribuída" é um grande sucesso, tendo conseguido o equivalente a 280.000 anos de tempo de processamento. Para os que não acreditam em vida extraterrestre, más notícias. O programa SETI já conseguiu identificar cerca de meio bilhão de sinais potencialmente promissores. Se você quiser colaborar com este projeto, basta instalar em seu computador o software cliente, disponível para as plataformas Windows, Linux e Mac. O endereço na Web é http://setiathome.ssl.berkeley.edu/ Amanhã tem mais sobre este assunto .... ********************************************************** Computação Altamente Distribuída (2) --------------------------------------------------------------------- Complementando a mensagem anterior sobre "Computação Altamente Distribuída", onde foi abordado o projeto SETI (Search for Extraterrestrial Intelligence), gostaria de citar algumas outras iniciativas semelhantes. Distributed.net URL: http://www.distributed.net Esta iniciativa é composta principalmente por matemáticos, programadores, e especialistas em criptografia que uniram forças em 1997 para resolver um enigma proposto pela RSA Security. Conseguiram na época ganhar o prêmio oferecido, de R$ 10.000. Desde então se envolveram no projeto Genoma e possuem hoje uma comunidade de 60.000 usuários e 200.000 computadores. O poder computacional desta rede equivale a 180.000 computadores Pentium II 266 Mhz trabalhando 24 horas por dia. Todo o software desenvolvido para estes trabalhos pode ser baixado e utilizado sem restrições do Web site do projeto. OpenCola URL: http://www.opencola.com Esta é outra iniciativa de computação comunitária que visa desenvolver uma ferramenta de busca baseada em ciclos ociosos de computação para manter um índice do conteúdo da Web. Neste modelo cada computador participante da comunidade faz a indexação de uma parte da Web, no seu tempo vago, é claro. PopularPower URL: http://www.popularpower.com Ao contrário dos demais projetos, este visa explorar um mercado novo e ganhar dinheiro com ele. Seu objetivo é atuar como intermediário entre quem precisa de processamento e quem oferece. Embora na home page do projeto (em 24/10/2000) esteja listado um projeto de pesquisa da gripe, sem custo, é anunciado também a oportunidade de se juntar ao projeto e ser pago em projetos comerciais futuros. Os participantes podem doar ou vender seu tempo de processamento para atacar problemas complexos, até então impossíveis de serem resolvidos. ProcessTree URL: http://www.processtree.com Este site atua na mesma linha do anterior e tenta montar um modelo de negócios baseado no tempo ocioso de processamento dos computadores ligados à Internet O escritor de ficção científica Arthur Clarke escreveu algo assustador, muitos anos atrás, não me lembro mais em que livro, de um momento em que os computadores do mundo, conectados em rede, atingiam uma massa crítica e adquiriam consciência. Na história não é citado explicitamente, mas fica no ar a idéia de que eles vão assumir o controle e fazer sabe-se lá o que com a raça humana. O Arthur Clarke, além de ser um excelente escritor de ficção científica, tem uma grande reputação de acertar em muitas de suas previsões. Em tempo, estas mensagens foram baseadas em artigo publicado na edição de agosto de 2000 da revista Wired (ou Tired, como alguns preferem). O título do artigo é "You Got The Power". A parte do Arthur Clarke é minha mesmo :-) livrar --------------------------------------------------------------- As mensagens da lista Dicas-L são veiculadas diariamente para 11617 assinantes. Para sair ou assinar a lista Dicas-L, consulte o documento que se encontra em http://www.Dicas-l.com.br/FAQ.html. A redistribuição desta e outras mensagens da lista Dicas-L pode ser feita livremente, deste que o conteúdo, inclusive esta nota, não sejam modificados. --------------------------------------------------------------- ********************************************************** > o que exatamente posso fazer com um Cluster ?? Nao vou tirar nenhuma duvida sua, mas queria apenas passar uma informacao: "Cluster" e' usado pelas pessoas querendo dizer coisas diferentes as vezes. 1) Cluster pode ser um conjunto de servidores, por exemplo WEB, onde cada um atende a um sub-conjunto do total de requisicoes de paginas. Por exemplo, o www.yahoo.com na verdade sao varios servidores: (pessoal de e-commerce "pensa" assim) $ nslookup www.yahoo.com Server: picard.sis.dcc.ufmg.br Address: 150.164.7.30 Non-authoritative answer: Name: www.yahoo.akadns.net Addresses: 216.32.74.55, 216.32.74.52, 216.32.74.50, 216.32.74.51 216.32.74.53 Aliases: www.yahoo.com As requisicoes entre os servidores podem ser escalonadas de varias formas, como DNS Round-Robin, TCP's Routers, Distribuicao de pacotes, etc. 2) Cluster pode ser um conjunto de computadores ligados por uma rede bastante rapida, trabalhando como se fosse um unico computador. Na maioria das vezes dedicados a um unico programa, ou poucos, resolvendo um problema (ou alguns). Por exemplo, temos o CENEPAD (Centro Nacional de Processamento de Alto Desempenho), que tem "super-computadores", ou clusters destes para aluguel de "processamento": http://www.cenapad.ufmg.br ( o da UFMG - MG e Centro Oeste) Alguns fabricantes vendem suas solucoes de "super-computador" como se fosse um unico computador, pois ele em geral vem montado num gabinete. Por exemplo: http://www.sun.com/servers/highend/10000 http://www.ibm.com/servers/eserver/pseries Uma solucao do mundo Open-Source e' o Bewoulf: http://www.beowulf.org/ (com linux, claro :) -- -- Joao Carlos --[ joca@dcc.ufmg.br ********************************************************** http://linuxtoday.com/news_story.php3?ltsn=2001-07-24-008-20-NW-KN Mais um cluster Linux para a galera que quer pegar um monte de PCs velhos e fazer um supercomputador. "MOSIX is a software package that enhance the Linux kernel with cluster computing capabilities. The enhanced kernel allows any size cluster of X86/Pentium/AMD based workstations and servers to work cooperatively as if part of a single system. " ********************************************************** O Beowulf também é reconhecido e muito usado. Uma empresa que vende em CD´s a aplicação é a www.scyld.com ********************************************************** Entao, leia sobre clusters, aprenda para que serve e como fazer, existem N tipos de cluster, eu fiz uma monografia sobre cluster de Alta Disponibilidade, mas se voce entrar em http://www.linuxvirtualserver.org/ Nesta pagina tem como voce fazer um conjunto de servidores responderem todos por um ip real. ********************************************************** a quem se interessar tá ai meu artigo publicado http://www.clubedohardware.com.br/super.html tb esta na revista do linux, seção artigos / hardware tb no www.underlinux.com.br seção redes/protocolos qualquer ajuda estou ai ... Marcos Pitanga Beowulf Cluster Specialist Linux LPI Certified / CCNA - CCAI CISCO ********************************************************** De: dicas-l-owner@unicamp.br Assunto: [Dicas-L] Alta Disponibilidade em Linux Data: 05 Jun 2002 11:25:44 -0300 Quer ter seu próprio endereço na Internet? Garanta já o seu e ainda ganhe cinco e-mails personalizados. DomíniosBOL - http://dominios.bol.com.br -------------------------------------------------------------------- Endereço: http://www.Dicas-l.com.br/dicas-l/20020605.shtml -------------------------------------------------------------------- Software Livre na Unicamp http://www.softwarelivre.unicamp.br -------------------------------------------------------------------- Alta Disponibilidade em Linux Os links que se seguem foram citados na palestra "Clusters Linux", ministrada por Antonio Forster. O arquivo da apresentação encontra-se disponível na biblioteca digital do projeto software livre da Unicamp, no endereço http://www.rau-tu.unicamp.br/nou-rau/softwarelivre, item "Palestras e Apresentações". O vídeo da palestra também estará disponível em breve e será comunicado na Dicas-L. A seguir, os links: 1. Linux Clustering with CSM & GPFS Redbook - http://www.ibm.com/redbooks 2. IBM General Parallel File System (GPFS) for Linux - http://www-1.ibm.com/servers/eserver/clusters/software/gpfs.html 3. IBM Cluster System Management (CSM) for Linux - http://www-1.ibm.com/servers/eserver/clusters/software/ 4. IBM eServer Cluster 1300 - http://www-1.ibm.com/servers/eserver/clusters/hardware/1300.html 5. IBM Storage Center - http://www.storage.ibm.com/ 6. Heartbeat - http://www.linux-ha.org 7. Keepalived - http://www.keepalived.org 8. DRBD - http://www.complang.tuwien.ac.at/reisner/drbd/ 9. Linux Virtual Server - http://www.linuxvirtualserver.org/ 10. Kimberlite - http://oss.missioncriticallinux.com/projects/kimberlite/ --------------------------------------------------------------- LIVRO:As Palavras Mais Comuns da Língua Inglesa Rubens Queiroz de Almeida http://www.Dicas-l.com.br/palavrasmaiscomuns.html --------------------------------------------------------------- As mensagens da lista Dicas-L são veiculadas diariamente para 19251 assinantes. Todas as mensagens da Dicas-L ficam armazenadas em http://www.Dicas-l.com.br. A redistribuição desta e outras mensagens da lista Dicas-L pode ser feita livremente, deste que o conteúdo, inclusive esta nota, não sejam modificados. --------------------------------------------------------------- ********************************************************** De: pitanga Para: PunkSC , linux-br@bazar.conectiva.com.br Assunto: Re: (linux-br) Processamento Paralelo Data: 12 Dec 2002 08:08:57 -0200 ----- Original Message ----- From: "PunkSC" To: Sent: Wednesday, December 11, 2002 4:32 PM Subject: (linux-br) Processamento Paralelo > Eu tenho um P166 rodando linux e gostaria que ele usasse outros 2 > computadores da rede rodando Ruindows XP para processamento paralelo. Alguem > saberia me indiciar algum programa/tutorial/man/faq/etc? Construindo Supercomputadores com Linux www.submarino.com.br www.linuxmall.com.br autor: Marcos Pitanga abs Marcos Pitanga M.Sc Network Computers CCNA / CCNP CISCO Linux Clusters Specialist ********************************************************** De: Marcos Pitanga Para: Mauricio Graciano , linux-br Assunto: Re: (linux-br) Cluster Data: 29 May 2003 07:24:09 -0300 ----- Original Message ----- From: "Mauricio Graciano" To: "linux-br" Sent: Wednesday, May 28, 2003 11:47 PM Subject: (linux-br) Cluster > Olá, Pessoal. Boa noite. > > Disponho de 3 máquinas com CL9. Gostaria de montar um cluster com as mesmas. > O propósito do mesmo seria mais experimental, de adição de conhecimento > sobre mais possibilidades com o Linux. A princípio estaria rodando algum > software como o Seti@Home. Alguem tem alguma experiência no assunto que > poderia compartilhar comigo? Qual tipo de cluster utilizar, como proceder, > etc... eu tenho, é a minha praia.... vc pode usar cluster de load balancing ---> linuxvistualserver vc pode usar cluster de alta disponibilidade --> heartbeat + drbd + mon vc pode usar meu livro e construir um cluster de processamento paralelo --> Beowulf "Construindo Supercomputadores com Linux" abs Marcos Pitanga Linux Clusters Specialist Linux User 200303 ********************************************************** De: Marcos Pitanga Para: Emanuel dos Reis Rodrigues Cc: linux-br@bazar.conectiva.com.br Assunto: Re: (linux-br) cluster Data: 26 May 2003 10:23:41 -0300 ----- Original Message ----- From: "Emanuel dos Reis Rodrigues" To: "Marcos Pitanga" Cc: Sent: Monday, May 26, 2003 10:19 AM Subject: Re: (linux-br) cluster > Marcos Pitanga, > > Sobre o proprio Beowulf , > se puder me ajudar ,, pois a documentação que encontrei e muito > superficial,, prescisava de informações um pouco mias detalhadas, e uma > pergunta ,, o Red Hat 8 e 9 vem com alguma ferramenta para cluster ? LAM (MPI) e PVM, além do LAPACK eu sei que o Red Hat 9 Advanced Server tem ferramentas específicas, mais antes de comprar o RH9AS quero fazer alguns testes e adquirir conhecimentos sobre o cluster. o Advanced Server vem com material para Alta Disponibilidade o SuSe 8.1 vem com ferramentas para Clusters classe Beowulf.. abs Marcos Pitanga ********************************************************** De: Marcos Pitanga Para: Milhomem, Marcus , linux-br Assunto: Re: (linux-br) Cluster... Data: 24 May 2003 17:41:11 -0300 ----- Original Message ----- From: "Milhomem, Marcus" To: "linux-br" Sent: Thursday, May 22, 2003 2:13 PM Subject: (linux-br) Cluster... Pessoal, Sou administrador de servidores Linux ja a um bom tempo, porém nunca mexi com clusters, e agora estou querendo aprender mais sobre o mesmo. Separei 2 maquininhas aqui no meu serviço para fazer um laboratório, gostaria de montar um cluster de 2 máquinas com a finalidade de alta disponibilidade, nele gostariad de rodar samba, wu-ftp, e postgreSQL. Será que alguem de vocês poderiam me dar o caminho inicial das pedras? pois nem sei por onde começar..... tenhho dúvidas básicas como por exemplo? 1-) O cluster fica abaixo da camada de aplicação? sendo assim transparente pras mesmas? precisa de uma camada chamada Single System Image no caso para alta disponibilidade para serviços como FTP e SAMBA vc pode usar o DRBD e Heartbeat para Banco de dados pesquise sobre sistemas de arquivos distribuidos e Distributed Lock Manager 2-) Para fazer um cluster, o Hardware precisa ser exatamente o mesmo em todas as máquinas? não, necessariamente 3-) Para as outras máquinas da rede o cluster permanece como apenas uma máquina? sim, esta é a função conceitual do cluster, criar a ilusão de um único sistema estar respondendo para você 4-) existem tipos cluster difrenetes para fins diferentes, por exemplo: alta disponibilidade cluster abc, processamento paralelo cluster xyz, etc...? Sim, Alta Disponibilidade, Balanceamento de Carga, Banco de Dados, Storage, Processamento Paralelo e Distibuído... 5-) Existe algum bom livro a esse respeito, de preferência em português? o meu trata do Cluster de processamento paralelo, o Beowulf... Construindo Supercomputadores com Linux, editora Brasport 6-) Posso rodar qualquer aplicativo no meu cluster? depende do tipo de cluster... 7-) as máquinas do cluster precisam ter o mesmo sistema operacional? Posso ter um Conectiva com um RedHat, com um FreeBSD por exemplo como um cluster de 3 máquinas? depende da funcionalidade e das aplicações abs Marcos Pitanga Linux Clusters Specialist Linux User 200303 ********************************************************** De: Marcos Pitanga Para: Adilson J Casas , linux-br@bazar.conectiva.com.br Assunto: Re: (Marcos Pitanga)(linux-br) cluster Data: 27 May 2003 06:53:43 -0300 ----- Original Message ----- From: "Adilson J Casas" To: Sent: Monday, May 26, 2003 10:25 AM Subject: RES: (Marcos Pitanga)(linux-br) cluster Marcos, Não li o que saiu na RDL, mas li outro artigo que saiu na Geek, também menciona teu nome (não sei se foi você quem escreveu...). tb foi... Me interesso pelo assunto mas tenho uma perguntinha básica : "clusterização" já chegou no mundo das empresas, ou ainda está muito voltado para o mundo acadêmico ??? nas empresas, como Boing, Embraer, Petrobras, dentre outras já usam a plataforma... Sei que você escreveu um livro sobre o assunto, neste livro você ensina como fazer um cluster ou é um livro técnico/teórico ?? teórico/prático ......ensino passo-a-passo desde a instalação do GNU/Linux até rodar um sistema de renderização de imagens abs Marcos Pitanga Linux Clusters Specialist Linux User 200303 ********************************************************** De:  Marcos Pitanga Para:  vitor@jamyrvasconcellos.com.br, Lista Linux Br Assunto:  Re: (linux-br)Cluster com Linux Data:  Fri, 25 Jul 2003 13:50:11 -0300 depende do tipo de cluster que vc quer... tem Alta disponibilidade Alta Performance de Computação Balanceamento de carga Banco de Dados Computação Distribuída []´s Marcos Pitanga Linux Clusters Specialist ----- Original Message ----- From: "Vitor Alexandre S. Marinho" To: "Lista Linux Br" Sent: Friday, July 25, 2003 10:50 AM Subject: (linux-br)Cluster com Linux > Caros amigos, alguem sabe onde posso conseguir informações para implementar > Cluster com Linux? > > Valeu a todos ********************************************************** De:  Piter Punk Para:  vitor@jamyrvasconcellos.com.br Cc:  Lista Linux Br Assunto:  Re: (linux-br)Cluster com Linux Data:  Fri, 25 Jul 2003 15:12:37 -0300 Vitor Alexandre S. Marinho wrote: Caros amigos, alguem sabe onde posso conseguir informações para implementar > Cluster com Linux? > Cluster-HOWTO Beowulf-HOWTO Parallel-Processing-HOWTO Acho que isso é suficente. Normalmente esses documentos ficam sob o /usr/doc ou /usr/share/doc (deve ter um diretório howto, Linux-HOWTOs ou algo do tipo)                                         Falous,                                                         Piter PUNK --   ____________  / Piter PUNK \_____________________________________________________ |                                                                   | |      |        E-Mail: piterpk@terra.com.br         (personal)     | |     .|.               roberto.freires@gds-corp.com (professional) | |     /V\                                                           | |    // \\      UIN: 116043354  Homepage: www.piterpunk.hpg.com.br  | |   /(   )\                                                         | |    ^`~'^         ----> Slackware Linux - The Best One! <----      | |   #105432                                                         | `-------------------------------------------------------------------' ********************************************************** De:  Marcos Pitanga Para:  Jefferson B. Limeira , linux-br@bazar.conectiva.com.br Assunto:  Re: (linux-br)Cluster of Workstations Data:  Mon, 15 Sep 2003 23:45:59 -0300 >     Estou querendo montar um cluster usando workstations. > Tenho várias máquinas, de diferentes configurações rodando Linux numa rede > 100Mb. Gostaria de 'compartilhar' o processamento entre essas máquinas, de > forma que as mais fracas possam 'processar' paralalemente nas mais fortes, > isso é possível? > Uso RH9 e ambiente X em todas. Use o projeto openMosix www.openmosix.org ou use a solução CONDOR []´s Marcos Pitanga Linux Clusters Specialist ********************************************************** De:  Antonio S. Martins Jr. Para:  Jefferson B. Limeira Cc:  linux-br@bazar.conectiva.com.br Assunto:  Re: (linux-br)Cluster of Workstations Data:  Tue, 16 Sep 2003 20:04:27 -0300 (EST) On Mon, 15 Sep 2003, Jefferson B. Limeira wrote: >     Estou querendo montar um cluster usando workstations. > Tenho várias máquinas, de diferentes configurações rodando Linux numa rede > 100Mb. Gostaria de 'compartilhar' o processamento entre essas máquinas, de > forma que as mais fracas possam 'processar' paralalemente nas mais fortes, > isso é possível? > Uso RH9 e ambiente X em todas. Sim, isso eh possivel! Mas, o que voce pretende fazer? Voce vai programar algo que precisa de processamento intensivo, ou jah tem algo pronto que usa PVM ou MPI? entao de uma olhada em www.linuxhpc.org, www.beowulf-underground.org e www.beowulf.org Nao, voce soh quer compartilhar CPUs entre suas maquinas usando os aplicativos que estao prontos e nao usam processamento paralelo? Entao de uma olhada em www.openmosix.org e em www.ltsp.org (olhe o ltsp-mosix).  Espero ter ajudado,   Antonio. ********************************************************** De:  Marcos Pitanga Para:  Demétrius Mendes , linux-br@bazar2.conectiva.com.br Assunto:  Re: (linux-br)BeoWulf+Channel Data:  Sat, 25 Oct 2003 00:17:28 -0200 Sei que > esse post é meio estranho, mas só falata isso pro meu BeoWulf ficar > redondo... Veja Em termos bem simples, a técnica de channel bonding (união de canais) consiste em se agregar múltiplas redes e transformá-las em uma única rede com mais largura de banda. O uso da banda resultante é totalmente transparente para o cluster, exceto pelo ganho de velocidade como resultado positivo. A implementação física é bem simples: consiste em unir os canais através de caminhos alternativos para cada placa de rede. Significa que cada máquina no cluster deverá possuir duas placas de rede e também de duas redes diferentes, criadas através dois switches, ou um único switch que possua recursos de VLANs. O uso do channel bonding aumenta a performance da rede em 75% quando duas redes são utilizadas. Três redes não provêem uma melhoria de desempenho e acabam sendo saturadas por aplicações de comunicação intensiva. Neste caso, uma rede de alto desempenho deverá ser utilizada. o desenho da arquitetura esta no news da abusar -- []´s Marcos Pitanga Linux Clusters Specialist ********************************************************** De:  Marcos Pitanga Para:  linux Assunto:  (linux-br)novo trabalho Data:  Tue, 16 Dec 2003 13:57:46 -0200 Caros senhores, venho expor para vocês o meu novo livro sobre clusters Linux Bem diferente do primeiro, na qual tive mais tempo para trabalhar com calma (2 anos)... e escreve-lo de uma maneira mais cientifica,.. Mas não esqueci das implementações práticas focadas no openMosix e Grids Abordo conceitos profundos relacionados a clusters de alta performance... Temos participações do Ph.D Mário Dantas com capí tulos sobre Grids Computacionais e do Dr. Moshe Bar do projeto openMosix... Computação em Cluster O Estado da Arte www.brasport.com.br []´s Marcos Pitanga Linux Clusters Specialist ********************************************************** De:  Marcos pitanga Para:  Rodrigo Klein Santos , linux-br@bazar2.conectiva.com.br Assunto:  Re: (linux-br)Cluster - Literatura. Data:  Sun, 8 Feb 2004 09:41:35 -0200 Em Sábado 07 Fevereiro 2004 14:03, Rodrigo Klein Santos escreveu: > Pessoal, > > Estou procurando informações sobre Cluster, alguém poderia me indicar > alguma literatura e alguns links pra eu aprender mais sobre o assunto ? Tem esses meus dois livros, Pitanga, Marcos - Computação em Cluster, Brasport, 2003 Pitanga, Marcos - Construindo Supercomputadores com Linux, Brasport, 2002 []'s Marcos Pitanga Linux Clusters Specialist ********************************************************** De:  Luciano França Rocha Para:  linux-br@bazar2.conectiva.com.br Assunto:  Re: (linux-br)Cluster - Literatura. Data:  Sun, 8 Feb 2004 09:53:16 -0200 Procure na net sobre clusters Bewolf... está sendo o tipo de cluster mais usado atualmente, mas os programas tem que ser escritos para rodar com processamento paralelo... Procure tambem por openmosix, esse tipo de cluster é interessante... ele se integra ao kernel do linux e com varias maquinas em rede uma fica analisando a outra, e se o cluster entender que vale a pena um processo migrar de uma maquina mais lenta para uma maquina mais rapida ele repassa o processo para a maquina rapida ela processa e devolve :) muito legal... porem quando eu testei isso em um laboratorio as maquinas ficaram super-instaveis pode ser q versao do kernel q eles distribuem q estava ruim, ja deve ter tido algumas atualizaçoes desde q eu testei... de uma conferida... > Pessoal, > > Estou procurando informações sobre Cluster, alguém poderia me indicar > alguma literatura e alguns links pra eu aprender mais sobre o assunto ? ********************************************************** De:  Marcos Pitanga Para:  Marcos Everaldo Lenharo , linux-br@bazar.conectiva.com.br Assunto:  Re: (linux-br)cluster linux Data:  Mon, 19 Apr 2004 15:23:56 -0300 ----- Original Message ----- From: "Marcos Everaldo Lenharo" To: Sent: Monday, April 19, 2004 2:08 PM Subject: (linux-br)cluster linux > Pessoal > > alguem conhece algum tutorial para montar clusters com linux? Pitanga, Marcos - Construindo Supercomputadores com Linux, 2a Edição, 2004, Brasport (Beowulf) Pitanga, Marcos - Computação em Cluster, 2003, Brasport, (openMosix) Alta Disponibilidade - http://www.linux-ha.org Balanceamento de Carga - www.linuxvirtualserver.org []´s Marcos Pitanga ********************************************************** De:  Marcos Pitanga Para:  Demétrius Mendes , linux-br Assunto:  Re: (linux-br)TO Pitanga e quem mais se interessar - GRIDs Data:  Fri, 30 Apr 2004 17:15:35 -0300 ----- Original Message ----- From: "Demétrius Mendes" To: "linux-br" Subject: (linux-br)TO Pitanga e quem mais se interessar - GRIDs Oi Pitanga, R: Olá Demetrius,e a todos da Lista Recentemente terminei com sucesso um cluster Beowulf (chamado Cluster Calango) graças as suas dicas e ao seu livro "Construindo Supercomputadores com Linux" e ficou tudo uma maravilha, como sou um duro nessa vida, naum tive dinheiro pra comprar seu novo livro, e quero começar a trabalhar com computação distribuída, lá vc fala disso? R: Em que sentido você quer saber sobre computação distribuída? R: CORBA, RMI, Sockets, MPI, PVM? R: No meu livro Computação em Cluster, a teoria sobre clusters de alta performance são bem mais avançadas, além de que toda a teoria sobre Grids Computacionais e uma implementação prática do Globus Toolkit. E, não daria para abordar sobre desenvolvimento pesado sobre a plataforma... Quem sabe um livro para isso ;-) R: Mas a dica é JAVA, XML e afins... Como estou entrando a fundo em pesquisas nesta área, e tenho ido a alguns workshops e conferências, o caminho é por aí. No que diz respeito a desenvolvimento de alto nível para Computação em Grade. R: Dá um pulinho aqui... www.gabrieltorres.com.br/grid.html R: Estou escrevendo um livro sobre Alta Disponibilidade e Balanceamento de Carga em Servidores... Na qual usarei muita teoria e é claro as implementações práticas em software livre....Mas deve demorar 1 ano de 6 meses no mínimo. R: Não sou autor de ficar escrevendo receitas de bolo... Tenho a visão de que 80% é teoria e 20% é a prática de implementação. Porque observo, por exemplo, que a maioria das dúvidas que circundam as listas de discussões são total desconhecimento de como as coisas realmente funcionam... R: Um abraço a todos da lista. Marcos Pitanga Linux Clusters Specialist ********************************************************** De:  Clovis Sena Para:  Windberg Djoni Cc:  linux-br Assunto:  Re: (linux-br)Compartilhar processamento Data:  Thu, 27 May 2004 10:44:04 -0300 bom dia, qual a capacidade da maquina em questao??  Antes de pensar em montar um cluster, que nem sei se serviria para este caso, depende do tipo de solucao de boot remoto que voce ta usando...por exemplo, poderia pesquisar sobre isto junto ao pessoal do lstp... como ia dizendo, antes de pensar num cluster, por que nao incrementa a maquina que ja tem??? descobrir onde ta fazendo gargalos: quanto usuarios tem pendurados nela? quanto tem de memoria? qual a velocidade e quantos processadores?? quanto de hd e qual tipo? qual a estrutura da rede: 10Mhz ou 100MHz??? t+ Clovis Windberg Djoni wrote: Tenho um Conectiva 9 servindo como Servidor de Boot Remoto. > Gostaria de saber se existe maneira de colocar mais uma ou duas máquinas para ajudar no processamento ? >   > ********************************************************** De:  Marcos Pitanga Para:  Demétrius Mendes , Marcelo Molina Mari , Linux-br Assunto:  Re: (linux-br) Computação deAlto Desempenho Data:  Wed, 30 Jun 2004 18:39:25 -0300 Subject: Re: (linux-br) Computação deAlto Desempenho > news.unipar.br lista clusters... comp.parallel.mpi comp.parallel.pvm []´s Marcos Pitanga Linux Clusters Specialist HPC - HA - SLB ********************************************************** De: Anderson Silva Para: linux-br@bazar2.conectiva.com.br Assunto: RES: (linux-br)Teste de desempenho em Beowulf Data: Fri, 4 Feb 2005 14:25:22 -0300 No top500 eles usam o linpack http://www.top500.org/lists/linpack.php -----Mensagem original----- Assunto: (linux-br)Teste de desempenho em Beowulf Olá.. Estou precisando fazer uns testes de desempenho para um Cluster Beowulf de 9 nós e 1 front-end, (AthlonXP 3000+), e se alguem pudesse me indicar alguns softwares ou procedimentos para fazer o benchmark e saber o número de operações por segundo - qtos Gigaflops.. Me parece q devo usar algumas bibliotecas matemáticas, Lapack e Blas.. ********************************************************** De: Antonio da Silva Martins Junior Para: Linux-BR Assunto: Re: (linux-br)Clones do Red Hat Enterprise Data: Wed, 16 Mar 2005 16:53:08 -0300 (BRST) On Wed, 16 Mar 2005, Liberie Cunha-Neto wrote: > Voce pode testar a CentOS , e muito boa > e o yum atualiza do repositorio do CentOS O CentOS é muito bom, mas para cluster acho que seria bom dar uma olhada no Scientific Linux: "https://www.scientificlinux.org". Se não me engano é usado nos clusters do CERN e do FermiLab. Sem contar é claro que pode-se usar o Scyld, dos desenvolvedores do projeto Beowulf. Antonio. ********************************************************** De: Antonio da Silva Martins Junior Para: Fabio Guerrazzi Cc: linux-br@bazar2.conectiva.com.br Assunto: Re: (linux-br)cluster parallel knoppix - onde eu errei?? Data: Mon, 4 Apr 2005 08:38:48 -0300 (BRST) On Sun, 3 Apr 2005, Fabio Guerrazzi wrote: > Montei um cluster para teste com o parallel knoppix. Usei duas máquinas > ligadas com cabo cross, sendo a master um P3 600MHz com 386MB de RAM e a > slave um P4 2GHz com 512 de RAM. < ... cortado ... > > A conversão para wav levou 10:52 minutos com o cluster e somente 4:45 > minutos usando só a máquina P3 600MHz. > Onde foi que eu errei?? Qual a velocidade de sua conexão de rede? Lembre-se que o processamento que você está fazendo além de usar muita CPU depende de muito I/O, como a velocidade de acesso ao disco é maior que a velocidade da rede (principalmente se você usou uma rede de 10Mbps), é mais lento enviar os arquivos e receber o resultado do que o processamento local! Tente executar algo realmente paralelo... não sei se o Knoppix vem com MPI, mas se vier execute algum dos programas de teste! Antonio. +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | Antonio S. Martins Jr. - Support Analist | "Only The Shadow Knows | | Universidade Estadual de Maringa - Brasil| what evil lurks in the | | NPD - Núcleo de Processamento de Dados | Heart of Men!" | | E-Mail: asmartins@uem.br / shadow@uem.br | !!! Linux User: 52392 !!! | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ ********************************************************** De: Joaquim Para: linux-br@bazar2.conectiva.com.br Assunto: Re: (linux-br)cluster parallel knoppix - onde eu errei?? Data: Mon, 4 Apr 2005 07:27:08 -0300 Em Dom 03 Abr 2005 01:12, Fabio Guerrazzi escreveu: > Fala pessoal! > Montei um cluster para teste com o parallel knoppix. Usei duas máquinas > ligadas com cabo cross, sendo a master um P3 600MHz com 386MB de RAM e a > slave um P4 2GHz com 512 de RAM. Tudo funcionou bem, conforme descrito no > tutorial disponível no site > (http://pareto.uab.es/mcreel/ParallelKnoppix/). Consegui fazer ssh de uma > para a outra sem problemas. > Acontece que o teste que eu fiz teve resultado catastrófico :) > Movi 30 arquivos mp3 para o diretório exportado (parallel_knoppix_working) > e rodei um script que costuma usar 99% da CPU: > > for i in *.mp3 > do > mpg123 -w `basename $i .mp3`.wav $i > done > > A conversão para wav levou 10:52 minutos com o cluster e somente 4:45 > minutos usando só a máquina P3 600MHz. > Onde foi que eu errei? Meu amigo, Só faltou um <&> e comercial no filan da linha mpg123 -w `basename $i .mp3`.wav $i Isto faz com que os programas sejam executados em paralelo e distribuidos entres os varios nodes do seu cluster ... O OpenMosix é feito pra distribuir a carga de execuçao entre os vários nodes e faz isto migrando os "PROGRAMAS" de uma CPU carregada para outra mais livre... a sua aplicação usa CPU de forma intensa e voce pode executar vários programas em paralelo (um nao depende do outro) então basta colocar o & que vai ficar bem mais rápido ... joaquim abc ********************************************************** De: Fabio Guerrazzi Para: Miguel Da Silva Cc: linux-br@bazar2.conectiva.com.br Assunto: Re: (linux-br)cluster parallel knoppix - onde eu errei?? Data: Tue, 5 Apr 2005 22:30:34 -0300 (BRT) Agradeço a todos pela ajuda. Vou fazer testes com o ClusterKnoppix. Agora mesmo estou tentando remasterizar o CD para colocar os pacotes que eu quero nele. Acontece que a coisa não está fácil... Estou seguindo o tutorial http://www.knoppix.net/wiki/Knoppix_Remastering_Howto e os problemas até agora insolúveis são: 1. Ao gerar a ISO comprimida com o comando: # mkisofs -R -U -V "KNOPPIX.net filesystem" -publisher "KNOPPIX www.knoppix.net" -hide-rr-moved -cache-inodes -no-bak -pad /mnt/hda1/knx/source/KNOPPIX | nice -5 /usr/bin/create_compressed_fs - 65536 > /mnt/hda1/knx/master/KNOPPIX/KNOPPIX recebo várias mensagens dizendo que o nome de arquivo é muito longo e o mkisofs vai renomear arquivos para algo como bla0000... Acredito que ao bootar a ISO vou ter problemas. Tentei colocar o parâmetro -max-iso9660-filenames porém parece que nada mudou. Há algo a fazer em relação a isto? 2. Já gerei 3 ISOs após remover vários pacotes como indicado no tutorial mas a ISO menor que eu consegui até agora tem 800MB. O tutorial diz da opção -b (best) para o create_compressed_fs para tornar a ISO menor porém aqui a estimativa são 15 horas de trabalho. É isto mesmo? []s Fábio. > O openMOSIX (ou o MOSIX) vai permitir que os processos que estejam sendo > executados em algum nó do seu cluster possam ser migrados para um nó que > tenha menor carga. Agora, se você quer ter os seus processos sendo executados por pedaços nas > máquinas do seu cluster, entao você precisar reescrever os programas que > você usa para que eles sejam executados em paralelo. >> "Fabio Guerrazzi" wrote: >> Thiago obrigado pela resposta. Depois que eu mandei a mensagem para a >> lista continuei lendo sobre o assunto e descobri a besteira que eu tinha >> feito. >> "PVM and MPI are not for everyone..." >> Mais uma pergunta. Se eu usar uma distro baseada no openMosix (como a >> ClusterKnoppix) a coisa será diferente? ********************************************************** De: Miguel Da Silva Para: linux-br@bazar2.conectiva.com.br Assunto: Re: (linux-br)cluster parallel knoppix - onde eu errei?? Data: Tue, 5 Apr 2005 13:21:28 -0300 O openMOSIX (ou o MOSIX) vai permitir que os processos que estejam sendo executados em algum nó do seu cluster possam ser migrados para um nó que tenha menor carga. Agora, se você quer ter os seus processos sendo executados por pedaços nas máquinas do seu cluster, entao você precisar reescrever os programas que você usa para que eles sejam executados em paralelo. Até mais, Miguel D. On Sun, 3 Apr 2005 11:31:07 -0300 (BRT) "Fabio Guerrazzi" wrote: > Thiago obrigado pela resposta. Depois que eu mandei a mensagem para a > lista continuei lendo sobre o assunto e descobri a besteira que eu tinha > feito. > "PVM and MPI are not for everyone..." > Mais uma pergunta. Se eu usar uma distro baseada no openMosix (como a > ClusterKnoppix) a coisa será diferente? > > []s > Fabio. > > > > > Foi em acreditar que um cluster é sempre mais rápido que uma máquina > > sozinha em qualquer circunstância. Não é. > > O cluster é só tão inteligente quanto a programação dele. Colocar tarefas > > comuns, não paralelizadas, para rodar num cluster, é pedir para ter > > problemas. > > >>A conversão para wav levou 10:52 minutos com o cluster e somente 4:45 > >>minutos usando só a máquina P3 600MHz. > >>Onde foi que eu errei?? ********************************************************** De: Thiago Macieira Para: linux-br@bazar2.conectiva.com.br Assunto: Re: (linux-br)cluster parallel knoppix - onde eu errei?? Data: Sun, 3 Apr 2005 01:34:24 -0300 Fabio Guerrazzi wrote: >A conversão para wav levou 10:52 minutos com o cluster e somente 4:45 >minutos usando só a máquina P3 600MHz. >Onde foi que eu errei?? Foi em acreditar que um cluster é sempre mais rápido que uma máquina sozinha em qualquer circunstância. Não é. O cluster é só tão inteligente quanto a programação dele. Colocar tarefas comuns, não paralelizadas, para rodar num cluster, é pedir para ter problemas. -- Thiago Macieira - thiago (AT) macieira (DOT) info De: Thiago Macieira Para: Fabio Guerrazzi Cc: linux-br@bazar2.conectiva.com.br Assunto: Re: (linux-br)cluster parallel knoppix - onde eu errei?? Data: Sun, 3 Apr 2005 11:36:51 -0300 Fabio Guerrazzi wrote: >Thiago obrigado pela resposta. Depois que eu mandei a mensagem para a >lista continuei lendo sobre o assunto e descobri a besteira que eu tinha >feito. >"PVM and MPI are not for everyone..." >Mais uma pergunta. Se eu usar uma distro baseada no openMosix (como a >ClusterKnoppix) a coisa será diferente? Não. Continuará na mesma: cluster é para aplicações específicas, feitas para cluster. -- Thiago Macieira - thiago (AT) macieira (DOT) info De: Antonio da Silva Martins Junior Para: Thiago Macieira Cc: linux-br@bazar2.conectiva.com.br Assunto: Re: (linux-br)cluster parallel knoppix - onde eu errei?? Data: Mon, 4 Apr 2005 14:26:41 -0300 (BRST) On Sun, 3 Apr 2005, Thiago Macieira wrote: >Fabio Guerrazzi wrote: >>Thiago obrigado pela resposta. Depois que eu mandei a mensagem para a >>lista continuei lendo sobre o assunto e descobri a besteira que eu tinha >>feito. >>"PVM and MPI are not for everyone..." >>Mais uma pergunta. Se eu usar uma distro baseada no openMosix (como a >>ClusterKnoppix) a coisa será diferente? > >Não. Continuará na mesma: cluster é para aplicações específicas, feitas >para cluster. Olá, Não é bem assim... um cluster (Beowulf) baseado em programação paralela (MPI e/ou PVM) depende de programação especifica. Mas usando-se um cluster baseado no OpenMosix, com balanceamento de carga, aplicações genéricas podem ser beneficiadas pelo cluster. Isto não quer dizer que converter uma musica de MP3 para WAV, usando um programa comum, irá executar mais rápido em um cluster. Mas, usando o mesmo programa a conversão de vários arquivos em paralelo (executando o mesmo programa várias vezes em segundo plano "&") será sensivelmente mais rápida, pois o cluster (OpenMosix) irá balancear a carga entre os vários computadores, de forma similar a uma máquina SMP (multiprocessada). Fábio, repita o teste usando o OpenMosix e lançando _todas_ as conversões simultaneamente! Antonio. +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ | Antonio S. Martins Jr. - Support Analist | "Only The Shadow Knows | | Universidade Estadual de Maringa - Brasil| what evil lurks in the | | NPD - Núcleo de Processamento de Dados | Heart of Men!" | | E-Mail: asmartins@uem.br / shadow@uem.br | !!! Linux User: 52392 !!! | +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ De: Miguel Da Silva Para: linux-br@bazar2.conectiva.com.br Assunto: Re: (linux-br)cluster parallel knoppix - onde eu errei?? Data: Wed, 6 Apr 2005 13:29:49 -0300 On Mon, 4 Apr 2005 14:26:41 -0300 (BRST) Antonio da Silva Martins Junior wrote: > On Sun, 3 Apr 2005, Thiago Macieira wrote: > > >Fabio Guerrazzi wrote: > >>Thiago obrigado pela resposta. Depois que eu mandei a mensagem para a > >>lista continuei lendo sobre o assunto e descobri a besteira que eu tinha > >>feito. > >>"PVM and MPI are not for everyone..." > >>Mais uma pergunta. Se eu usar uma distro baseada no openMosix (como a > >>ClusterKnoppix) a coisa será diferente? > > > >Não. Continuará na mesma: cluster é para aplicações específicas, feitas > >para cluster. > > Olá, Não é bem assim... um cluster (Beowulf) baseado em programação > paralela (MPI e/ou PVM) depende de programação especifica. > > Mas usando-se um cluster baseado no OpenMosix, com balanceamento de carga, > aplicações genéricas podem ser beneficiadas pelo cluster. Isto não quer > dizer que converter uma musica de MP3 para WAV, usando um programa comum, > irá executar mais rápido em um cluster. Mas, usando o mesmo programa a > conversão de vários arquivos em paralelo (executando o mesmo programa > várias vezes em segundo plano "&") será sensivelmente mais rápida, pois o > cluster (OpenMosix) irá balancear a carga entre os vários computadores, de > forma similar a uma máquina SMP (multiprocessada). > > Fábio, repita o teste usando o OpenMosix e lançando _todas_ as conversões > simultaneamente! > > Antonio. > Olha ... acho que o OpenMOSIX fará possível a migraçao de um processo para um nó que tenha menos carga, porém TODO o processo será transferido para esse nó e no final das contas nao haverá processamento paralelo; o processo será executado em 1 nó apenas (o que for mais "rápido"). Se o programa nao está escrito de maneira a usar processamento paralelo, entao usar um cluster nao será muito vantajoso. Até mais, Miguel D. De: Antonio da Silva Martins Junior Para: Miguel Da Silva Cc: linux-br@bazar2.conectiva.com.br Assunto: Re: (linux-br)cluster parallel knoppix - onde eu errei?? Data: Wed, 6 Apr 2005 14:59:02 -0300 (BRST) On Wed, 6 Apr 2005, Miguel Da Silva wrote: > On Mon, 4 Apr 2005 14:26:41 -0300 (BRST) > Antonio da Silva Martins Junior wrote: > > > Mas usando-se um cluster baseado no OpenMosix, com balanceamento de carga, > > aplicações genéricas podem ser beneficiadas pelo cluster. Isto não quer > > dizer que converter uma musica de MP3 para WAV, usando um programa comum, > > irá executar mais rápido em um cluster. Mas, usando o mesmo programa a > > conversão de vários arquivos em paralelo (executando o mesmo programa > > várias vezes em segundo plano "&") será sensivelmente mais rápida, pois o > > cluster (OpenMosix) irá balancear a carga entre os vários computadores, de > > forma similar a uma máquina SMP (multiprocessada). > > > Olha ... acho que o OpenMOSIX fará possível a migraçao de um processo > para um nó que tenha menos carga, porém TODO o processo será transferido > para esse nó e no final das contas nao haverá processamento paralelo; o > processo será executado em 1 nó apenas (o que for mais "rápido"). > > Se o programa nao está escrito de maneira a usar processamento paralelo, > entao usar um cluster nao será muito vantajoso. Olá, como expliquei acima, o OpenMOSIX fará o _balanceamento de carga_ entre os nós do cluster (pode ser usado com processamento paralelo e MPI também). No caso do teste do Fábio, converter 30 arquivos MP3 para WAV, teriamos então dois casos: com cluster e sem cluster. Sem Cluster: os 30 arquivos são processados um a um, se cada arquivo demora 1 minuto, serão aprox. 30 minutos (estou desconsiderando um monte de coisa para simplificar). Com Cluster: os 30 arquivos são processados um a um, mas o trabalho é dividido entre os nós do cluster, se tivermos 3 nós, cada um processara 10 arquivos (em aprox. 10 minutos), se contarmos os tempos de transferência entre os nós podemos acrescentar uns 10%, no total serão uns 12 minutos. Então, o uso do cluster será ou não vantajoso? Neste caso sim. Agora se for usado _um_ programa não paralelo, não há vantagem. Mas se este programa não paralelo, será usado várias vezes, então em alguns casos pode-se paralelizar o serviço sem paralelizar o programa, e teremos novamente uma vantagem, não em cada processamento mas no total! De uma olhada no LTSP-Mosix (http://www.lpmo.edu/~daniau/ltsp-mosix/) e no Condor (http://www.cs.wisc.edu/condor/) para mais exemplos de como explorar a existência de várias CPUs não utilizadas... Antonio. ********************************************************** De: Fabio Guerrazzi Para: linux-br@bazar2.conectiva.com.br Assunto: Re: (linux-br)cluster parallel knoppix [RELATO] Data: Sat, 9 Apr 2005 14:09:46 -0300 (BRT) Repeti o teste ontem com o clusterKNOPPIX_V3.6-2004-08-16-EN-cl1. Vai aí o relato da experiência: 1. O openMosixTerminalserver está meio bugado, o nó não dá boot pelo disquete com imagem gerada pelo http://rom-o-matic.net/. Ele precisa ter uma placa de rede compatível. Dei boot pelo CD nas duas estações. 2. Dividi 93 arquivos WAV em dois diretório e rodei simultaneamente o script: #!/bin/bash normalize -m *.wav & for i in *.wav do lame -b192 -h $i `echo $i | sed 's/wav/mp3/'` & done 3. Com openMosixview/openMosixmigmon vi que houve balanceamento de carga, porém o lame rodou quase todo no nó, que era a máquina mais rápida (P4 2GHz x P3 600MHz). No meu caso isto não foi um inconveniente: o tempo total da tarefa no cluster foi 50 minutos, versus 2 horas quando feito somente na P3 600MHz. Conforme reportado no site http://howto.ipng.be/openMosixWiki/index.php/work%20smoothly há certos problemas usar o lame no cluster. Talvez seja melhor usar o cdparanoia. Agradeço novamente a todos que me ajudaram! Fabio. > Fábio, repita o teste usando o OpenMosix e lançando _todas_ as conversões > simultaneamente! ********************************************************** De: Fabio Guerrazzi Para: linux-br@bazar2.conectiva.com.br Assunto: (linux-br)clusterKnoppix tutorial Data: Fri, 15 Apr 2005 22:23:36 -0300 (BRT) Fala pessoal! Escrevi um tutorial das minhas aventuras com cluster openMosix, espero que seja útil a alguém. Está em http://www.fg.med.br/linux/cluster1.html Um bom fim de semana a todos, Fábio. ********************************************************** De: Marcos Pitanga Para: Raphael , linux-br@bazar2.conectiva.com.br Assunto: Re: (linux-br) Computação de Alto Desempenho Data: Wed, 08 Jun 2005 08:23:07 +0000 Raphael wrote: > *Existe maneira de eu compartilhar memória RAM entre estações Linux???* > A dúvida surgiu pelo seguinte temos aqui um cluster com umas 5 > máquinas para rodar o FLUENT (software de simulação de fluídos), > mas para rodar ele, antes prescisamos gerar uma malha em outro > software cuja ainda não foi lançada uma versão paralela, que utiliza > uma grande quantidade de > Memória RAM para isso (ordem de gigas). O sistema de DSM (/Distributed Shared Memory/) é considerado um novo paradigma para computação paralela e distribuída. Esta disponibiliza uma total abstração do espaço de endereçamento lógico, ou seja, uma técnica usada para compartilhar dados entre todos os computadores que compõem um /cluster/ e que não dividem a mesma memória física (memória principal), ou seja, é uma abstração que cria uma memória global, acessível por todos os processadores.O objetivo aqui é criar um método que agrupe essas memórias isoladas em uma única entidade lógica, seja feito por /hardware/ ou /software/. Esses sistemas criam uma maneira de portabilidade de aplicações escritas para que arquiteturas de memória compartilhada possam sofrer pequenas modificações de uma maneira bem simples e que permitam serem executadas dentro de um agregado de máquinas, gerando assim uma grande economia em investimentos em /software/. O DSM dá a impressão aos usuários de que todos os processadores estão compartilhando um único pedaço de memória; na realidade cada processador pode acessar somente a memória na qual é proprietário. Então o DSM deve poder trazer os conteúdos da memória de outros processadores quando for exigido. Isto dá origem a cópias múltiplas da mesma memória compartilhada em diferentes memórias físicas. O DSM tem que manter a consistência destas diferentes cópias, de forma que qualquer processador que tem acesso à memória compartilhada deverá devolver a informação correta. Toda comunicação e sincronização podem ser feitas através da memória, sem nenhuma visibilidade de comunicação para os processos de usuário. As memórias caches privadas aos processadores são utilizadas para reduzir a latência de memória, que diz respeito ao intervalo de tempo compreendido entre o momento em que um processador iniciou um acesso a um dado compartilhado até que este acesso seja resolvido. O problema da latência de memória é comum aos sistemas DSM por causa da grande sobrecarga pa com a localização dos dados e acesso em sistemas com memória fisicamente distribuída. Este /overhead/ é mais sério em DSM baseados em /software/, visto que a sobrecarga para acessar a memória remota pode envolver chamadas ao /kerne/l, troca de contexto, buferização, além da latência do /software/ de comunicação e do /hardware/. A consistência de memória é responsável em manter a informação real e fiel para todos os nodos do /cluster/ e para o programador. Existem alguns modelos para que isto ocorra de forma coerente. O problema de coerência da memória engloba o problema de coerência de cache. No modelo de consistência de uma memória globalizada, as operações de acesso à memória são percebidas pelo programador quando feitas atomicamente na ordem especificada pelo programa/ /(consistência seqüencial). Pra manter a consistência seqüencial em um cluster, essas otimizações internas do processador não podem ser utilizadas (write buffers e re-escalonamento de instruções). O desempenho da DSM sempre é o principal foco de preocupação. O primeiro sistema de DSM IVY utiliza o modelo seqüencial, mas a performance é muito ruim devido à comunicação excessiva dos dados na rede. Este gargalo de desempenho foi aliviado em sistemas posteriores, que utilizam novas técnicas para melhorar a eficiência. Por isso que não acredito apesar dos diversos modelos de consistências propostos que DSM via Software seja uma solu?ão viável para clusters. Mas dá uma olhadinha os projetos treadmarks, Midway, Jump, Jessica. Para mim DSM tem que ser feito via Hardware como em arquiteturas NUMA ou simulada por placas de rede como da Dolphin com Scalable Coherent Interface. []'s Marcos Pitanga Linux Clusters Specialist ********************************************************** **********************************************************