Por que parte do arquivo da internet está desaparecendo para sempre (e o que está sendo feito para evitar isso):roleta customizavel

O motivo: a combinação do jeito como a nossa vida hoje é ligada a formatos digitais com a faltaroleta customizavelesforços oficiais para arquivar as informações que o mundo produz hojeroleta customizaveldia pode apagar a nossa história.

Mas um grupo informalroleta customizavelorganizações vem combatendo as forças da entropia digital. Muitas delas são operadas por voluntários, com pouco apoio institucional.

O maior símbolo da luta para salvar a web é o Internet Archive, uma organização sem fins lucrativos sediadaroleta customizavelSan Francisco, na Califórnia (EUA).

Criadaroleta customizavel1996 como um projeto apaixonado do pioneiro da internet Brewster Kahle, a organização criou o que pode ser o mais ambicioso projetoroleta customizavelarquivo digital já realizado.

São 866 bilhõesroleta customizavelpáginas web, 44 milhõesroleta customizavellivros, 10,6 milhõesroleta customizavelvídeos com filmes e programasroleta customizaveltelevisão – e muito mais.

Abrigadasroleta customizaveldiversos centrosroleta customizaveldados espalhados pelo mundo, as coleções do Internet Archive e outros grupos similares são tudo o que temos para evitar a amnésia digital.

"Os riscos são muitos. Não é só a tecnologia que pode falhar, embora isso certamente aconteça", afirma Mark Graham, diretor da Wayback Machine – uma ferramenta do Internet Archive que coleta e armazena cópiasroleta customizavelwebsites para a posteridade.

"O mais importante é que as instituições falham, as empresas fecham. As organizações jornalísticas são devoradas por outras organizações jornalísticas ou saem do ar, como é cada vez mais frequente", exemplifica ele.

Graham destaca que existem inúmeros incentivos para colocar conteúdo online, mas são poucas as razões que fazem as companhias manterem este conteúdo por longo prazo.

Mesmo com todos os feitos já realizados, o Internet Archive e organizações similares enfrentam ameaças financeiras, dificuldades técnicas, ciberataques e batalhas jurídicas geradas por empresas que não gostam da ideiaroleta customizavelver cópias daroleta customizavelpropriedade intelectual disponíveis gratuitamente.

E, como mostram as recentes derrotas na Justiça, o projetoroleta customizavelsalvar a internet pode ser tão volátil quanto o próprio conteúdo que ele tenta proteger.

"Cada vez mais, nossos esforços intelectuais, nosso entretenimento, nossas notícias e nossas conversas existem apenas no ambiente digital", explica Graham. "Este ambiente é inerentemente frágil."

Salvar nossa história

Um quartoroleta customizaveltodas as páginas web que já existiramroleta customizavelalgum momento entre 2013 e 2023... não existem mais.

Esta é a conclusãoroleta customizavelum estudo recente do think tank (centroroleta customizavelpesquisa e debates) Pew Research Center, com sede na capital americana, Washington DC. Suas conclusões fizeram soar o alarme: nossa história digital está desaparecendo.

Os pesquisadores concluíram que o problema se agrava, quanto mais antiga for uma página web. A organização tentou acessar páginas existentesroleta customizavel2013 – e 38% delas não funcionam mais.

Mas este também é um problema das publicações mais recentes. Cercaroleta customizavel8% das páginas web publicadasroleta customizavelalgum momentoroleta customizavel2023 desapareceramroleta customizaveloutubro do mesmo ano.

Esta não é apenas uma preocupação dos admiradores da história e dos obcecados pela internet. O estudo indicou, por exemplo, que umroleta customizavelcada cinco websites governamentais contém pelo menos um link quebrado.

O Pew Research Center também descobriu que mais da metade dos artigos da Wikipédia tem um link quebrado naroleta customizavelseçãoroleta customizavelreferências. Ou seja, as evidências que sustentam as informações da enciclopédia online estão lentamente se desintegrando.

Mas, graças ao trabalho do Internet Archive, nem todos esses links quebrados ficaram inacessíveis. O projeto Wayback Machine vem destacando exércitosroleta customizavelrobôs para rastrear os tortuosos labirintos da internet há décadas.

O sistema baixa cópias funcionaisroleta customizavelwebsites à medida que eles mudam ao longo do tempo. Muitas vezes, eles capturam as mesmas páginas diversas vezesroleta customizavelum único dia e as oferecem ao público sem custo.

"Quando observamos quantos daquelas URLs foram oferecidas pelo Wayback Machine, verificamos que dois terços eram disponíveisroleta customizavelalguma forma", ele conta. Isso indica que o Internet Archive está cumprindoroleta customizavelfunção, guardando registros da sociedade online para a posteridade.

Outras organizações, grandes e pequenas, trabalham com projetos similares.

A Biblioteca do Congresso dos Estados Unidos, por exemplo, preserva websites governamentais, os sites dos congressistas e uma coleçãoroleta customizavelsites jornalísticos norte-americanos. A Biblioteca do Congresso também preservou uma cópiaroleta customizavelcada tweet enviado desde a fundação do Twitter (hoje, conhecido como X), até o encerramento do projeto,roleta customizavel2017.

Outros governos conduzem suas próprias iniciativas. O UK Web Archive, da Biblioteca Britânica, rastreia anualmente os websites com nomesroleta customizaveldomínio .uk, preservando uma cópia da internet britânica pelo menos uma vez por ano.

Em 2022, um gruporoleta customizavelvoluntários se propôs a salvar a internet ucraniana, quando ela foi atingida por ciberataques russos.

Mas o escopo destes projetos é pequeno e o Internet Archive procura ter uma cobertura mais abrangente.

Com os recursos disponíveis, seria impossível chegar pertoroleta customizavelpreservar toda a internet, mas seus sistemas definiram uma ampla rede.

E, dependendo do que você esteja procurando, a coleção do Internet Archive é tão vasta que, às vezes, parece um registro funcional e completo da World Wide Web.

O sucesso traz complacência

Os documentos do Archive disponíveis ao público ajudam a manter o registro das nossas vidas na era atual.

A Wikipédia adotou, como prática padrão, mencionar as cópiasroleta customizavelwebsites do Wayback Machine e não os próprios websites originais. E a organização também preserva uma vasta coleçãoroleta customizavelgravações anteriores à era digital.

A adorada sérieroleta customizavelTV americana Fernwood 2 Night (1977), por exemplo, não está disponívelroleta customizavelnenhum serviçoroleta customizavelstreaming, mas você pode assisti-laroleta customizavelgraça no Internet Archive.

Livros, revistas e websites mencionam as cópias digitaisroleta customizavellivros do Internet Archive, indisponíveis nas bibliotecas físicas.

O projeto age até como ferramentaroleta customizavelpreservação para o público. Qualquer pessoa pode carregar vídeos, websites e praticamente qualquer coisa para os servidores da organização.

Entre as principais coleções preservadas pela Wayback Machine, encontram-se vastos registrosroleta customizavelwebsites criados no GeoCities – um antigo serviçoroleta customizavelhospedagemroleta customizavelsites, agora extinto.

Muito antes das redes sociais, o GeoCities foi uma das primeiras plataformas que possibilitavam a qualquer pessoa criar o seu próprio website.

Os historiadores da internet consideram o GeoCities um dos capítulos mais importantes dos primórdios da World Wide Web – e, sem o trabalho do Internet Archive, a maior parte dos seus sites teria sido perdida.

Mais recentemente, uma comissão do Congresso dos Estados Unidos adotou o Internet Archive para preservar artigos e documentos relativos ao ataque ao Capitólio,roleta customizavel6roleta customizaveljaneiroroleta customizavel2021.

"De temposroleta customizaveltempos, surge uma nova plataforma e as forças econômicas rapidamente meio que a destroem", afirma Andrew Jackson, arquiteto técnicoroleta customizavelregistrosroleta customizavelpreservação da Coalizão para a Preservação Digital, um grupo ativista e organização filantrópica britânica que orienta como preservar os arquivos digitais online. "É uma grande fonteroleta customizavelrotatividade."

O website jornalístico especializadoroleta customizaveltecnologia CNET sofreu pressõesroleta customizavel2023, após informaçõesroleta customizavelque a empresa excluiu dezenasroleta customizavelmilharesroleta customizavelartigos, causando a perdaroleta customizaveldécadasroleta customizavelhistória.

Entre as respostas do site, veio a indicaçãoroleta customizavelque todos os seus artigos excluídos foram preservados na Wayback Machine.

Muitos críticos acusaram a empresaroleta customizavelter transferido para o Internet Archiveroleta customizavelresponsabilidaderoleta customizavelmanutenção dos arquivos.

"O Google e outros mecanismosroleta customizavelbusca incentivam ativamente a manutençãoroleta customizavelURLs estáveis, mas, tecnicamente, é algo bastante difícil", explica Jackson. "Sempre que uma nova empresa reforma seu website, ela precisa calcular quantos das suas novas URLs ela irá tentar manter ao longo do tempo."

Mas vale a pena lembrar que o Internet Archive é uma organização sem fins lucrativos, financiada por doaçõesroleta customizavelfundações beneficentes. É um projeto sem fim, com custos que crescem exponencialmente.

O Internet Archive assumiu voluntariamente a missãoroleta customizavelser a principal biblioteca da nossa vida digitalroleta customizaveltodo o mundo. E, com a web se aproximando daroleta customizavelquarta década, este projeto totalmente não oficial se tornou um pilar fundamental da internet.

Mas, da mesma forma que aumenta a nossa confiança no Internet Archive, também crescem as ameaças que pairam sobre o seu trabalho.

'Ponto críticoroleta customizavelfalha'

Em setembro, o Internet Archive anunciou uma importante parceria com o Google. O mecanismoroleta customizavelbusca da gigante da tecnologia irá agora incluir links para o Wayback Machine nos seus resultadosroleta customizavelbusca. Nenhuma das partes publicou os detalhes financeiros do acordo.

Mas outras notícias recentes demonstram que o projeto ainda enfrenta fragilidades.

Sua vulnerabilidade foi exposta abertamenteroleta customizaveluma ação judicial contra o Internet Archive, promovida por quatro grandes editorasroleta customizavellivros.

Elas alegam que a práticaroleta customizaveldigitalizar livros físicos e emprestar cópias digitais infringe a legislação americanaroleta customizaveldireitos autorais.

Antes da pandemiaroleta customizavelcovid-19, o Internet Archive emprestava apenas uma cópia digital por vez, para cada livro físico naroleta customizavelcoleção.

Mas, durante os lockdowns, a organização eliminou a restrição, emprestando aos seus apoiadores quantidades ilimitadasroleta customizavelcópias digitaisroleta customizavellivros, para tentar compensar o fechamento das bibliotecas físicas.

Em 2023, um tribunal americano julgou a prática ilegal e, no inícioroleta customizavelsetembro, o recurso do Internet Archive contra a decisão foi rejeitado.

A organização havia informado que concordavaroleta customizavelpagar ao gruporoleta customizaveleditoras um valor não reveladoroleta customizavelrelação ao caso.

Passada aquela ação, o Internet Archive já enfrenta outro processo movido por gravadoras, referente à digitalizaçãoroleta customizaveldiscos.

Em casoroleta customizavelderrota, este novo processo poderá custar estimados US$ 400 milhões (R$ 2,3 bilhões). O valor pode pôrroleta customizavelrisco a sobrevivência da organização.

O diretor dos serviçosroleta customizavelbiblioteca do Internet Archive, Chris Freeland, afirmou,roleta customizaveldeclaração sobre a decisão judicial, que a organização está analisando o parecer dos tribunais.

As batalhas jurídicas existenciais não são os únicos riscos que pairam sobre o mundo da preservação digital.

O UK Web Archive teve uma amostra das ameaças técnicas mal intencionadasroleta customizaveloutubroroleta customizavel2023, quando um ciberataque derrubou seus sistemas digitais. Um ano depois, o portal ainda enfrenta problemas causados pela queda – e o acesso online a grande parte daroleta customizavelcoleção ainda está indisponível.

Em maioroleta customizavel2024, o Internet Archive divulgou que estava enfrentando um grande ataque distribuídoroleta customizavelnegaçãoroleta customizavelserviço (DDoS, na siglaroleta customizavelinglês). Nele, vândalos ou outros delinquentes criam sistemas automatizados para bombardear websites com visitas, tentando derrubá-los sobrecarregando seus servidores.

No pico do ataque, dezenasroleta customizavelmilharesroleta customizavelvisitas simultâneas surgiam a cada segundo. Os serviços foram derrubados, incluindo a Wayback Machine.

Com isso, o rastreamento regular da web para arquivo foi interrompido por algum tempo, o que pode ter causado lacunas permanentes no seu registro histórico.

O Internet Archive "foi criado por um indivíduo e se tornou uma espécieroleta customizavelpivô", segundo Jackson.

"Ele também parece ser um ponto críticoroleta customizavelfalharoleta customizavelpotencial. Embora seja muito mais sofisticado do que simplesmente os voluntários, ele é uma instituição,roleta customizaveluma região, sujeito a um arcabouço legal."

A organização reconhece estas preocupações. Se o trabalho do Internet Archive fosse suspenso e "esta lacuna não fosse preenchida imediatamente, grande parte do que é disponibilizado atualmente na web pública ficariaroleta customizavelrisco", explica Graham.

Ele deixa claro que o Internet Archive não irá abandonar suas responsabilidades no futuro próximo, mas seria útil obter ajuda externa para o projeto.

"Existem oportunidades para muitas pessoas contribuírem,roleta customizaveldiversas formas", destaca ele.

Responsabilidades partilhadas, prioridades diferentes

Sem um trabalho formalroleta customizavelorganização do trabalhoroleta customizavelpreservação da internet, o projeto fica a cargoroleta customizavelamadores e voluntários, ao ladoroleta customizavelalguns gruposroleta customizavelorganismos não oficiais que, geralmente, operamroleta customizavelforma independente.

"Faz sentido que o trabalhoroleta customizavelarquivo seja descentralizado", segundo a historiadoraroleta customizaveltecnologia Mar Hicks, da Universidade da Virgínia, nos Estados Unidos. "Mas um dos problemas é a variação das prioridades."

Hicks destaca que um dos primeiros pontos que qualquer arquivista irá considerar ao construir um arquivo é o que ele deve priorizar.

"E, com muita descentralização, as prioridades serão muito diferentes", explica ela. "Haverá pessoas nos grupos cuja prioridade será tentar reunirroleta customizaveltudo – o máximo que puderem, eles podem querer completar tudo."

E haverá outros que irão se concentrarroleta customizaveldeterminadas áreas, como o arquivo britânico, por exemplo.

A preocupação com essa abordagem pontual e descentralizada é a possibilidaderoleta customizavelrepetição, que faz com que preciosos recursosroleta customizavelarquivo sejam desperdiçados com cópias duplicadas ou triplicadas dos websites mais populares.

Enquanto isso, algumas áreas que podem ter importância histórica são desprezadas por se enquadrarem entre as responsabilidadesroleta customizavelgrupos diferentes.

"Os arquivistas irão dizer que estas questões existem há muito tempo", afirma Hicks. Mas elas são exacerbadas pela quantidaderoleta customizavelmaterial produzida no nosso mundo digital.

Todos os dias, são enviados cercaroleta customizavelum bilhãoroleta customizavele-mails. O YouTube afirma que maisroleta customizavel500 horasroleta customizavelvídeo são postadas na plataforma a cada minuto.

Para Hicks, a internet é "essencialmente uma mangueiraroleta customizavelincêndio, lançando material e informações. Não faz sentido tentar registrar tudo o que sai da mangueira. Não faria sentido do pontoroleta customizavelvistaroleta customizavelrecursos."

De certa forma, esta é uma preocupação antiga.

"Como historiadores, temos o mesmo problema", explica Hicks. "Temos uma enorme quantidaderoleta customizaveldocumentos do passado. Mas temos apenas certos documentos e as vozesroleta customizavelcertas pessoas – e muitas das vozes que estão faltando foram incrivelmente importantes, mas foram apagadas."

Para Hicks, é preciso ter certas prioridades sobre o que está sendo preservado das pegadas digitais da nossa geração. Caso contrário, corremos o riscoroleta customizavelextrapolar rapidamente os custos com esforços secundáriosroleta customizavelregistro da história da web. Isso sem falar nos oceanosroleta customizavelarquivos digitais que vivem offline.

"Se precisarmos preservar tudo, fica muito caro", segundo Andrew Jackson. "Existe muito conteúdo mais antigo ou menos atraente que fica perdido pelo caminho."

"Não estamos capturando bem o mundo não ocidental", reconhece Jackson. "Existem lacunas que não foram preenchidasroleta customizaveldiferentes domínios culturais."

Muitas dessas organizações que procuram combater suas próprias tendências e preconceitos acabam assumindo o peso da tarefa, enquanto os governos e as empresas responsáveis pelas plataformas simplesmente assistem.

"Grupos independentesroleta customizavelpessoas, simplesmente preocupadas e dispostas a dedicar seu tempo livre a esta questão, têm mais recursos e conhecimento do que as instituições formalmente responsáveis", afirma Jackson.

Hicks alerta que existe um vácuo que poucas pessoas estão atendendo, exceto por um punhadoroleta customizavelarquivistas obsessivos.

"Não está claroroleta customizavelquem é a responsabilidaderoleta customizavelarquivar [a internet], nem a serviçoroleta customizavelquem", afirma a historiadora. Mas um ponto é claro: segundo ela, todos nós deveríamos pagar para apoiar a luta pela preservação.

"De um pontoroleta customizavelvista muito pragmático, se você não pagar essas pessoas e garantir que estes arquivos recebam financiamento, eles não irão existir no futuro", explica ela. "Eles irão desaparecer e todo o trabalhoroleta customizavelcoleta irá voar pela janela."

"Porque o grande propósito do arquivo não é simplesmente coletá-lo, mas fazer com que ele seja mantido indefinidamente no futuro."

O Iluminismo do século 18 viu o nascimentoroleta customizavelum movimento internacionalroleta customizavelbibliotecas, com os governos e filantropos percebendo a necessidaderoleta customizavelpreservar e distribuir livros para o público. Mas este sensoroleta customizavelresponsabilidade cívica do passado não se estendeu para a internet.

Isso pode se dever aos complexos interesses comerciais do mundo digital ou simplesmente às imensas dificuldades técnicas. Ou, talvez, porque os observadores casuais podem não achar necessário preservar a web.

Um livro é um recurso claramente finito – ele pode ser perdido ou danificado. Mas a web parece muito acessível. Qualquer pessoa com conexão à internet pode abrir um navegador e digitar uma URL.

Está tudo ali, disponível. Até que não esteja mais.

Leia a versão original desta reportagem (em inglês) no site BBC Innovation.