Dados como os ativos de informações que as organizações coletam, processam e armazenam durante atividades comerciais regulares, mas que, geralmente, não são usados para outros fins, como análises, relacionamentos comerciais e monetização direta. Essa é a definição de Dark Data, segundo Gartner.
Resumindo, Dark Data corresponde às informações que a empresa nem sabe que existem e que geram mais despesa do que valor. Elas são salvas ou coletadas todos os dias e leva tempo para alguém da empresa perceber que há uma enorme quantidade de informações sem utilidade armazenadas nos servidores. Por este motivo, é preciso que as corporações criem planos de governança de dados inteligentes.
Segundo pesquisa de uma empresa privada no segmento de gestão de documentos, mesmo entre arquivos puramente digitais, 70% a 80% das informações são, na verdade, arquivos ROT (redundantes, obsoletos ou triviais). Portanto, apenas 20 a 30% são registros ativos.
Assim, grande parte dos dados que as organizações armazenam podem ser chamadas de Dark Data. Isso se deve pelo fato de que as empresas os querem como garantia, caso seja necessário, futuramente, comprovar algo.
O lado obscuro do Big Data
Big Data é um conjunto de informações maior e mais complexo, especialmente de novas fontes de dados que chegam em volumes crescentes e com velocidade cada vez maior. Esses conjuntos são tão volumosos que o software tradicional de processamento de dados não consegue gerenciá-los. No entanto, eles podem ser usados para resolver problemas de negócios que não seriam resolvidos sem sua utilização.
Assim, como o Big Data, o Dark Data possui um grande fluxo de informações, mas, diferentemente do primeiro, o segundo pode ser considerado um grande vilão na governança de dados.
O que é Dark Data?
Na física, aprendemos sobre o desequilíbrio no universo entre a matéria visível, que são as estrelas e planetas que podem ser vistos, e a matéria escura – que constitui grande parte da massa do universo, mas é difícil descobrir como vê-la ou medi-la. E a Dark Data assemelha-se a ela.
Isso se deve ao fato de que, assim como a matéria escura, há muitos dados ocultos, que podem não ser analisados tão facilmente. E o volume de Dark Data supera o volume de dados visíveis. Podendo ser encontrada em logs, em metadados, em campos de texto e documentos, em vídeo, em áudio, em imagens. Embora os dados visíveis possam ser facilmente analisados em bancos de dados, a Dark Data demanda uma extração complexa antes de ser analisada.
52% dos dados armazenados pelas companhias são inúteis
De acordo com uma pesquisa realizada por uma empresa de tecnologia em software, em média, 52% dos dados armazenados pelas companhias não têm valor definido ou são inúteis. E, até 2025, as informações armazenadas digitalmente no mundo chegarão a 175 zettabytes, impulsionado, principalmente, por dados sem utilização.
Segundo a Faculdade Heinz de Sistemas de Informação e Políticas Públicas da Universidade Carnegie Mellon, cerca de 90% das informações corporativas são Dark Data, pois as organizações, geralmente, retêm estes dados apenas para fins de conformidade. Mas, saber qual tipo será relevante e deverá ser armazenado na nuvem é um diferencial que pode impactar diretamente nos gastos da empresa. Além disso, transformar esses dados em informações e insights de qualidade é outro ponto que também precisa ser levado em consideração.
Em uma pesquisa global, realizada pela Serasa Experian sobre qualidade de dados, constatou-se que 95% das empresas acreditam que a má qualidade das informações nas empresas impacta negativamente a interação com o consumidor, a reputação e a eficiência das operações. Dessa forma, fica cada vez mais evidente que a melhor maneira de lidar com a situação é aplicar uma base analítica sobre as informações antes mesmo de armazená-las, e o quanto antes forem estruturadas, mais cedo será possível saber o que deve estar disponível e o que deve ser guardado.
O alto custo da Dark Data para o meio ambiente
É preciso que as pessoas mudem o pensamento de que um dia precisarão de alguma informação, guardando-as. É necessário perder o medo e apagá-las, pois esse armazenamento tem um custo muito alto para as empresas e para o planeta. Isso se deve porque, ao armazenar informações inúteis em datas centers, é utilizada energia, que impacta no lançamento de dióxido de carbono na atmosfera e, na absorção dessas emissões (que precisa contar com uma grande área florestal). Logo, além de ocupar um precioso espaço de armazenamento na nuvem e não ser monetizado, o Dark Data é inimigo do meio ambiente.
De acordo com um estudo realizado pela Veritas, cerca de 6,4 milhões toneladas de dióxido de carbono (CO2) foram lançadas na atmosfera, apenas em 2020, em todo o mundo. Este é o resultado da energia gasta com a Dark Data. Analistas acreditam que nos próximos cinco anos o volume armazenado crescerá aproximadamente cinco vezes.
Ainda segundo a pesquisa, se as pessoas e empresas não mudarem os hábitos, haverá mais de 91 zettabytes de Dark Data, aumentando o consumo de energia e consequentemente a emissão de CO2 na atmosfera. Para que se absorva esse volume, seria preciso uma floresta 500 vezes maior do que Manhattan, por exemplo.
De nada adianta as empresas trabalharem para reduzir a emissão de gás carbônico, se não combaterem o mal advindo do armazenamento de dados inúteis. É preciso que as corporações entendam as informações, definam os ciclos de vida apropriados para as mesmas e excluam as que não têm mais valor. Essas atitudes não são apenas senso de negócios inteligente, é um dever global.
Como armazenar e utilizar dados corretamente
Como forma de apoiar o mercado a mitigar a questão e tratar os dados de forma mais benéfica para as empresas e meio ambiente, além de excluir o desperdício de dados, é preciso identificar todos os armazenamentos. Isso pode ser feito através de um mapeamento de todos os dados e Data Discovery. Dessa forma, é possível entender como as informações fluem através de uma organização.
Ganhar visibilidade e visão sobre onde dados e informações confidenciais são armazenados, quem tem acesso a eles e quanto tempo está retido também é um importante passo na busca da Dark Data.
Além disso, uma abordagem proativa de governança de dados permite que as companhias obtenham visibilidade sobre seus dados, armazenamento e infraestrutura de backup, para que possam assumir o controle dos riscos associados aos dados e tomar decisões corretas sobre quais dados podem ser excluídos com confiança.
Outra solução é automatizar as análises, o rastreamento e os relatórios necessários para fornecer responsabilidade organizacional para Dark Data, bem como minimizar e limitar informações, garantindo às organizações a redução da quantidade de dados que são armazenados, e estabelecendo se o que é retido está diretamente relacionado com a finalidade para a qual foram coletados.
Como a MG Info pode ajudar você?
Com os bilhões de arquivos que muitas empresas guardam, não é possível fazer uma análise manual, mas existem várias ferramentas para este gerenciamento que usam tecnologias de ponta, categorizando o que pode ser utilizado e eliminando o que não tem utilidade à empresa.
A MG Info é verdadeiramente especialista em dados e está há mais de dez anos ajudando seus clientes a construir a cultura de governança, por meio de soluções desenvolvidas e personalizáveis para cada um deles.
Com o foco na implantação personalizada e relevante da cultura de dados e analytics nas empresas, temos soluções ágeis, flexíveis e de acordo com a necessidade das organizações. Fale com um de nossos especialistas e descubra como elevar a inteligência de dados na sua empresa.
