Posts Tagged ‘Big Data’
Quatro buzzwords de TI para 2020
20
jan
Algumas palavras já vem sendo usadas de maneira
excessiva e equivocada, pode-se citar tecnologias disruptivas vistas como qualquer uma que tenha impacto no mercado, quando o problema é a escala de produção e consumo, os data lakes, usado para armazenar dados brutos que não significam que são ou podem ser tratados com facilidade (há ambientes e ferramentas específicas para isto), e, o terceiro termo que não é novo também é DevOps que é a rápida implantação de códigos com facilidades de retirar e corrigir possíveis bugs (erros no código).
As quatro buzzwords que devem crescer em 2020 e que representam um perigo tanto no seu uso quanto na implantação são BigData (sim já existia em 2019 mas sua expansão é indicada como um grande volume para 2020), IA idem a anterior, Agile que significa a rapidez de mudança de mercado e de estratégia das empresas, se mal utilizada serão um fracasso e por fim e não menos essencial, e por último, aquilo que resolveu-se chamar de “transformação digital”.
Comecemos pelo último que engloba os anteriores, inclusive os 3 excluídos da análise, transformação digital não significa necessariamente que “tudo agora muda com os processos digitais”, e é claro não significa que nada muda, conforme a área o impacto, a disrupção (no sentido de escala) é claro que o impacto poderá e deverá acontecer, mas cuidado com o Agile.
Agile é o processo de responder rapidamente as mudanças, mas a resposta não significa ser responsivo em qualquer situação, a grande maioria merece análise tais como situações transitórias de mercado, processos sazonais, resposta a concorrência e em especial, mudanças de “moda”.
IA pode ser uma resposta a muitos negócios, mas o próprio termo “inteligência” é questionado, na verdade é um pouco de cada processo anterior, incluindo bigData, Agile e Data lakes, isto é, deve haver ferramentas do tipo Analytics e Machine Learning (foto) que auxiliem o processo.
A Gartner detectou um aumento de 25% para 37% de 2018 para 2019 no uso de IA para negócios, porém a eficácia não é garantida, assim como apenas o uso de TI não significa a modernização da empresa.
Mapeando dados de Big Data
22
set
Um novo departamento de pesquisa na prestigiosa San Diego State University (SDSU) chamado Centro de Convergência e Informação Estratégica foi fundado, para permitir mapear dados de uma forma parecida que parecida aos dados geográficos, a notícia está no site da SDSU.
O conceito por trás da nova pesquisa é que mapas de números não precisam ser necessariamente geográficos, e não por acaso o centro é um convênio do professor do departamento de Geografia Akshay Pottathil, como um grupo de aficcionados por Tecnologia da Informação.
Estes podem mapear desde ideias ou opiniões até informações de transito, dados estratégicos como população, saúde e outros dados de planejamento urbano.
Três conceitos são delineados nestes mapas, a ideia que dados não são estruturados (ou semiestruturados como são chamados no Big Data), visualizar os dados mais rapidamente e o uso estratégico destes dados (foto na saúde, por exemplo).
Pottathil refere-se a estes como “textos não estruturados e outros artefatos de conhecimento”, em linguagem mais simples significa que os dados não estão bem formatados, e veem de uma ampla gama de fontes: artigos de periódicos, artigos de jornais, transcrições de entrevistas, capítulos de livros, blogs, etc e é muito dificil tratá-los nos modos tradicionais de análise de dados para relacionar um do outro.
A segunda questão, afirma Pottathil, está na capacidade de olhar para um desses mapas e muito rapidamente chegar a um entendimento amplo dos temas relacionados com a sua área de interesse, por exemplo, para colaborar em um novo campo, por exemplo, você pode olhar para um mapa idéia para se familiarizar rapidamente com as questões e ver rapidamente um punhado de artigos específicos para este interesse.
Por último, as agências governamentais e grupos de interesse público estão também intrigado com as possibilidades apresentadas por esta tecnologia, já na inauguração do CICS, em agosto, o deputado Scott Peters elogiou a capacidade do centro de utilizar grandes quantidades de dados para lidar com questões sociais.
Big Data: verdades e falácias
07
mai
O tratamento de grandes volumes de dados, onde a relevância da maioria dos dados nem sempre é comprovada, é a motivação para o desenvolvimento atual do mundo digital, com impactos nas mais diversas áreas de trabalho, da ciência e da própria tecnologia.
Mas deve-se tomar cuidado com a literatura impactante nem sempre criteriosa sobre os verdadeiros impactos da tecnologia, entre elas, a ideia de ruptura e de influencias sócio-políticas das mesmas.
Neste sentido, Susan Graham coautora do relatório: “Big Data e Privacidade: Uma Perspectiva Tecnológica”, faz considerações sobre novas maneiras de construir proteções de privacidade em sistemas de tecnologia da informação, em especial para proteger os dados pessoais, que foi feito pelo Conselho de Assessores de Ciência e Tecnologia (PCAST) nos EUA.
A tecnologia pode ajudar a reduzir os riscos de privacidade, mas a política também é necessária, diz relatório feito na Universidade da Califórnia, em Berkeley. Embora o PCAST não inclua novas recomendações de política, o Instituto Nacional de Padrões e Tecnologia dos EUA está a criando uma estrutura de engenharia privacidade análoga ao seu trabalho sobre as normas de segurança cibernética.
Parte do problema é que os políticos não conversam com os engenheiros sobre a privacidade, e há uma falta de clareza sobre o que se entende por privacidade em um mundo conectado., conforme disse Graham: “Acreditamos que a tecnologia por si só não pode reduzir os riscos de privacidade”, “tem que ser política também”, o que pode parecer óbvio, mas não é.
Um problema interessante de Big Data
10
out
Simon DeDeo , um investigação em matemática aplicada e sistemas complexos do Instituto Santa Fé,
tinha um problema, conforme postado na revista Wired.
Ele estava colaborando em um novo projeto para analisar de dados a partir dos arquivos do tribunal Old Bailey de Londres, um tribunal criminal central da Inglaterra e do País de Gales 300 anos “.
Mas não haviam dados limpos (dizemos estruturados) como em um formato de planilha Excel habitual simples, incluindo variáveis como acusação, julgamento e sentença para cada caso, mas sim cerca de 10 milhões de palavras gravadas durante pouco menos de 200 mil julgamentos.
Como se poderia analisar esses dados ? DeDeo pergunta: “Não é o tamanho do conjunto de dados, que era difícil, por padrões de dados grandes , o tamanho era bastante controlável”. Foi esta enorme complexidade e falta de estrutura formal que representava um problema para estes “grandes dados” que o perturbou.
O paradigma da pesquisa envolveu a formação de uma hipótese, decidir precisamente o que se pretendia medir, em seguida, construir um aparelho para fazer essa medição com a maior precisão possível, não é exatamente como física onde você controla variáveis e tem um número limitado de dados.
Alessandro Vespignani, um físico da Universidade de Northeastern, que é especializada em aproveitar o poder das redes sociais para surtos modelo de doença, o comportamento do mercado de ações, as dinâmicas sociais coletivos, e os resultados eleitorais, coletou muitos terabytes de dados de redes sociais como o Twitter, esta abordagem pode ajudar a tratar textos escritos fora das redes sociais.
Cientistas como DeDeo e Vespignani fazem bom uso dessa abordagem fragmentada para a análise de dados grande, mas o matemático da Yale University, Ronald Coifman diz que o que é realmente necessário é o grande volume de dados equivalente a uma revolução newtoniana, comparando com a invenção do cálculo do século 17, que ele acredita que já está em andamento.
Coifman afirma “Temos todas as peças do quebra-cabeça – agora como é que vamos realmente montá-los”, ou seja, ainda temos que avançar para tratar dados dispersos.
Big Data já é uma área de estudos
17
abr
Embora seja o grande assunto do momento, o problema dos Grandes Dados
(Big Data) pode carecer de realidade e conceitualização correta, comum em tudo que vira “moda”.
Um trabalho publicado na Harvard Business Review, não só esclarece estes fatos, mas dá a eles uma realidade prática para o futuro de nossas vidas.
Os programas de dezenas de Universidades nasceram de uma forma que ficaram conhecidas como uma “constelação” que incluem a Universidade de Stanford, Northwestern, George Mason, Syracuse e a Universidade de Nova York, além de Harvard e Columbia.
Outra universidade que oferece um mestrado na área é a Universidade de Columbia, também a Universidade de São Francisco, Califórnia formará uma classe na área.
Rachel Schutt, uma cientista de pesquisa sênior da Johnson Research Labs, na Universidade de Columbia, dá um curso intitulado “Introdução à Ciência dos dados“, no último semestre da graduação da Universidade de Columbia.
Ela descreve o cientista dados como alguém que é : “um híbrido de cientista da computação, estatístico e engenheiro de software.”
Em 2012, ela criou um blog e desenvolveu algumas aulas, como uma que está num vídeo do TEDx, também é um dos primeiros cursos que podem ser encontrados em buscas.
É um dos primeiros trabalhos sobre Big Data sem muita fantasia, prático e claro.
O risco científico e o "Big Data"
09
abr
As grandes pesquisas em computação estão se
voltando para grandes volumes de dados, o chamado Big Data, conforme notícia do New York Times.
A Universidade de Columbia, para “debutar” seu novo Instituto de Ciências e Engenharia de Dados, realizou na última sexta-feira (05/04) um simpósio de um dia inteiro intitulado “Do Big Data às Big Ideias”.
O instituto é uma junção de centros interdisciplinares, para a segurança cibernética, análises financeiras, análises de saúde, novas mídias e cidades inteligentes.
Diversas análises sobre conjunto de tecnologias chamado Big Data, com novos dados e novas ferramentas de inteligência artificial, que poderão realmente transformar as indústrias, como novas capacidades de previsão.
O simpósio, “Do Big Data Para Big Ideas”, foi, principalmente, uma celebração da promessa da tecnologia nos campos de cuidados de saúde ao transporte, com apresentações de Columbia professores e cientistas da computação de empresas como Google, Facebook, Microsoft e Bloomberg.
Os perigos de privacidade e vigilância de Big Data também surgiram de passagem, mas durante uma seção de perguntas e respostas de um painel, o oficial de informações da Google, Ben Fried, expressou um receio. “Minha preocupação é que a tecnologia está muito à frente da sociedade”, disse Fried disse. “Há perigo”, ele sugeriu, “que apenas uma elite técnica entender Big Data e suas implicações, com o risco de uma tecnologia de fuga ou uma rejeição do público”.
Megaupload tenta renascer em 2013
11
dez
Justamente na data de aniversário da invasão da casa de Kim DotCom, que foi em janeiro deste ano, DotCom o proprietário da Mega informou a Reuters que vai relançar o site que ficou famoso pelas hospedagem de filmes e músicas piratas, além de outras mídias.
Para o novo serviço vão usar um domínio interessante que será no Gabão, como a sigla de domínio lá é Ga, vai ficar interessante: Me.Ga, o site diz: “Nós prometemos, Nós entregamos” (WE PROMISSE, WE DELIVER).
Segundo DotCom o novo serviço “A Mega novos não serão ameaçados por promotores norte-americanos,” disse em entrevista à Reuters, acrescentando que o mega está confiante que vai evitar violar a lei dos EUA.
Grandes Dados e grandes impactos
20
fev
É o que diz um relatório do Forum Econômico Mundial, o crescimento número de dados que podem
influenciar decisões e controlar ou mesmo acelerar grandes impactos, é uma história recente e que já é estratégica para governos e empresas. Diversas organizações como o Instituto McKinsey, a Revista Nature e o Grupo Kimball, entre outros, destacam a importância estratégica do assunto.
Mas o que é um “Big Data”, ou Grandes Dados, o termo surgido no marketing, é uma abreviação para avançar tendências tecnológica que abrem a porta para uma nova abordagem e compreensão de como trabalhar dados que cresce 50% ao ano, relativos a tomadas de decisão estratégicas, segundo estimativas do IDC, uma empresas de pesquisa em tecnologia.
Não é mais o paradigmas de fluxo de dados, mas de dados inteiramente novos, por exemplo, existem inúmeros sensores digitais em todo o mundo em equipamentos industriais, automóveis, sensores elétricos e isto não significam dados acumulados, mas completamente modificados em períodos de tempo. Problemas de vibração, temperatura, umidade, mudanças químicas no ar que afetam estes sensores não fazem sentido em tempos anteriores, quando se trata de verificar os efeitos num veículos, por exemplo.
Outro exemplo, são dados governamentais, que estão migrando para a Web.O governo americano por exemplo, em 2009, divulgou ainda mais seus dados no site Data.gov, onde há todo tipo de dado governamental acessível ao público.
Os dados são não apenas se tornando mais disponíveis, mas também mais “tratáveis” por computadores. A maior parte do aumento de Grandes Dados, são dados de natureza diversas, como coisas escritas em palavras, imagens e vídeos na Web, mas serão os fluxos de dados de sensores que mais poderão mudar a natureza destes dados. Estão disponíveis nas “nuvens” e poristo são chamados de dados não estruturados, ou semi-estruturados e poristo não serão combustível para bancos de dados tradicionais.
Assim serão as ferramentas computacionais para o conhecimento, recolhendo e insights de vastos acervos era da Internet de dados, as que estão ganhando rapidamente terreno nos não estruturados, incluindo técnicas de inteligencia artificial, reconhecimento de padrões, processamento e aprendizagem por computador.
