RSS
 

Posts Tagged ‘Big Data’

Mapeando dados de Big Data

22 Set

SaudeBigDataUm novo departamento de pesquisa na prestigiosa San Diego State University (SDSU) chamado Centro de Convergência e Informação Estratégica foi fundado, para permitir mapear dados de uma forma parecida que parecida aos dados geográficos, a notícia está no site da SDSU.

O conceito por trás da nova pesquisa é que mapas de números não precisam ser necessariamente geográficos, e não por acaso o centro é um convênio do professor do departamento de Geografia Akshay Pottathil, como um grupo de aficcionados por Tecnologia da Informação.

Estes podem mapear desde ideias ou opiniões até informações de transito, dados estratégicos como população, saúde e outros dados de planejamento urbano.

Três conceitos são delineados nestes mapas, a ideia que dados não são estruturados (ou semiestruturados como são chamados no Big Data), visualizar os dados mais rapidamente e o uso estratégico destes dados (foto na saúde, por exemplo).

Pottathil refere-se a estes como “textos não estruturados e outros artefatos de conhecimento”, em linguagem mais simples significa que os dados não estão bem formatados, e veem de uma ampla gama de fontes: artigos de periódicos, artigos de jornais, transcrições de entrevistas, capítulos de livros, blogs, etc e é muito dificil tratá-los nos modos tradicionais de análise de dados para relacionar um do outro.
A segunda questão, afirma Pottathil, está na capacidade de olhar para um desses mapas e muito rapidamente chegar a um entendimento amplo dos temas relacionados com a sua área de interesse, por exemplo, para colaborar em um novo campo, por exemplo, você pode olhar para um mapa idéia para se familiarizar rapidamente com as questões e ver rapidamente um punhado de artigos específicos para este interesse.

Por último, as agências governamentais e grupos de interesse público estão também intrigado com as possibilidades apresentadas por esta tecnologia, já na inauguração do CICS, em agosto, o deputado Scott Peters elogiou a capacidade do centro de utilizar grandes quantidades de dados para lidar com questões sociais.

 

Big Data: verdades e falácias

07 Mai

DadoPessoalO tratamento de grandes volumes de dados, onde a relevância da maioria dos dados nem sempre é comprovada, é a motivação para o desenvolvimento atual do mundo digital, com impactos nas mais diversas áreas de trabalho, da ciência e da própria tecnologia.

 

Mas deve-se  tomar cuidado com a literatura impactante nem sempre criteriosa sobre os verdadeiros impactos da tecnologia, entre elas, a ideia de ruptura e de influencias sócio-políticas das mesmas.

 

Neste sentido, Susan Graham coautora  do relatório: “Big Data e Privacidade: Uma Perspectiva Tecnológica”, faz considerações sobre novas maneiras de construir proteções de privacidade em sistemas de tecnologia da informação, em especial para proteger os dados pessoais, que foi feito pelo  Conselho de Assessores de Ciência e Tecnologia (PCAST)  nos EUA.

 

A tecnologia pode ajudar a reduzir os riscos de privacidade, mas a política também é necessária, diz relatório feito na Universidade da Califórnia, em Berkeley. Embora o PCAST ​​não inclua novas recomendações de política, o Instituto Nacional de Padrões e Tecnologia dos EUA está a criando uma estrutura de engenharia privacidade análoga ao seu trabalho sobre as normas de segurança cibernética.

 

Parte do problema é que os políticos não conversam com os engenheiros sobre a privacidade, e há uma falta de clareza sobre o que se entende por privacidade em um mundo conectado., conforme disse Graham: “Acreditamos que a tecnologia por si só não pode reduzir os riscos de privacidade”, “tem que ser política também”, o que pode parecer óbvio, mas não é. 

 

Um problema interessante de Big Data

10 Out

Simon DeDeo , um investigação em matemática aplicada e sistemas complexos do Instituto Santa Fé,MatematicaCriativa tinha um problema, conforme postado na revista Wired.

Ele estava colaborando em um novo projeto para analisar de dados a partir dos arquivos do tribunal  Old Bailey de  Londres, um  tribunal criminal central da Inglaterra e  do País de Gales 300 anos “.

Mas não haviam dados limpos (dizemos estruturados) como em um  formato de planilha Excel habitual simples, incluindo variáveis ​​como acusação, julgamento e sentença para cada caso, mas sim cerca de 10 milhões de palavras gravadas durante pouco menos de 200 mil julgamentos.
Como se poderia analisar esses dados ? DeDeo pergunta:  “Não é o tamanho do conjunto de dados, que era difícil, por padrões de dados grandes , o tamanho era bastante controlável”. Foi esta enorme complexidade e falta de estrutura formal que representava um problema  para estes “grandes dados” que o perturbou.

O paradigma da pesquisa envolveu a formação de uma hipótese, decidir precisamente o que se pretendia medir, em seguida, construir um aparelho para fazer essa medição com a maior precisão possível, não é exatamente como física onde você controla variáveis e tem um número limitado de dados.

Alessandro Vespignani, um físico da Universidade de Northeastern, que é especializada em aproveitar o poder das redes sociais para surtos modelo de doença, o comportamento do mercado de ações, as dinâmicas sociais coletivos, e os resultados eleitorais, coletou muitos terabytes de dados de redes sociais como o Twitter, esta abordagem pode ajudar a tratar textos escritos fora das redes sociais.

Cientistas como DeDeo e Vespignani fazem bom uso dessa abordagem fragmentada para a análise de dados grande, mas o matemático da Yale University, Ronald Coifman diz que o que é realmente necessário é o grande volume de dados equivalente a uma revolução newtoniana, comparando com a invenção do cálculo do século 17, que ele acredita que já está em andamento.

Coifman afirma “Temos todas as peças do quebra-cabeça – agora como é que vamos realmente montá-los”, ou seja, ainda temos que avançar para tratar dados dispersos.

 

Big Data já é uma área de estudos

17 Abr

Embora seja o grande assunto do momento, o problema dos Grandes Dados (Big Data) pode carecer de realidade e conceitualização correta, comum em tudo que vira “moda”.

Um trabalho publicado na Harvard Business Review, não só esclarece estes fatos, mas dá a eles uma realidade prática para o futuro de nossas vidas.

Os programas de dezenas de Universidades nasceram de uma forma que ficaram conhecidas como uma “constelação” que incluem a Universidade de Stanford, Northwestern, George Mason, Syracuse e a Universidade de Nova York, além de Harvard e Columbia.

Outra universidade que oferece um mestrado na área é a Universidade de Columbia, também a Universidade de São Francisco, Califórnia formará uma classe na área.

Rachel Schutt, uma cientista de pesquisa sênior da Johnson Research Labs, na Universidade de Columbia, dá um curso intitulado “Introdução à Ciência dos dados“, no último semestre da graduação da Universidade de Columbia.

Ela descreve o cientista dados como alguém que é : “um híbrido de cientista da computação, estatístico e engenheiro de software.”

Em 2012, ela criou um blog e desenvolveu algumas aulas, como uma que está num vídeo do TEDx, também é um dos primeiros cursos que podem ser encontrados em buscas.

É um dos primeiros trabalhos sobre Big Data sem muita fantasia, prático e claro.

 

O risco científico e o "Big Data"

09 Abr

As grandes pesquisas em computação estão sevoltando para grandes volumes de dados, o chamado Big Data, conforme notícia do New York Times.

A Universidade de Columbia, para “debutar” seu novo Instituto de Ciências e Engenharia de Dados, realizou na última sexta-feira (05/04) um simpósio de um dia inteiro intitulado “Do Big Data às Big Ideias”.

O instituto é uma junção de centros interdisciplinares, para a segurança cibernética, análises financeiras, análises de saúde, novas mídias e cidades inteligentes.

Diversas análises sobre conjunto de tecnologias chamado Big Data, com novos dados e novas ferramentas de inteligência artificial, que poderão realmente transformar as indústrias, como novas capacidades de previsão.

O simpósio, “Do Big Data Para Big Ideas”, foi, principalmente, uma celebração da promessa da tecnologia nos campos de cuidados de saúde ao transporte, com apresentações de Columbia professores e cientistas da computação de empresas como Google, Facebook, Microsoft e Bloomberg.

Os perigos de privacidade e vigilância de Big Data também surgiram de passagem, mas durante uma seção de perguntas e respostas de um painel, o oficial de informações da Google, Ben Fried, expressou um receio. “Minha preocupação é que a tecnologia está muito à frente da sociedade”, disse Fried disse. “Há perigo”, ele sugeriu, “que apenas uma elite técnica entender Big Data e suas implicações, com o risco de uma tecnologia de fuga ou uma rejeição do público”.

 

Megaupload tenta renascer em 2013

11 Dez

Justamente na data de aniversário da invasão da casa de Kim DotCom, que foi em janeiro deste ano, DotCom o proprietário da Mega informou a Reuters que vai relançar o site que ficou famoso pelas hospedagem de filmes e músicas piratas, além de outras mídias.

Para o novo serviço vão usar um domínio interessante que será no Gabão, como a sigla de domínio lá é Ga, vai ficar interessante: Me.Ga, o site diz: “Nós prometemos, Nós entregamos” (WE PROMISSE, WE DELIVER).

Segundo DotCom o novo serviço “A Mega novos não serão ameaçados por promotores norte-americanos,” disse em entrevista à Reuters, acrescentando que o mega está confiante que vai evitar violar a lei dos EUA.

 

Grandes Dados e grandes impactos

20 Fev

É o que diz um relatório do Forum Econômico Mundial, o crescimento número de dados que podem influenciar decisões e controlar ou mesmo acelerar grandes impactos, é uma história recente e que já é estratégica para governos e empresas. Diversas organizações como o Instituto McKinsey, a Revista Nature e o Grupo Kimball, entre outros, destacam a importância estratégica do assunto.

Mas o que é um “Big Data”, ou Grandes Dados, o termo surgido no marketing, é uma abreviação para avançar tendências tecnológica que abrem a porta para uma nova abordagem e compreensão de como trabalhar dados que cresce 50% ao ano, relativos a tomadas de decisão estratégicas, segundo estimativas do IDC, uma empresas de pesquisa em tecnologia.

Não é mais o paradigmas de fluxo de dados, mas de dados inteiramente novos, por exemplo, existem inúmeros sensores digitais em todo o mundo em equipamentos industriais, automóveis, sensores elétricos e isto não significam dados acumulados, mas completamente modificados em períodos de tempo.  Problemas de vibração, temperatura, umidade, mudanças químicas no ar que afetam estes sensores não fazem sentido em tempos anteriores, quando se trata de verificar os efeitos num veículos, por exemplo.

Outro exemplo, são dados governamentais, que estão migrando para a Web.O governo americano por exemplo, em 2009, divulgou ainda mais seus dados no site Data.gov, onde há todo tipo de dado governamental acessível ao público.

Os dados são não apenas se tornando mais disponíveis, mas também mais “tratáveis” por computadores. A maior parte do aumento de Grandes Dados, são dados de natureza diversas, como coisas escritas em palavras, imagens e vídeos na Web, mas serão os fluxos de dados de sensores que mais poderão mudar a natureza destes dados. Estão disponíveis nas “nuvens” e poristo são chamados de dados não estruturados, ou semi-estruturados e poristo não serão combustível para bancos de dados tradicionais.

Assim serão as ferramentas computacionais para o conhecimento, recolhendo e insights de vastos acervos era da Internet de dados, as que estão ganhando rapidamente terreno nos não estruturados, incluindo técnicas de inteligencia artificial, reconhecimento de padrões, processamento e aprendizagem por computador.