Warning: Declaration of wp_option::render($field_html, $colspan = false) should be compatible with base_wp_option::render() in /home/marcosmucheroni/www/blog/wp-content/themes/chocotheme/lib/theme-options/option-fields.php on line 123

Warning: Declaration of wp_option_text::render() should be compatible with wp_option::render($field_html, $colspan = false) in /home/marcosmucheroni/www/blog/wp-content/themes/chocotheme/lib/theme-options/option-fields.php on line 170

Warning: Declaration of wp_option_textarea::render() should be compatible with wp_option::render($field_html, $colspan = false) in /home/marcosmucheroni/www/blog/wp-content/themes/chocotheme/lib/theme-options/option-fields.php on line 194

Warning: Declaration of wp_option_choose_category::render() should be compatible with wp_option::render($field_html, $colspan = false) in /home/marcosmucheroni/www/blog/wp-content/themes/chocotheme/lib/theme-options/option-fields.php on line 226

Warning: Declaration of wp_option_choose_page::render() should be compatible with wp_option::render($field_html, $colspan = false) in /home/marcosmucheroni/www/blog/wp-content/themes/chocotheme/lib/theme-options/option-fields.php on line 240

Warning: Declaration of wp_option_select::render() should be compatible with wp_option::render($field_html, $colspan = false) in /home/marcosmucheroni/www/blog/wp-content/themes/chocotheme/lib/theme-options/option-fields.php on line 257

Warning: Declaration of wp_option_file::render() should be compatible with wp_option::render($field_html, $colspan = false) in /home/marcosmucheroni/www/blog/wp-content/themes/chocotheme/lib/theme-options/option-fields.php on line 301

Warning: Declaration of wp_option_separator::render() should be compatible with wp_option::render($field_html, $colspan = false) in /home/marcosmucheroni/www/blog/wp-content/themes/chocotheme/lib/theme-options/option-fields.php on line 408

Warning: Declaration of wp_option_choose_color_scheme::render() should be compatible with wp_option::render($field_html, $colspan = false) in /home/marcosmucheroni/www/blog/wp-content/themes/chocotheme/lib/theme-options/choose-color-scheme.php on line 39

Warning: Use of undefined constant wp_cumulus_widget - assumed 'wp_cumulus_widget' (this will throw an Error in a future version of PHP) in /home/marcosmucheroni/www/blog/wp-content/plugins/wp-cumulus/wp-cumulus.php on line 375
Big Data « Blog Marcos L. Mucheroni Filosofia, Noosfera e cibercultura
RSS
 

Posts Tagged ‘Big Data’

[:pt]Quatro buzzwords de TI para 2020[:en]Four IT buzzwords for 2020[:]

20 jan

[:pt]Algumas palavras já vem sendo usadas de maneira excessiva e equivocada, pode-se citar tecnologias disruptivas vistas como qualquer uma que tenha impacto no mercado, quando o problema é a escala de produção e consumo, os data lakes, usado para armazenar dados brutos que não significam que são ou podem ser tratados com facilidade (há ambientes e ferramentas específicas para isto), e, o terceiro termo que não é novo também é DevOps que é a rápida implantação de códigos com facilidades de retirar e corrigir possíveis bugs (erros no código).
As quatro buzzwords que devem crescer em 2020 e que representam um perigo tanto no seu uso quanto na implantação são BigData (sim já existia em 2019 mas sua expansão é indicada como um grande volume para 2020), IA idem a anterior, Agile que significa a rapidez de mudança de mercado e de estratégia das empresas, se mal utilizada serão um fracasso e por fim e não menos essencial, e por último, aquilo que resolveu-se chamar de “transformação digital”.
Comecemos pelo último que engloba os anteriores, inclusive os 3 excluídos da análise, transformação digital não significa necessariamente que “tudo agora muda com os processos digitais”, e é claro não significa que nada muda, conforme a área o impacto, a disrupção (no sentido de escala) é claro que o impacto poderá e deverá acontecer, mas cuidado com o Agile.
Agile é o processo de responder rapidamente as mudanças, mas a resposta não significa ser responsivo em qualquer situação, a grande maioria merece análise tais como situações transitórias de mercado, processos sazonais, resposta a concorrência e em especial, mudanças de “moda”.
IA pode ser uma resposta a muitos negócios, mas o próprio termo “inteligência” é questionado, na verdade é um pouco de cada processo anterior, incluindo bigData, Agile e Data lakes, isto é, deve haver ferramentas do tipo Analytics e Machine Learning (foto) que auxiliem o processo.
A Gartner detectou um aumento de 25% para 37% de 2018 para 2019 no uso de IA para negócios, porém a eficácia não é garantida, assim como apenas o uso de TI não significa a modernização da empresa.[:en]Some words have already been used in an excessive and mistaken way, we can mention disruptive technologies seen as any that have an impact on the market, when the problem is the scale of production and consumption, the data lakes, used to store raw data that do not they mean they are or can be handled easily (there are specific environments and tools for this), and the third term that is not new is also DevOps, which is the rapid implementation of codes with facilities to remove and correct possible bugs (errors in the code ).

The four buzzwords that are expected to grow in 2020 and which represent a danger both in their use and in their implementation are BigData (yes it already existed in 2019 but its expansion is indicated as a large volume for 2020), AI ditto the previous one, Agile which means the rapid market change and corporate strategy, if misused will be a failure and ultimately and no less essential, and lastly, what has been called a “digital transformation”.

Let’s start with the last one, which includes the previous ones, including the 3 excluded from the analysis, digital transformation does not necessarily mean that “everything now changes with digital processes”, and of course it does not mean that nothing changes, depending on the area, the impact, the disruption (in the scale) it is clear that the impact can and should happen, but be careful with Agile.

Agile is the process of responding quickly to changes, but the answer does not mean being responsive in any situation, the vast majority deserve analysis such as transient market situations, seasonal processes, response to competition and in particular, changes in “fashion”.

AI can be a response to many businesses, but the term “intelligence” itself is questioned, in fact it is a bit of each previous process, including bigData, Agile and Data lakes, that is, there must be tools like Analytics and Machine Learning that assist the process.

Gartner detected an increase from 25% to 37% from 2018 to 2019 in the use of AI for business, but the effectiveness is not guaranteed, just as only the use of IT does not mean the modernization of the company.[:]

 

Mapeando dados de Big Data

22 set

SaudeBigDataUm novo departamento de pesquisa na prestigiosa San Diego State University (SDSU) chamado Centro de Convergência e Informação Estratégica foi fundado, para permitir mapear dados de uma forma parecida que parecida aos dados geográficos, a notícia está no site da SDSU.

O conceito por trás da nova pesquisa é que mapas de números não precisam ser necessariamente geográficos, e não por acaso o centro é um convênio do professor do departamento de Geografia Akshay Pottathil, como um grupo de aficcionados por Tecnologia da Informação.

Estes podem mapear desde ideias ou opiniões até informações de transito, dados estratégicos como população, saúde e outros dados de planejamento urbano.

Três conceitos são delineados nestes mapas, a ideia que dados não são estruturados (ou semiestruturados como são chamados no Big Data), visualizar os dados mais rapidamente e o uso estratégico destes dados (foto na saúde, por exemplo).

Pottathil refere-se a estes como “textos não estruturados e outros artefatos de conhecimento”, em linguagem mais simples significa que os dados não estão bem formatados, e veem de uma ampla gama de fontes: artigos de periódicos, artigos de jornais, transcrições de entrevistas, capítulos de livros, blogs, etc e é muito dificil tratá-los nos modos tradicionais de análise de dados para relacionar um do outro.
A segunda questão, afirma Pottathil, está na capacidade de olhar para um desses mapas e muito rapidamente chegar a um entendimento amplo dos temas relacionados com a sua área de interesse, por exemplo, para colaborar em um novo campo, por exemplo, você pode olhar para um mapa idéia para se familiarizar rapidamente com as questões e ver rapidamente um punhado de artigos específicos para este interesse.

Por último, as agências governamentais e grupos de interesse público estão também intrigado com as possibilidades apresentadas por esta tecnologia, já na inauguração do CICS, em agosto, o deputado Scott Peters elogiou a capacidade do centro de utilizar grandes quantidades de dados para lidar com questões sociais.

 

Big Data: verdades e falácias

07 maio

DadoPessoalO tratamento de grandes volumes de dados, onde a relevância da maioria dos dados nem sempre é comprovada, é a motivação para o desenvolvimento atual do mundo digital, com impactos nas mais diversas áreas de trabalho, da ciência e da própria tecnologia.

 

Mas deve-se  tomar cuidado com a literatura impactante nem sempre criteriosa sobre os verdadeiros impactos da tecnologia, entre elas, a ideia de ruptura e de influencias sócio-políticas das mesmas.

 

Neste sentido, Susan Graham coautora  do relatório: “Big Data e Privacidade: Uma Perspectiva Tecnológica”, faz considerações sobre novas maneiras de construir proteções de privacidade em sistemas de tecnologia da informação, em especial para proteger os dados pessoais, que foi feito pelo  Conselho de Assessores de Ciência e Tecnologia (PCAST)  nos EUA.

 

A tecnologia pode ajudar a reduzir os riscos de privacidade, mas a política também é necessária, diz relatório feito na Universidade da Califórnia, em Berkeley. Embora o PCAST ​​não inclua novas recomendações de política, o Instituto Nacional de Padrões e Tecnologia dos EUA está a criando uma estrutura de engenharia privacidade análoga ao seu trabalho sobre as normas de segurança cibernética.

 

Parte do problema é que os políticos não conversam com os engenheiros sobre a privacidade, e há uma falta de clareza sobre o que se entende por privacidade em um mundo conectado., conforme disse Graham: “Acreditamos que a tecnologia por si só não pode reduzir os riscos de privacidade”, “tem que ser política também”, o que pode parecer óbvio, mas não é. 

 

Um problema interessante de Big DataA curious problem of Big DataUn curioso problema del Big Data

10 out

Simon DeDeo , um investigação em matemática aplicada e sistemas complexos do Instituto Santa Fé,MatematicaCriativa tinha um problema, conforme postado na revista Wired.

Ele estava colaborando em um novo projeto para analisar de dados a partir dos arquivos do tribunal  Old Bailey de  Londres, um  tribunal criminal central da Inglaterra e  do País de Gales 300 anos “.

Mas não haviam dados limpos (dizemos estruturados) como em um  formato de planilha Excel habitual simples, incluindo variáveis ​​como acusação, julgamento e sentença para cada caso, mas sim cerca de 10 milhões de palavras gravadas durante pouco menos de 200 mil julgamentos.
Como se poderia analisar esses dados ? DeDeo pergunta:  “Não é o tamanho do conjunto de dados, que era difícil, por padrões de dados grandes , o tamanho era bastante controlável”. Foi esta enorme complexidade e falta de estrutura formal que representava um problema  para estes “grandes dados” que o perturbou.

O paradigma da pesquisa envolveu a formação de uma hipótese, decidir precisamente o que se pretendia medir, em seguida, construir um aparelho para fazer essa medição com a maior precisão possível, não é exatamente como física onde você controla variáveis e tem um número limitado de dados.

Alessandro Vespignani, um físico da Universidade de Northeastern, que é especializada em aproveitar o poder das redes sociais para surtos modelo de doença, o comportamento do mercado de ações, as dinâmicas sociais coletivos, e os resultados eleitorais, coletou muitos terabytes de dados de redes sociais como o Twitter, esta abordagem pode ajudar a tratar textos escritos fora das redes sociais.

Cientistas como DeDeo e Vespignani fazem bom uso dessa abordagem fragmentada para a análise de dados grande, mas o matemático da Yale University, Ronald Coifman diz que o que é realmente necessário é o grande volume de dados equivalente a uma revolução newtoniana, comparando com a invenção do cálculo do século 17, que ele acredita que já está em andamento.

Coifman afirma “Temos todas as peças do quebra-cabeça – agora como é que vamos realmente montá-los”, ou seja, ainda temos que avançar para tratar dados dispersos.Simon DeDeo a research in applied mathematics and complex systems of the Santa Fe Institute,MatematicaCriativa had a problem , as posted in Wired magazine .

He was collaborating on a new project to analyze data from the archives of the Old Bailey court in London criminal court central England and Wales 300 years . ”

But there were no clean data ( say structured ) as in a normal Excel spreadsheet format simple , including variables such as prosecution, trial and sentence in each case , but about 10 million words written over just under 200 000 trials .

How could analyze this data ? DeDeo question: ” It is not the size of the data set , it was difficult for patterns of large data size was quite manageable .” Was this enormous complexity and lack of formal structure that represented a problem for these ” big data ” that disturbed .

The paradigm of the research involved the formation of a hypothesis , decide precisely what it was intended to measure , then build a device to make this measurement accurately as possible , is not exactly like physics where you control variables and has a limited number of data.

Alessandro Vespignani , a physicist at Northeastern University , which specializes in harnessing the power of social networks to model disease outbreaks , the behavior of the stock market , the collective social dynamics , and electoral results , collected many terabytes of data networks social as Twitter , this approach can help treat texts written out of social networking .

Scientists like DeDeo Vespignani and make good use of this fragmented approach to the analysis of large data , but the mathematician at Yale University, Ronald Coifman says what is really needed is the large volume of data equivalent to a Newtonian revolution , comparing with the invention the calculation of the 17th century , which he believes is already underway .

Coifman says ” We have all the pieces of the puzzle – now how do we actually ride them ,” ie , we still have to move forward to address scattered data.Simon DeDeo una investigación en matemáticas aplicadas y sistemas complejos del Instituto de Santa Fe, MatematicaCriativatuvo un problema, ya publicado en la revista Wired .

Él estaba colaborando en un nuevo proyecto para analizar los datos de los archivos del tribunal Old Bailey de Londres tribunal penal central de Inglaterra y Gales 300 años ” .

Sin embargo, no hubo datos limpios (digamos estructurado ) como en formato Excel normal simple hoja de cálculo , incluyendo variables como la acusación, juicio y sentencia en cada caso , pero cerca de 10 millones de palabras escritas sobre un poco menos de 200 000 pruebas.

¿Cómo podría analizar estos datos ? DeDeo pregunta : ” No es el tamaño del conjunto de datos , que era difícil para los patrones de gran tamaño de datos era bastante manejable . ” Fue esta enorme complejidad y la falta de una estructura formal que representa un problema para los “grandes datos” que perturbaban .

El paradigma de la investigación consistió en la formación de una hipótesis , decidir precisamente lo que se pretende medir , a continuación, construir un dispositivo para realizar esta medición más exacta posible , no es exactamente igual que la física donde el control de las variables y tiene un número limitado de datos .

Alessandro Vespignani , físico de la Universidad del Noreste , que se especializa en aprovechar el poder de las redes sociales a los brotes de enfermedades de modelo, el comportamiento del mercado de valores, las dinámicas sociales colectivas , y los resultados electorales , recogió muchos terabytes de redes de datos social como Twitter , este enfoque puede ayudar a tratar los textos escritos de las redes sociales.

Científicos como DeDeo Vespignani y hacer buen uso de este enfoque fragmentado para el análisis de datos de gran tamaño , pero el matemático de la Universidad de Yale , Ronald Coifman dice lo que realmente se necesita es la gran cantidad de datos equivalente a una revolución newtoniana , en comparación con la invención el cálculo del siglo 17 , que él cree que ya está en marcha .

Coifman dice ” Tenemos todas las piezas del rompecabezas – Ahora ¿cómo podemos montarlos “, es decir , todavía tenemos que avanzar para hacer frente a los datos dispersos

 

Big Data já é uma área de estudos

17 abr

Embora seja o grande assunto do momento, o problema dos Grandes Dados (Big Data) pode carecer de realidade e conceitualização correta, comum em tudo que vira “moda”.

Um trabalho publicado na Harvard Business Review, não só esclarece estes fatos, mas dá a eles uma realidade prática para o futuro de nossas vidas.

Os programas de dezenas de Universidades nasceram de uma forma que ficaram conhecidas como uma “constelação” que incluem a Universidade de Stanford, Northwestern, George Mason, Syracuse e a Universidade de Nova York, além de Harvard e Columbia.

Outra universidade que oferece um mestrado na área é a Universidade de Columbia, também a Universidade de São Francisco, Califórnia formará uma classe na área.

Rachel Schutt, uma cientista de pesquisa sênior da Johnson Research Labs, na Universidade de Columbia, dá um curso intitulado “Introdução à Ciência dos dados“, no último semestre da graduação da Universidade de Columbia.

Ela descreve o cientista dados como alguém que é : “um híbrido de cientista da computação, estatístico e engenheiro de software.”

Em 2012, ela criou um blog e desenvolveu algumas aulas, como uma que está num vídeo do TEDx, também é um dos primeiros cursos que podem ser encontrados em buscas.

É um dos primeiros trabalhos sobre Big Data sem muita fantasia, prático e claro.

 

O risco científico e o "Big Data"

09 abr

As grandes pesquisas em computação estão sevoltando para grandes volumes de dados, o chamado Big Data, conforme notícia do New York Times.

A Universidade de Columbia, para “debutar” seu novo Instituto de Ciências e Engenharia de Dados, realizou na última sexta-feira (05/04) um simpósio de um dia inteiro intitulado “Do Big Data às Big Ideias”.

O instituto é uma junção de centros interdisciplinares, para a segurança cibernética, análises financeiras, análises de saúde, novas mídias e cidades inteligentes.

Diversas análises sobre conjunto de tecnologias chamado Big Data, com novos dados e novas ferramentas de inteligência artificial, que poderão realmente transformar as indústrias, como novas capacidades de previsão.

O simpósio, “Do Big Data Para Big Ideas”, foi, principalmente, uma celebração da promessa da tecnologia nos campos de cuidados de saúde ao transporte, com apresentações de Columbia professores e cientistas da computação de empresas como Google, Facebook, Microsoft e Bloomberg.

Os perigos de privacidade e vigilância de Big Data também surgiram de passagem, mas durante uma seção de perguntas e respostas de um painel, o oficial de informações da Google, Ben Fried, expressou um receio. “Minha preocupação é que a tecnologia está muito à frente da sociedade”, disse Fried disse. “Há perigo”, ele sugeriu, “que apenas uma elite técnica entender Big Data e suas implicações, com o risco de uma tecnologia de fuga ou uma rejeição do público”.

 

Megaupload tenta renascer em 2013

11 dez

Justamente na data de aniversário da invasão da casa de Kim DotCom, que foi em janeiro deste ano, DotCom o proprietário da Mega informou a Reuters que vai relançar o site que ficou famoso pelas hospedagem de filmes e músicas piratas, além de outras mídias.

Para o novo serviço vão usar um domínio interessante que será no Gabão, como a sigla de domínio lá é Ga, vai ficar interessante: Me.Ga, o site diz: “Nós prometemos, Nós entregamos” (WE PROMISSE, WE DELIVER).

Segundo DotCom o novo serviço “A Mega novos não serão ameaçados por promotores norte-americanos,” disse em entrevista à Reuters, acrescentando que o mega está confiante que vai evitar violar a lei dos EUA.

 

Grandes Dados e grandes impactos

20 fev

É o que diz um relatório do Forum Econômico Mundial, o crescimento número de dados que podem influenciar decisões e controlar ou mesmo acelerar grandes impactos, é uma história recente e que já é estratégica para governos e empresas. Diversas organizações como o Instituto McKinsey, a Revista Nature e o Grupo Kimball, entre outros, destacam a importância estratégica do assunto.

Mas o que é um “Big Data”, ou Grandes Dados, o termo surgido no marketing, é uma abreviação para avançar tendências tecnológica que abrem a porta para uma nova abordagem e compreensão de como trabalhar dados que cresce 50% ao ano, relativos a tomadas de decisão estratégicas, segundo estimativas do IDC, uma empresas de pesquisa em tecnologia.

Não é mais o paradigmas de fluxo de dados, mas de dados inteiramente novos, por exemplo, existem inúmeros sensores digitais em todo o mundo em equipamentos industriais, automóveis, sensores elétricos e isto não significam dados acumulados, mas completamente modificados em períodos de tempo.  Problemas de vibração, temperatura, umidade, mudanças químicas no ar que afetam estes sensores não fazem sentido em tempos anteriores, quando se trata de verificar os efeitos num veículos, por exemplo.

Outro exemplo, são dados governamentais, que estão migrando para a Web.O governo americano por exemplo, em 2009, divulgou ainda mais seus dados no site Data.gov, onde há todo tipo de dado governamental acessível ao público.

Os dados são não apenas se tornando mais disponíveis, mas também mais “tratáveis” por computadores. A maior parte do aumento de Grandes Dados, são dados de natureza diversas, como coisas escritas em palavras, imagens e vídeos na Web, mas serão os fluxos de dados de sensores que mais poderão mudar a natureza destes dados. Estão disponíveis nas “nuvens” e poristo são chamados de dados não estruturados, ou semi-estruturados e poristo não serão combustível para bancos de dados tradicionais.

Assim serão as ferramentas computacionais para o conhecimento, recolhendo e insights de vastos acervos era da Internet de dados, as que estão ganhando rapidamente terreno nos não estruturados, incluindo técnicas de inteligencia artificial, reconhecimento de padrões, processamento e aprendizagem por computador.