Archiving a large audiovisual dataset of early childhood experiences

Skidmore College, Saratoga Springs NY

Investigators

Abstract

Project Summary  Understanding how children learn ­­ and especially understanding how children learn language ­­  is a  critical  public  health  issue.  Positive  academic  outcomes  (which  are  predicted  by  early  language  skill)  are  associated with positive health outcomes like lower rates of substance abuse, higher rates of offspring survival,  higher occupational success, and longer lifespans (Hawkins, Catalano, & Miller, 1992? Low, Low, Baumler, &  Huynh,  2005?  McGregor  et  al.,  2007?  Serbin,  Stack,  &  Kingdon,  2013).  While  we  know  that  early  social,  cognitive,  and  language  ability  predict  educational  outcomes  (McGregor  et  al.,  2007?  Marchman  &  Fernald,  2008),  many  basic  questions  about  early  child  development  remain  unanswered,  making  it  challenging  to  design effective early educational policy and interventions. One important question is how a child?s input (e.g.,  the things that they see and hear in daily life) predicts what they end up learning. This question is relevant to  researchers interested in all aspects of development. Answering such a question, however, requires actually  measuring a child?s input ­­ something that until recently was technologically impossible. PI Sullivan and Drs.  Frank  and  Perfors  (see  letters  of  support)  created  a  large  longitudinal  dataset  of  videos  from  the  child?s  perspective to measure input. Our goal is to make this dataset available and accessible to other researchers.  Using a head­mounted camera, we recorded everything that participants saw and heard ­­ from their  perspective  ­­  for  approximately  2.5  hours  a  week  over  the  course  of  two  years  (from  infancy  through  toddlerhood), and continued through toddlerhood. Recordings were naturalistic, and included a wide array of  contexts and activities that have never previously been recorded. This resulted in a dataset of over 325 hours  of audiovisual recordings, along with a dense collection of cognitive, social, and linguistic measures that were  also  collected  longitudinally.  This  dataset  is  the  first  of  its  kind,  and  is  unique  in  its  size,  scope,  and  perspective.  This R03 proposal has three main aims. First, we aim to post the entirety of our dataset to Databrary,  an NIH­funded host for video data relevant to child development research. This will allow other researchers to  access our rich dataset. This will require converting the videos into a standardized format and collaborating  with Databrary to host the videos. Our second aim is to attach the appropriate metadata to the videos so that  they can be searchable by researchers. To this end, we will hire a full­time research assistant who will create a  database of both video­level data (e.g., the time of day and year, the child?s age, the people featured in the  video) and timestamped data (e.g., names of locations, activities, and objects salient in the child?s visual field).  Third, we will transcribe and provide a detailed coding of a sizeable subset of our corpus (including verbatim  transcriptions, descriptions of the objects being touched and seen, and coding of the referents of each speech  act) that will allow other researchers to immediately begin answering questions of our data.