Полный объем имеющихся астрономических данных в настоящее время оценивается в петабайты, а в ближайшие годы (благодаря появлению новых больших наблюдательных проектов) он превысит несколько десятков (или даже сотен!) петабайт. Сейчас объем данных удваивается примерно за год-два, что во многом связано с совершенствованием матриц (теперь счет идет на гигапиксели).
Идеальным примером «больших данных» (big data) в науке является Большой адронный коллайдер в ЦЕРН, поток данных с которого составляет более 10 петабайт в год. В астрономии первым проектом, столкнувшимся с действительно очень большим потоком данных в рамках единой наблюдательной программы, стали гравитационно-волновые детекторы LIGO (см. раздел 13.9 «Детекторы гравитационных волн»): после модернизации за год наблюдений накапливается примерно петабайт данных. Ожидается, что этот поток данных будет превзойден проектами SKA (см. раздел 13.4 «Радиотелескопы») и LSST. Последний станет крупнейшим обзорным телескопом в истории астрономии – с зеркалом диаметром более 8 м и ультрасовременной камерой с 3,2-гигапиксельной матрицей (тоже самой большой в истории). Пиковый поток сырых данных с камеры этого инструмента будет в ходе наблюдений достигать примерно 3 гигабайт в секунду, в то время как на SKA будет достигать порядка десятка терабайт в секунду!
Поток новых астрономических данных в ближайшем будущем составит более нескольких десятков петабайт в год.
Данные могут храниться в виде файлов (например, снимок какой-то области неба) или в виде баз данных (простейший пример – каталог объектов). Эти подходы довольно сильно отличаются: в первом случае это аналогично хранению отсканированной страницы текста в виде растрового изображения, а во втором – хранению уже распознанного текста, по которому возможен поиск. Второй способ существенно удобнее для пользователей, поскольку позволяет проводить быстрый поиск нужной информации и сопоставлять ее с другими данными. Поэтому важной задачей является хранение максимально возможного количества информации именно в виде баз.
Компьютерное моделирование также является источником больших объемов информации.
Еще одним источником больших данных в астрономии является компьютерное моделирование, в первую очередь больших космологических процессов. В них расчеты начинаются на красном смещении около z = 30 (примерно 100 млн лет после начала расширения), а детализация доходит до расчетов параметров отдельных галактик в нашу эпоху. При этом получаемые в расчетах изображения вполне сравнимы с реально наблюдаемой картиной. Учитывая, что обсчитываются большие объемы пространства с большим количеством галактик, такие компьютерные модели порождают огромные объемы информации. Результаты подобных расчетов востребованы исследовательскими группами по всему миру, причем речь идет не о финальных интегральных данных, а о полном доступе: такие крупные проекты выступают в роли «искусственных вселенных», элементы которых ученые могут сравнивать с наблюдениями реальных объектов в поисках новых корреляций и закономерностей. В ходе некоторых компьютерных экспериментов специально воспроизводят «искусственные обзоры», аналогичные по своим свойствам реальным, рассчитывая наблюдаемые параметры модельных объектов.