Первая публикация – в журнале для детей «Искорка» в 1975 году. Первая книга – сборник стихов «Речевая характеристика» (1990). Стихи Голя получили достаточно широкую известность благодаря их афористичности, запоминаемости, своеобразному юмору, в значительной мере построенному на игре слов.

Естественным и органичным для Голя стало обращение к литературе для детей. Первая книжка в этом ряду – «Расскажите сказку, господин Перро!» (1991) представляла собой биографию писателя, изложенную доступным для малышей языком. Стихотворная книга «Нет бездельников у нас» (1992) была написана совместно с Г. Григорьевым. Совместно с М. Халтунен создана книга «Кошкин дом в Эрмитаже» (о знаменитой кошачьей «колонии» в крупнейшем петербургском музее и образах кошек на эрмитажных полотнах). Много лет Голь ведет в детском журнале «Костер» рубрику, посвященную жизни слов. Это предопределило появление его книги «Жизнь замечательных слов» (1999), а также «Моей первой энциклопедии» (2007) и «Занимательного этимологического словаря» (2008).