Date tu tiempo
Yo creo que tu problema es sólo de organización, debes de encontrar la manera de organizar tu tiempo y dedicarle aunque sea media hora al día, debes pensarlo de esa manera, se trata de tu hijo, esos tiempos pasan y después no hay vuelta atrás, siempre debes darle esa apertura y encontrar la manera de hacerlo, si vas caminando por la calle con él .busca un juego que puedan realizar con los anuncios, con las cosas, repitiendo las tablas de multiplicar (juego-aprendizaje), si estás en una fila en el banco o esperando algo, también es el momento ideal, antes de dormir leele un cuento (esto también te servirá de acercamiento con él y puede que incremente su interés por la lectura), yo creo que sólo se trata de que tengas firmemente la disposición de hacerlo, inténtalo y buena suerte con ello!!