Михл Гордон родился 4 ноября 1823 года в Вильно в ортодоксальной семье. Его отец, рэб Арон-Дувид Гордон, был комментатором и составителем религиозной литературы, а его дед, Михл, был братом главного виленского раввина, Исруэля Гордона.
          Михл Гордон учился в хедере и в бейт ха-мидраше. Не желая ограничивать миропонимание только иудаизмом, Михл стал приверженцем Гаскалы, ратовал за более светское, более свободное и широкое приобщение к окружающему миру. К Гаскале он приобщил и своего дальнего родственника Иегуду-Лейба Гордона - талантливого поэта. Оба Гордона были активными участниками кружка маскилим в Вильно, где собирались евреи, которые не хотели довольствоваться лишь иудаизмом, а жаждали научных и литературных знаний, причем не только еврейских. Среди этих "кружковцев"-просветителей (и друзей Михла Гордона) были выдающийся ивритский поэт-классицист Адам ха-коэн Лебенсон и его сын, рано умерший поэт Миха-Йосеф, а также В. Каплан, Г. Каценеленбоген. После Крымской войны Михл Гордон перебрался сначала в Полтаву, в Кременчуг, а оттуда - в Шполу, где прожил до 1881 года.
          Писать Михл начал еще во время учебы в бейт ха-мидраше. Дебютировал стихотворением на иврите - памяти М. А. Гинзбурга, после чего опубликовал еще несколько стихотворений на иврите в различных газетах и журналах. Но популярность молодому поэту принесли стихи, написанные на идиш. Он стал одним из первых еврейских поэтов, чьи стихи широко расходились среди читателей. Первая книга Михла Гордона, "Борода", вышла в Житомире в 1868 году, но по желанию автора вышла без указания его имени. Положенные на музыку стихотворения из этого сборника ("Борода", "Мачеха", "Из-под хупы" и др.) стали народными песнями, а Шолом-Алейхем опубликовал цикл его стихотворений во втором томе своей "Еврейской народной библиотеки".
          В 1869 году была опубликована наиболее весомая прозаическая работа Гордона на идиш: "История России".
          26 декабря 1890 года Михл Гордон скончался в Киеве.