Ma dilahirkan di Paris dan kedua orangtuanya berasal dari Tiongkok. Ia dibesarkan dalam lingkungan pemusik. Ibunya, Marina Lu, adalah seorang penyanyi, dan ayahnya, Hiao-Tsiun Ma, seorang dirigen serta komponis. Keluarganya pindah ke New York ketika Yo-Yo berusia 7 tahun.
Ma mulai belajar bermain biola, dan belakangan viola, namun kemudian beralih ke cello pada 1960 pada usia 4 tahun. Anak ajaib ini mulai tampil di depan umum pada usia 5 dan 8 tahun. Ia tampil dalam televisi Amerika dalam sebuah konser yang dipimpin oleh Leonard Bernstein. Pada usia 15 tahun Ma sudah lulus dari SMA dan tampil sebagai pemain solo dengan Orkestra Harvard Radcliffe dalam sebuah pertunjukan karya Tchaikovsky: Rococo Variations.
Ma belajar di Sekolah Musik Juilliard, dan belajar di Universitas Columbia, dan kemudian di Universitas Harvard, namun ia mulai mempertanyakan apakah ia akan melanjutkan studinya hingga pada tahun 1970-an, ia tergugah oleh pertunjukan Pablo Casals.
Namun demikian, bahkan sebelum waktu itu, ia semakin terkenal, dan pernah bermain dengan kebanyakan dari orkestra besar dunia. Rekaman dan penampilannya dalam Johann Sebastian Bach: Cello Suites mendapat pujian khusus. Ma juga banyak bermain dalam musik kamar - seringkali dengan pianis Emanuel Ax, yang telah dikenalnya dan menjadi sahabat dekatnya sejak masa belajar mereka bersama-sama di Juilliard di New York.
Ma menikah dengan pacar lamanya, Jill Hornor, seorang pemain violinis, pada 1977 dan memperoleh dua orang anak, Nicholas dan Emily. Kakak perempuan Ma, Yeou-Cheng Ma , juga dilahirkan di Paris, juga seorang pemain biola. Ia menikah dengan Michael Dadap, seorang pemain gitar dari New York. Bersama-sama mereka menyelenggarakan Children's Orchestra Society (Masyarakat Orkestra Anak-anak - COS) di Long Island, New York.
Ma saat ini bermain dengan Silk Road Ensemble, yang bertujuan untuk mempersatukan para musikus dari berbagai negara yang secara historis semuanya terjalin lewat Jalur Sutera, dan merekam dengan label Sony Classical.
Instrumen penampilan utama Ma adalah cello Domenico Montagnana tahun 1733 yang dibuat di Venezia. Cello seharga US$ 2,5 juta, yang berumur 300 tahun, dijuluki Petunia, pernah hilang setelah Ma meninggalkan alat musik ini di sebuah taksi di New York City. Cello ini kemudian ditemukan kembali, tanpa kerusakan sedikitpun. Cello-cello Ma lainnya, Davidov Stradivarius, sebelumnya dimiliki oleh Jacqueline du Pré yang mewariskannya kepadanya setelah kematiannya. Meskipun sebelumnya Du Pré menyatakan frustrasinya dengan cello ini yang dianggapnya "tidak dapat diduga", Ma menghubungkan komentarnya dengan gaya bermain du Pré's yang terlalu bersemangat. Ia menambahkan bahwa cello Stradivarius itu harus "dibujuk" oleh si pemainnya. Hingga belakangan ini alat musik ini dimainkan dalam gaya Barok, karena Ma hanya menggunakannya untuk musik Barok. Ia juga memiliki sebuah cello yang terbuat dari serat karbon, buatan perusahaan Luis and Clark dari Boston.
Gaya bermain Ma disebut oleh para kritiknya "omnivora", dan memiliki repertoire yang lebih terpilih daripada umumnya para musikus klasik. Sebuah contoh tentang kelincahannya selain sejumlah besar rekamannya untuk repertoire klasik standar mencakup rekaman-rekamannya untuk karya-karya Barok yang menggunakan instrumen-instrumen dari periode tertentu, musik bluegrass Amerika, melodi Tiongkok tradisional termasuk musik ilustrasi dalam film Crouching Tiger Hidden Dragon; musik tango karya komponis Argentina Ástor Piazzolla; serta musik modern minimalis Philip Glass dalam karya-karya seperti Naqoyqatsi (2002). Pada 2006, rekaman musik dari film Memoirs of a Geisha (2005).
Ma pernah muncul dalam sebuah episode seri film animasi anak-anak, Arthur, serta The West Wing, Sesame Street dan Mister Rogers' Neighborhood. Ia juga pernah membawakan visualisasi untuk rekamannya Bach: Six Suites for Unaccompanied Cello.
Ma juga pernah tampil bersama CEO Steve Jobs dari Apple Computer dan Pixar. Ia seringkali diundang ke acara-acara pers untuk perusahaan-perusahaan Jobs, dan pernah tampil di panggung dalam berbagai acara presentasi penting.
Sekretaris Jenderal PBB Kofi Annan mengangkat Ma sebagai Duta besar Perdamaian pada Januari 2006. [Suzanna Lao / Jakarta]
