Hokejovo bol vychovaný vo fínskom klube [[Oulun Kärpät|Kärpät Oulun]]. Tam chytal v mládežníckom tíme v rokoch [[2000]]-[[2003]]. Vo víťazných rokoch [[2004]] a [[2005]] už chytal v Kärpäte na poste dvojky za [[Niklas Bäckström|Niklasom Bäckströmom]]. V roku [[NHL Draftdraft (2004)|2004]] bol draftovaný [[Nashville Predators|Nashvillom Predators]] na 258. mieste. [[23. augusta]] [[2005]] podpísal z Nashvillom nováčikovskú zmluvu, a stal sa tretím brankárom tímu, hrajúc vo farmárskom klube [[Milwaukee Admirals]] v [[AHL]]. V prvej sezóne v spojených štátoch chytal hlavne v Milwaukee Admirals, ale odohral aj dva zápasy v Nashvile. Počas leta [[2006]] bol Rinne napadnutí neznámymi páchateľmi a počas boja si zranil rameno. Zranenie bolo tak vážne, že musel ísť na operáciu. Kvôli operácii vynechal 4 mesiace novej sezóny. V sezóne [[NHL 2008/09|2008/09]] bol po odchode [[Chris Mason|Chrisa Masona]] do [[St. Louis Blues]] povolaný z farmy, aby bol náhradník pre [[Dan Ellis|Dana Ellisa]]. Ale počas sezóny sa stal jednotkou. Vo februári [[2009]] zaznamenal v dvanástich zápasoch 9 víťazstiev zo štatistikami 94,4% chytených striel a 1,72 inkasovaných gólov za zápas.<ref>{{cite web|url=http://www.nhl.com/ice/news.htm?id=411982|title=Rinne nováčikom NHL mesiaca február|publisher=NHL.com |date=19. marec 2009}}</ref>Počas tejto sezóny vychytal sedem čistých kont, čo bol druhý najväčší počet v celej lige. Podľa viacerých odborníkov mal byť nominovaný na [[Calder Memorial Trophy]] pre najlepšieho nováčika sezóny, ale nestalo sa. Za svoje výkony v [[NHL]]-ke bol povolaný do [[Fínske národné hokejové mužstvo|fínskeho národného tímu]] na majstrovstvá sveta [[Majstrovstvá sveta v ľadovom hokeji 2009|2009]] do Švajčiarska. A hneď v prvom zápase proti [[Nórske národné hokejové mužstvo|Nórsku]] vychytal čisté konto, keď zneškodnil 30 striel súpera. Počas celého turnaja odchytal šesť zápasov, okrem jedného. Od [[12. november|12.]] do [[25. november|25. novembra]] [[2009]] vyhral sedem zápasov v rade a vyrovnal tak rekord klubu, ktorý drží [[Tomáš Vokoun]]. Počas týchto siedmich zápasov dostal len 13 gólov z 184 striel.
Prvýkrát postúpil s Nashvillom do play-off v sezóne [[NHL 2009/2010|2009-10]]. V prvom kole sa stretol s [[Chicago Blackhawks|Chicagom]]. Po dobrom úvode v sérii nezvládli hráči záver a prehrali 4-2 na zápasy. Ale v zápasoch ich veľakrát podržal dobrými zákrokmi. V play-off v roku [[2011]] postúpil s Nashvillom do druhého kola cez [[Anaheim Ducks|Anaheim]], prvýkrát v histórii klubu. V druhom kole prehrali s neskorším finalistom [[Vancouver Canucks|Vancouverom]] 4-2 na zápasy. [[29. október|29. októbra]] [[2011]] vychytal 22. čisté konto za Nashville, a tým prekonal kluboví rekord. Dňa [[3. november|3. novembra]] [[2011]] podpísal s Nashvillom 7 ročnú zmluvu za 49 miliónov [[Americký dolár|dolárov]], ktorá sa stala najdrahšou v histórii klubu.
